在搜尋和資訊主頁中使用重複資料刪除功能
在 Google Security Operations 中，如果多個系統記錄同一個事件 (例如驗證系統和防火牆都記錄單一登入)，搜尋結果可能會包含重複項目。
如要只傳回不重複的結果，請在 YARA-L 語法中使用 dedup 區段。在這個部分加入 UDM 欄位，可確保查詢會針對每個不重複的值組合傳回單一結果。
效能指南
dedup 運算子會將時間範圍內的所有資料視為單一單位進行處理，以確保正確性。
- 最佳範圍：範圍在 1 天以內時，成效最佳。
- 延遲：7 到 30 天的範圍會大幅增加延遲時間，並可能導致查詢逾時。
套用 dedup 運算子時，建議您一律使用適合調查的最短時間範圍。
依查詢類型進行資料簡化
重複資料刪除行為取決於查詢是否使用彙整，並適用於下列類型的搜尋和資訊主頁查詢。
匯總搜尋查詢
匯總搜尋查詢包括「match」、「match」和「outcome」或「aggregated outcome」部分。系統會在確定結果後排除重複項目。
針對這些查詢，請在 dedup 區段中新增下列欄位：
- 「
match」部分的欄位 - *「
outcome」部分的欄位
UDM 搜尋查詢
UDM 搜尋查詢會排除 match、outcome 或匯總 outcome 區段。注意：只要沒有任何匯總和 match 區段，UDM 搜尋查詢就能包含 outcome 區段。
如要避免重複執行 UDM 搜尋，請在 dedup 區段中新增下列欄位：
- 任何非重複、非陣列和非群組的事件欄位。
- 「
events」部分的預留位置欄位。 - 「
outcome」部分的結果變數 (如果沒有匯總)。
Google 搜尋中的重複內容簡化範例
範例：搜尋不重複的 IP 位址
以下範例查詢會識別內部和外部 IP 之間的網路連線，並依內部 IP (principal.ip) 進行重複資料刪除：
events:
metadata.event_type = "NETWORK_CONNECTION"
target.ip != ""
principal.ip != ""
match:
target.ip, principal.ip
dedup:
principal.ip
範例：具有流量的專屬 IP 位址
與上一個範例類似，以下範例搜尋會顯示具有專屬 IP 位址的網路連線事件。套用 dedup 至 principal.ip
可將結果範圍縮小至與不重複 IP 相關聯的事件。「outcome」部分會顯示 principal.ip 和 target.ip 之間傳送的總位元組數，並依流量大小排序結果 (從最高到最低)。
events:
metadata.event_type = "NETWORK_CONNECTION"
target.ip != ""
principal.ip != ""
match:
target.ip, principal.ip
outcome:
$total_bytes = sum(network.sent_bytes)
dedup:
principal.ip
order:
$total_bytes desc
範例：基本 UDM 重複資料刪除
以下範例會搜尋所有記錄類型中存取的不重複主機名稱高階檢視畫面。套用 dedup 至 target.hostname 可將結果範圍縮小至與不重複外部主機名稱相關聯的事件。注意：這個格式適用於不需要匯總的查詢。
metadata.log_type != ""
dedup:
target.hostname
以下是沒有 dedup 選項的對等範例。通常會傳回大量事件。
metadata.log_type != "" AND target.hostname != ""
範例：不重複的主機名稱
與上一個範例類似，這項搜尋會顯示具有專屬主機名稱的網路連線事件。將 dedup 選項套用至 principal.hostname，可將結果範圍縮小至與不重複主機相關聯的事件：
events:
metadata.event_type = "NETWORK_CONNECTION"
target.hostname != ""
principal.hostname != ""
match:
target.hostname, principal.hostname
outcome:
$total_bytes = sum(network.sent_bytes)
dedup:
principal.hostname
order:
$total_bytes desc
還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。