在搜尋和資訊主頁中套用 join
彙整功能可協助您建立多個來源資料之間的關聯,為調查提供更多背景資訊。只要連結相關事件、實體和其他資料,就能調查複雜的攻擊情境,並以圖表呈現趨勢。
本文說明如何在 Google SecOps「搜尋欄位」 和資訊主頁面板中使用 join 運算。包括支援的彙整類型、用途和最佳做法。
join 的核心概念
您可以使用共用預留位置變數或明確等式陳述式 (例如 $e1.hostname = $e2.hostname) 連結資料來源,建立彙整。在統計資料查詢的 match 部分定義彙整時,必須使用預留位置變數。
以下範例說明如何使用等號 (=) 和共用預留位置變數,透過兩個欄位連結資料來源。
範例 1:使用預留位置變數隱含彙整
events: // Assign a value from the first event to the placeholder variable $user $user = $e1.principal.user.userid // The second assignment creates an implicit join, linking $e2 to $e1 // where the user ID is the same. $user = $e2.principal.user.userid match: $user over 1h condition: $e1 and $e2範例 2:使用等號和預留位置明確彙整
$e1.principal.ip = $ip $e1.metadata.event_type = "USER_LOGIN" $e1.principal.hostname = $host $e2.target.ip = $ip $e2.principal.hostname = "altostrat" $e2.target.hostname = $host match: $ip, $host over 5m
搜尋中的 Join
本節範例說明搜尋中使用的語法。
根據預設,搜尋中的查詢不區分大小寫。
事件與事件彙整
事件與事件彙整會連結兩個不同的 Unified Data Model (UDM) 事件。以下範例查詢會將
USER_LOGIN事件與另一個事件連結,根據共同的 IP 位址找出使用者互動的主機名稱 (altostrat):$e1.principal.ip = $ip $e1.metadata.event_type = "USER_LOGIN" $e2.target.ip = $ip $e2.principal.hostname = "altostrat" match: $ip over 5m
事件-ECG 連結
事件-ECG 彙整會將 UDM 事件與實體背景資訊圖 (ECG) 中的實體連結。下列查詢範例會從實體圖中,找出 1 小時內共用相同主機名稱的
NETWORK_CONNECTION事件和ASSET:events: $e1.metadata.event_type = "NETWORK_CONNECTION" $g1.graph.metadata.entity_type = "ASSET" $e1.principal.asset.hostname = $g1.graph.entity.asset.hostname $x = $g1.graph.entity.asset.hostname match: $x over 1h condition: $e1 and $g1
資料表與事件彙整
資料表事件彙整功能可將 UDM 事件與自訂資料表中的項目連結。這項功能可用來比對即時事件資料與使用者定義的清單,例如已知的惡意 IP 位址或威脅源。下列查詢範例會將
NETWORK_CONNECTION事件與資料表彙整,找出涉及該清單中特定 IP 位址的連線:$ip = %DATATABLE_NAME.COLUMN_NAME $ip = $e1.principal.ip $e1.metadata.event_type = "NETWORK_CONNECTION" match: $ip over 1h
搭配資料表使用 IN 子句
您也可以使用 in 子句,檢查資料表欄中是否存在某個欄位值。所有資料來源 (例如 ioc.type in %abc.type) 都支援這個語法,可讓您根據參照清單篩選事件,不必為彙整作業定義明確的預留位置變數。
常見用途
本節列出一些常見的彙整方式。
偵測憑證竊取和使用
目標:找出使用者成功登入後,快速刪除重要系統檔案的情況。這可能表示帳戶入侵,或有惡意內部人員活動。
Join 類型:事件-事件 Join
說明:這項查詢會連結兩個不同的事件,這些事件本身並不可疑,但同時發生時就非常可疑。系統會先尋找 USER_LOGIN 事件,再尋找 FILE_DELETION 事件。這些資料表會透過常見的 user.userid 彙整,時間範圍較短。
憑證竊取偵測查詢
// Event 1: A user successfully logs in $e1.metadata.event_type = "USER_LOGIN" $e1.security_result.action = "ALLOW" $e1.principal.user.userid = $user // Event 2: The same user deletes a critical file $e2.metadata.event_type = "FILE_DELETION" $e2.target.file.full_path = /etc\/passwd|C:\\Windows\\System32\\/ $e2.principal.user.userid = $user match: $user over 10m condition: $e1 and $e2
找出重要資產的高風險連線
目標:使用資產資訊充實即時網路資料,找出不應與外部低普及度網域通訊的伺服器 (例如正式資料庫伺服器) 的傳出連線。
彙整作業類型:事件-心電圖彙整
說明:連至罕見網域的單一網路連線可能不是高優先順序。不過,這項查詢會將事件與實體背景資訊圖 (ECG) 彙整,提高事件的重要性。具體來說,這項規則會尋找來自實體圖中標示為「重要資料庫伺服器」資產的 NETWORK_CONNECTION 事件。
高風險連線查詢
events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.target.domain.prevalence.day_count <= 5 $asset.graph.metadata.entity_type = "ASSET" $asset.graph.entity.asset.labels.value = "Critical Database Server" $e.principal.asset.hostname = $asset.graph.entity.asset.hostname $host = $e.principal.asset.hostname match: $host over 1h condition: $e and $asset
搜尋威脅發動者入侵指標
目標:主動搜尋入侵指標 (IoC),方法是檢查所有即時 DNS 查詢,並與已知由特定威脅執行者使用的網域清單進行比對。
Join 類型:Datatable-Event join
說明:威脅情報團隊維護名為 ThreatActor_Domains 的資料表,其中列出惡意網域。這項查詢會將所有即時 NETWORK_DNS_QUERY 事件與這個資料表彙整。只要網路中的主機嘗試解析威脅情報清單中的網域,系統就會立即顯示。
威脅發動者 IOC 搜尋查詢
// Datatable: Get the list of malicious domains $domain = %DATATABLE_NAME.COLUMN_NAME // Event: A DNS query is made $e.metadata.event_type = "NETWORK_DNS" $e.network.dns.questions.name = $domain match: $domain over 5m condition: $e
資訊主頁中的 join
與搜尋相比,資訊主頁支援更多資料來源和更長的關聯時間範圍。與標準 SQL 查詢不同,YARA-L 2.0 不會使用明確的 JOIN 陳述式,而是透過關聯共用預留位置變數或使用多階段查詢,連結資料來源。
區分大小寫
資訊主頁查詢區分大小寫。如要在資訊主頁中執行不區分大小寫的彙整或搜尋,請使用 nocase 修飾符。
支援的資料來源
在資訊主頁中,您可以彙整支援的資料來源組合。(並非所有資料來源組合都能在單一查詢中彙整)。
多來源資訊主頁查詢中的每個資料參照,都必須包含 YARA-L 前置字元限定詞 (例如 $u1),而非僅限於彙整欄位。這樣一來,系統就能正確識別重疊資料來源的欄位擁有權。
支援的彙整組合
您可以使用彙整功能,在內建資訊主頁中建立 UDM 事件、實體背景資訊和資料表的關聯。為維持系統效能,請先詳閱本節列出的支援組合和技術限制,再建立查詢。
- UDM 事件到 UDM 事件 (多事件)
- UDM 事件與實體背景資訊
- 將 UDM 事件轉換為資料表
案件與案件記錄:這個組合僅限一個
case來源和一個case_history來源。這項彙整作業無法加入其他資料來源。
如要瞭解限制和防護措施,請參閱「技術限制和約束」。
範例:彙整 case 和 case_history
您可以彙整不重複的案件 ID,將案件中繼資料與其歷來活動建立關聯。
以下範例會彙整
case和case_history資料來源,計算每個高優先案件的歷來動作總數。// 1. Establish the Join using a shared placeholder variable ($case_id) $h.case_history.case_response_platform_info.case_id = $case_id $c.case.response_platform_info.response_platform_id = $case_id // 2. Apply Filters $c.case.priority = "PRIORITY_HIGH" // 3. Group the correlated data by the Case ID match: $case_id // 4. Calculate the selected metrics to display on the dashboard outcome: $case_name = array_distinct($c.case.display_name) $total_historical_actions = count($h.case_history.case_activity)
進階用途:計算 MTTR
如要計算平均解決時間 (MTTR) 或平均結案時間 (MTTC) 等較複雜的指標,可以使用多階段查詢。這樣一來,您就能在第一階段計算每個案件的持續時間,然後在最終結果區塊中計算這些持續時間的整體平均值。
下列查詢會計算「預設環境」中所有案件的平均結案時間 (以分鐘為單位)。
stage stage1 { // 1. Establish the Join $h.case_history.case_response_platform_info.case_id = $case_id $c.case.response_platform_info.response_platform_id = $case_id // 2. Filter by specific environment $c.case.environment = "Default Environment" // 3. Group by Case ID to process per case match: $case_id // 4. Calculate the Time to Close (TTC) for each case individually outcome: $case_close_time = max(if($h.case_history.case_activity = "CLOSE_CASE", $h.case_history.event_time.seconds, 0)) $status = array_distinct($h.case_history.case_activity) // Subtract the very first event time (creation) from the close time $TTC = $case_close_time - min($h.case_history.event_time.seconds) // 5. Filter to ensure the case has a complete lifecycle condition: arrays.contains($status, "CREATE_CASE") and arrays.contains($status, "CLOSE_CASE") } // 6. Global Aggregation: Calculate the Mean (Average) across all processed cases outcome: $case_count = count($stage1.case_id) $MTTC = (math.round(avg($stage1.TTC) / 60))
最佳做法
如要提升彙整查詢的效能,並確保查詢能有效率地處理,請遵循下列最佳做法,篩選事件並管理搜尋範圍。
使用特定篩選條件減少事件數量
Join 查詢會合併多項結果,因此可能會耗用大量資源。
廣泛的一般篩選器可能會導致查詢失敗,有時甚至會延遲很久,例如:
target.ip != ""metadata.event_type = "NETWORK_CONNECTION"(如果這類事件在您的環境中很常見)
建議您結合一般篩選條件和更具體的篩選條件,減少查詢需要處理的事件總數。
target.ip != ""這類廣泛篩選器應與更具體的篩選器搭配使用,以提升查詢效能,例如:$e1.metadata.log_type = $log $e1.metadata.event_type = "USER_LOGIN" $e1.target.ip != "" $e2.metadata.log_type = $log $e2.principal.ip = "10.0.0.76" $e2.target.hostname != "altostrat" match: $log over 5m
如果查詢速度仍舊緩慢,您也可以縮短查詢的整體日期範圍 (例如從 30 天縮短為一週)。
詳情請參閱「YARA-L 最佳做法」。
技術限制和約束
在搜尋和資訊主頁中使用 join 時,須遵守下列限制。
比對時間範圍和查詢限制
比對時間範圍定義了事件關聯的特定時間範圍。這與您在使用者介面中選取的「搜尋時間範圍」不同。
搜尋限制
搜尋功能經過最佳化,適合在較短的時間內進行即時或快速調查。
| 查詢限制 | 用量 |
|---|---|
| 最多 48 小時 (部分查詢可能支援更長的時間範圍)。 | 在快速調查中關聯事件。 |
資訊主頁限制
資訊主頁支援長期歷來資料分析。
| join 類型 | 查詢限制 | 用量 |
|---|---|---|
| UDM 到 UDM 和 UDM 到實體 | 31 天 | 大量遙測查詢。 |
| Case-to-CaseHistory | 90 天 | 生命週期追蹤查詢。 |
| 其他支援的設定 | 最多 365 天 | 非 UDM 或指標來源 (例如擷取指標) 的備用方案。 |
資料來源和資料表限制
在單一查詢中可彙整的資料來源和資料表數量上限,取決於您使用的是搜尋還是資訊主頁。
搜尋限制
- 每項查詢最多可使用兩個 UDM 事件。
- 每項查詢最多只能使用一個心電圖事件。
- 每項查詢最多可使用兩個 Datatable。
- 您無法直接將資料表加入實體情境資料表,必須使用 UDM 事件做為中介橋梁 (例如將
$event.target.hostname與$datatable.hostname和$asset.graph.entity.asset.hostname建立關聯)。
資訊主頁限制
| join 類型 | 事件資料表數量上限 (UDM 或資料表) | 實體表格數量上限 |
|---|---|---|
| 多重事件 (UDM 到 UDM) | 2 | 不適用 |
| UDM 轉實體 | 2 | 1 |
| UDM 轉資料表 | 2 | 不適用 |
| 多階段查詢 | 2 | 1 |
效能與防護機制
系統會監控複雜的 JOIN 查詢,避免資源消耗過多。為保護整體環境效能,系統可能會自動暫停或隔離超過資源安全門檻的查詢。
如果查詢失敗或傳回錯誤,指出超過資源限制,請嘗試下列最佳化做法:
- 縮小查詢時間範圍。
- 在彙整前,新增更具體的篩選條件,縮減資料集大小。
- 簡化匯總。
API 和查詢類型限制
- 使用者介面和
EventService.UDMSearchAPI 支援彙整功能,但SearchService.UDMSearchAPI 不支援。
還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。