在搜尋和資訊主頁中套用 join

支援的服務:

彙整功能可協助您建立多個來源資料之間的關聯,為調查提供更多背景資訊。只要連結相關事件、實體和其他資料,就能調查複雜的攻擊情境,並以圖表呈現趨勢。

本文說明如何在 Google SecOps「搜尋欄位」 和資訊主頁面板中使用 join 運算。包括支援的彙整類型、用途和最佳做法。

join 的核心概念

您可以使用共用預留位置變數或明確等式陳述式 (例如 $e1.hostname = $e2.hostname) 連結資料來源,建立彙整。在統計資料查詢的 match 部分定義彙整時,必須使用預留位置變數。

以下範例說明如何使用等號 (=) 和共用預留位置變數,透過兩個欄位連結資料來源。

  • 範例 1:使用預留位置變數隱含彙整

    events:
      // Assign a value from the first event to the placeholder variable $user
      $user = $e1.principal.user.userid
    
      // The second assignment creates an implicit join, linking $e2 to $e1
      // where the user ID is the same.
      $user = $e2.principal.user.userid
    
    match:
      $user over 1h
    
    condition:
      $e1 and $e2
    
  • 範例 2:使用等號和預留位置明確彙整

    $e1.principal.ip = $ip
    $e1.metadata.event_type = "USER_LOGIN"
    $e1.principal.hostname = $host
    
    $e2.target.ip = $ip
    $e2.principal.hostname = "altostrat"
    $e2.target.hostname = $host
    
    match:
      $ip, $host over 5m
    

本節範例說明搜尋中使用的語法。

根據預設,搜尋中的查詢不區分大小寫。

事件與事件彙整

  • 事件與事件彙整會連結兩個不同的 Unified Data Model (UDM) 事件。以下範例查詢會將 USER_LOGIN 事件與另一個事件連結,根據共同的 IP 位址找出使用者互動的主機名稱 (altostrat):

    $e1.principal.ip = $ip
    $e1.metadata.event_type = "USER_LOGIN"
    
    $e2.target.ip = $ip
    $e2.principal.hostname = "altostrat"
    
    match:
      $ip over 5m
    

事件-ECG 連結

  • 事件-ECG 彙整會將 UDM 事件與實體背景資訊圖 (ECG) 中的實體連結。下列查詢範例會從實體圖中,找出 1 小時內共用相同主機名稱的 NETWORK_CONNECTION 事件和 ASSET:

    events:
      $e1.metadata.event_type = "NETWORK_CONNECTION"
      $g1.graph.metadata.entity_type = "ASSET"
      $e1.principal.asset.hostname = $g1.graph.entity.asset.hostname
      $x = $g1.graph.entity.asset.hostname
    
    match:
      $x over 1h
    
    condition:
      $e1 and $g1
    

資料表與事件彙整

  • 資料表事件彙整功能可將 UDM 事件與自訂資料表中的項目連結。這項功能可用來比對即時事件資料與使用者定義的清單,例如已知的惡意 IP 位址或威脅源。下列查詢範例會將 NETWORK_CONNECTION 事件與資料表彙整,找出涉及該清單中特定 IP 位址的連線:

    $ip = %DATATABLE_NAME.COLUMN_NAME
    $ip = $e1.principal.ip
    $e1.metadata.event_type = "NETWORK_CONNECTION"
    
    match:
      $ip over 1h
    

搭配資料表使用 IN 子句

您也可以使用 in 子句,檢查資料表欄中是否存在某個欄位值。所有資料來源 (例如 ioc.type in %abc.type) 都支援這個語法,可讓您根據參照清單篩選事件,不必為彙整作業定義明確的預留位置變數。

常見用途

本節列出一些常見的彙整方式。

偵測憑證竊取和使用

目標:找出使用者成功登入後,快速刪除重要系統檔案的情況。這可能表示帳戶入侵,或有惡意內部人員活動。

Join 類型:事件-事件 Join

說明:這項查詢會連結兩個不同的事件,這些事件本身並不可疑,但同時發生時就非常可疑。系統會先尋找 USER_LOGIN 事件,再尋找 FILE_DELETION 事件。這些資料表會透過常見的 user.userid 彙整,時間範圍較短。

  • 憑證竊取偵測查詢

    // Event 1: A user successfully logs in
    $e1.metadata.event_type = "USER_LOGIN"
    $e1.security_result.action = "ALLOW"
    $e1.principal.user.userid = $user
    
    // Event 2: The same user deletes a critical file
    $e2.metadata.event_type = "FILE_DELETION"
    $e2.target.file.full_path = /etc\/passwd|C:\\Windows\\System32\\/
    $e2.principal.user.userid = $user
    
    match:
      $user over 10m
    
    condition:
      $e1 and $e2
    

找出重要資產的高風險連線

目標:使用資產資訊充實即時網路資料,找出不應與外部低普及度網域通訊的伺服器 (例如正式資料庫伺服器) 的傳出連線。

彙整作業類型:事件-心電圖彙整

說明:連至罕見網域的單一網路連線可能不是高優先順序。不過,這項查詢會將事件與實體背景資訊圖 (ECG) 彙整,提高事件的重要性。具體來說,這項規則會尋找來自實體圖中標示為「重要資料庫伺服器」資產的 NETWORK_CONNECTION 事件。

  • 高風險連線查詢

    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.target.domain.prevalence.day_count <= 5
    
      $asset.graph.metadata.entity_type = "ASSET"
      $asset.graph.entity.asset.labels.value = "Critical Database Server"
    
      $e.principal.asset.hostname = $asset.graph.entity.asset.hostname
      $host = $e.principal.asset.hostname
    
    match:
      $host over 1h
    
    condition:
      $e and $asset
    

搜尋威脅發動者入侵指標

目標:主動搜尋入侵指標 (IoC),方法是檢查所有即時 DNS 查詢,並與已知由特定威脅執行者使用的網域清單進行比對。

Join 類型:Datatable-Event join

說明:威脅情報團隊維護名為 ThreatActor_Domains 的資料表,其中列出惡意網域。這項查詢會將所有即時 NETWORK_DNS_QUERY 事件與這個資料表彙整。只要網路中的主機嘗試解析威脅情報清單中的網域,系統就會立即顯示。

  • 威脅發動者 IOC 搜尋查詢

    // Datatable: Get the list of malicious domains
    $domain = %DATATABLE_NAME.COLUMN_NAME
    
    // Event: A DNS query is made
    $e.metadata.event_type = "NETWORK_DNS"
    $e.network.dns.questions.name = $domain
    
    match:
      $domain over 5m
    
    condition:
      $e
    

資訊主頁中的 join

與搜尋相比,資訊主頁支援更多資料來源和更長的關聯時間範圍。與標準 SQL 查詢不同,YARA-L 2.0 不會使用明確的 JOIN 陳述式,而是透過關聯共用預留位置變數或使用多階段查詢,連結資料來源。

區分大小寫

資訊主頁查詢區分大小寫。如要在資訊主頁中執行不區分大小寫的彙整或搜尋,請使用 nocase 修飾符。

支援的資料來源

在資訊主頁中,您可以彙整支援的資料來源組合。(並非所有資料來源組合都能在單一查詢中彙整)。

多來源資訊主頁查詢中的每個資料參照,都必須包含 YARA-L 前置字元限定詞 (例如 $u1),而非僅限於彙整欄位。這樣一來,系統就能正確識別重疊資料來源的欄位擁有權。

支援的彙整組合

您可以使用彙整功能,在內建資訊主頁中建立 UDM 事件、實體背景資訊和資料表的關聯。為維持系統效能,請先詳閱本節列出的支援組合和技術限制,再建立查詢。

  • UDM 事件到 UDM 事件 (多事件)
  • UDM 事件與實體背景資訊
  • 將 UDM 事件轉換為資料表
  • 案件與案件記錄:這個組合僅限一個 case 來源和一個 case_history 來源。這項彙整作業無法加入其他資料來源。

如要瞭解限制和防護措施,請參閱「技術限制和約束」。

範例:彙整 case 和 case_history

您可以彙整不重複的案件 ID,將案件中繼資料與其歷來活動建立關聯。

  • 以下範例會彙整 case 和 case_history 資料來源,計算每個高優先案件的歷來動作總數。

      // 1. Establish the Join using a shared placeholder variable ($case_id)
      $h.case_history.case_response_platform_info.case_id = $case_id
      $c.case.response_platform_info.response_platform_id = $case_id
    
      // 2. Apply Filters
      $c.case.priority = "PRIORITY_HIGH"
    
      // 3. Group the correlated data by the Case ID
      match:
        $case_id
    
      // 4. Calculate the selected metrics to display on the dashboard
      outcome:
        $case_name = array_distinct($c.case.display_name)
        $total_historical_actions = count($h.case_history.case_activity)
    

進階用途:計算 MTTR

如要計算平均解決時間 (MTTR) 或平均結案時間 (MTTC) 等較複雜的指標,可以使用多階段查詢。這樣一來,您就能在第一階段計算每個案件的持續時間,然後在最終結果區塊中計算這些持續時間的整體平均值。

  • 下列查詢會計算「預設環境」中所有案件的平均結案時間 (以分鐘為單位)。

    stage stage1 {
      // 1. Establish the Join
      $h.case_history.case_response_platform_info.case_id = $case_id
      $c.case.response_platform_info.response_platform_id = $case_id
    
      // 2. Filter by specific environment
      $c.case.environment = "Default Environment"
    
      // 3. Group by Case ID to process per case
      match:
        $case_id
    
      // 4. Calculate the Time to Close (TTC) for each case individually
      outcome:
        $case_close_time = max(if($h.case_history.case_activity = "CLOSE_CASE", $h.case_history.event_time.seconds, 0))
        $status = array_distinct($h.case_history.case_activity)
    
        // Subtract the very first event time (creation) from the close time
        $TTC = $case_close_time - min($h.case_history.event_time.seconds)
    
      // 5. Filter to ensure the case has a complete lifecycle
      condition:
        arrays.contains($status, "CREATE_CASE") and
        arrays.contains($status, "CLOSE_CASE")
    }
    
    // 6. Global Aggregation: Calculate the Mean (Average) across all processed cases
    outcome:
      $case_count = count($stage1.case_id)
      $MTTC = (math.round(avg($stage1.TTC) / 60))
    

最佳做法

如要提升彙整查詢的效能,並確保查詢能有效率地處理,請遵循下列最佳做法,篩選事件並管理搜尋範圍。

使用特定篩選條件減少事件數量

Join 查詢會合併多項結果,因此可能會耗用大量資源。

  • 廣泛的一般篩選器可能會導致查詢失敗,有時甚至會延遲很久,例如:

    • target.ip != ""

    • metadata.event_type = "NETWORK_CONNECTION" (如果這類事件在您的環境中很常見)

  • 建議您結合一般篩選條件和更具體的篩選條件,減少查詢需要處理的事件總數。target.ip != "" 這類廣泛篩選器應與更具體的篩選器搭配使用,以提升查詢效能,例如:

    $e1.metadata.log_type = $log
    $e1.metadata.event_type = "USER_LOGIN"
    $e1.target.ip != ""
    
    $e2.metadata.log_type = $log
    $e2.principal.ip = "10.0.0.76"
    $e2.target.hostname != "altostrat"
    
    match:
    $log over 5m
    

如果查詢速度仍舊緩慢,您也可以縮短查詢的整體日期範圍 (例如從 30 天縮短為一週)。

詳情請參閱「YARA-L 最佳做法」。

技術限制和約束

在搜尋和資訊主頁中使用 join 時,須遵守下列限制。

比對時間範圍和查詢限制

比對時間範圍定義了事件關聯的特定時間範圍。這與您在使用者介面中選取的「搜尋時間範圍」不同。

搜尋功能經過最佳化,適合在較短的時間內進行即時或快速調查。

查詢限制 用量
最多 48 小時 (部分查詢可能支援更長的時間範圍)。 在快速調查中關聯事件。

資訊主頁限制

資訊主頁支援長期歷來資料分析。

join 類型 查詢限制 用量
UDM 到 UDM 和 UDM 到實體 31 天 大量遙測查詢。
Case-to-CaseHistory 90 天 生命週期追蹤查詢。
其他支援的設定 最多 365 天 非 UDM 或指標來源 (例如擷取指標) 的備用方案。

資料來源和資料表限制

在單一查詢中可彙整的資料來源和資料表數量上限,取決於您使用的是搜尋還是資訊主頁。

搜尋限制

  • 每項查詢最多可使用兩個 UDM 事件。
  • 每項查詢最多只能使用一個心電圖事件。
  • 每項查詢最多可使用兩個 Datatable。
  • 您無法直接將資料表加入實體情境資料表,必須使用 UDM 事件做為中介橋梁 (例如將 $event.target.hostname 與 $datatable.hostname 和 $asset.graph.entity.asset.hostname 建立關聯)。

資訊主頁限制

join 類型 事件資料表數量上限 (UDM 或資料表) 實體表格數量上限
多重事件 (UDM 到 UDM) 2 不適用
UDM 轉實體 2 1
UDM 轉資料表 2 不適用
多階段查詢 2 1

效能與防護機制

系統會監控複雜的 JOIN 查詢,避免資源消耗過多。為保護整體環境效能,系統可能會自動暫停或隔離超過資源安全門檻的查詢。

如果查詢失敗或傳回錯誤,指出超過資源限制,請嘗試下列最佳化做法:

  • 縮小查詢時間範圍。
  • 在彙整前,新增更具體的篩選條件,縮減資料集大小。
  • 簡化匯總。

API 和查詢類型限制

還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。