搜尋資料表

支援的服務:

資料表是多欄資料結構,可用於將自有資料輸入 Google Security Operations。 資料表還能做為對照表使用,裡面的資料欄經過定義,資料則會儲存在資料列。 您可以透過以下方式建立資料表或將資料表匯入 Google SecOps 帳戶:利用 Google SecOps 網頁介面、資料表 API,或是在規則使用 YARA-L 2.0 總覽查詢。

使用資料 RBAC 為資料表指派範圍

如要使用資料表,您必須透過資料角色式存取控管 (資料 RBAC) 機制,將範圍指派給資料表。您可以為資料表指派範圍,控管哪些使用者和資源可以存取及使用資料表。詳情請參閱「設定資料表的資料 RBAC」。

使用 Google SecOps 網頁介面管理資料表

以下各節將說明如何使用網頁介面管理資料表,包括如何存取資料表、新增資料表、編輯資料表內容、新增資料列,以及如何從帳戶中移除資料表。

存取資料表

如要存取「Data Tables」(資料表) 頁面,請按照下列步驟操作:

  • 在側欄中,依序選取「調查」>「資料表」。

如要尋找特定資料表,請在「資料表」側欄頂端的「搜尋」欄位中輸入名稱。

新增資料表

新增資料表時,您可以手動輸入 CSV 資料、貼上 CSV 資料,或將 CSV 或 TSV 檔案匯入資料表。

儲存新的資料表後,就永久無法變更下列設定:

如要在 Google SecOps 中新增資料表,請按照下列步驟操作:

  1. 在側欄中,依序選取「調查」>「資料表」。

  2. 在「資料表」側欄頂端,按一下「建立」圖示 。

  3. 在「Create New Data Table」(建立新資料表) 對話方塊中,為資料表命名,並視需要新增說明。

  4. 執行下列其中一個步驟:

    • 手動輸入 CSV 資料,或將 CSV 資料貼到「文字」(編輯模式) 區域。
    • 如要將 CSV 或 TSV 檔案中的資料匯入資料表,請按照下列步驟操作:
    1. 按一下「匯入檔案」。
    2. 前往檔案,然後按一下「開啟」。「匯入檔案」對話方塊會隨即開啟。
    3. 如果您在上一步選取 TSV 檔案,請執行下列操作:
      1. 在「分隔符類型」清單中,選取「自動偵測」或「Tab 鍵」。
      2. 在「從這個資料列開始匯入」清單中,指定要從檔案中的哪一列開始匯入資料。
    4. 按一下 [Import Data] (匯入資料)。
  5. 選取「表格」編輯模式,並視需要設定下列項目:

  6. 按一下 [儲存]。新的資料表會顯示在「資料表」側欄中,可供您新增資料。

將資料類型對應至資料表資料欄

新增資料表時,您可以將資料類型 (字串、規則運算式、CIDR 或數字) 對應至資料表資料欄。

您可以使用網頁介面或 API,將「單一」資料欄位對應至資料欄,並將重複的資料欄位對應至資料欄,如下所示:

  • 在網頁介面和 API 中,請使用管道符號 (|) 分隔資料欄位值。在網頁介面中,如果任何值包含管道符號 (|),系統預設會將其視為重複值。

  • 如果是 API 要求,請將 repeated_values 設為 true。

詳情請參閱「重複欄位」。

在以下範例中,資料表欄 Field_value 包含多個欄位的值:

Field_value Field_name
altostrat.com FQDN
192.0.2.135 IP
charlie userid
example hostname

上表分為四個資料欄,每個資料欄只能對應一種欄位類型,才能用於本文介紹的任何資料表用途。

FQDN IP Userid 主機名稱
altostrat.com 192.0.2.135 charlie example
… … … …

指定索引鍵資料欄

新增資料表時,您可以將特定資料欄指定為鍵欄。

將資料欄標示為鍵資料欄,可確保該資料欄中的值具有唯一性,不會有重複的資料,並能透過規則和搜尋功能,更有效率地找出資料。

指定資料欄來支援重複欄位

新增資料表時,您可以指定特定資料欄支援重複欄位。

如要使用資料欄儲存多值欄位或重複欄位,則必須在建立資料表時,明確將資料欄指定為重複。

將資料欄名稱對應至實體欄位 (選用)

新增資料表時,您可以將資料表的資料欄名稱對應至實體欄位。

在下列範例資料表中,Userid 和 Role 欄分別對應至 entity.user.userid 和 entity.user.attribute.role.name:

Userid
(對應至 entity.user.userid)
電子郵件 角色
(對應至 entity.user.attribute.role.name)
jack jack123@gmail.com 管理員
tony tony123@gmail.com engineer

您可以使用 DataTable 資源的 mapped_column_path 欄位,將資料表資料欄對應至實體 proto 欄位。

如果資料欄沒有定義的實體路徑 (例如本範例資料表中的 Email),則必須手動指定資料類型。與參考清單一樣,資料表支援的資料類型為 number、string、regex 和 cidr。

您可以指定 join 條件,在資料表中加入已對應和未對應的資料欄。

未對應的資料欄會儲存在資料表加入的實體 additional 欄位中。這些資料會以鍵/值組合的形式新增,其中 key 是資料欄名稱,value 則是對應的資料列值。

在資料表中新增資料列

如要新增資料列,請按照下列步驟操作:

  1. 在「詳細資料」分頁中,選取「表格」編輯模式。
  2. 在現有資料列上按一下滑鼠右鍵,然後選取「在上方新增資料列」。
  3. 輸入新資料列的資料。第一列會視為表格標題。請務必將每個資料項目與適當的資料欄和資料類型配對。
  4. 按一下「儲存」。

編輯資料表中的資料列

如要編輯資料列,請按照下列步驟操作:

  1. 按一下要變更的欄位。欄位會變成可編輯狀態。
  2. 進行所需的變更。
  3. 按一下「儲存」。

搜尋資料表資料列

您可以使用網頁介面,在資料表中搜尋特定資訊。在「詳細資料」分頁的搜尋欄位中輸入搜尋字串,然後按一下「搜尋」。系統會顯示含有搜尋字串的資料列。

管理資料表資料列存留時間

如要管理資料表資料列的存留時間 (TTL) 值,請按照下列步驟操作:

  1. 按一下「顯示各列的存留時間」。系統會顯示存留時間欄,指出各列是否已過期。如果尚未過期,則會顯示距離過期還有多少時間。

  2. 按一下「預設資料列到期時間」,顯示「更新預設資料列到期時間」對話方塊,然後調整資料表資料列存留時間。

  3. 在「小時」或「天」中輸入新的存留時間值。最小值為 1 小時。最大值為 365 天。

  4. 按一下「儲存」。

資料列層級存留時間覆寫行為

資料列會繼承資料表層級套用的存留時間。您也可以為個別資料列設定特定的存留時間,這個資料列層級的存留時間會優先於資料表層級的預設值。新增資料列時,其存留時間會從建立時間開始計算。

刪除表格列

如要刪除資料列,請在資料列上按一下滑鼠右鍵,然後選取「刪除列」。

如要刪除多個資料列,請選取要移除的每個資料列。然後在任一選取的列上按一下滑鼠右鍵,並選擇「刪除列」。

移除資料表

如要移除資料表,請按照下列步驟操作:

  1. 在側欄的「資料表」清單中,選取資料表。

  2. 點選「刪除」。

使用 Chronicle API 管理資料表

您也可以使用 Chronicle API 中的 REST 資源,管理 Google SecOps 的資料表。這個 API 可複製網頁介面中的所有功能,並提供一些額外功能,讓您更有效率、更大規模地管理資料表。

以下是資料表 REST 資源:

範例:篩選器語法

以下 Chronicle API 範例說明如何使用 filter 語法,在資料表列中搜尋 google.com:

  curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://staging-chronicle.sandbox.googleapis.com/v1alpha/projects/{$PROJECT}/locations/${REGION}/instances/${INSTANCE}/dataTables/${DATA_TABLE_NAME}/dataTableRows?filter=google.com"

在 Google SecOps 使用資料表

將資料表新增至 Google SecOps 執行個體後,您可以使用 YARA-L 查詢篩選、強化及充實資料。本文件包含許多 YARA-L 語法範例,您可以將這些範例整合至 Google SecOps。

您可以在搜尋和規則中,搭配使用資料表和 YARA-L 查詢。

資料表的使用方式如下:

  • 使用資料表篩選 UDM 事件或實體資料

    您可以將 UDM 遙測事件和實體與資料表中的項目進行比較,藉此篩選這些事件和實體。

  • 使用資料表做為多欄參照清單

    您可以將資料表當做多欄參照清單使用。參考清單只能存取單一維度的資料,資料表則可存取多個維度的資料,並篩選資料。

  • 將資料表與事件或實體彙整

    您可以使用等號 (=) 運算子進行資料列比較,將 UDM 事件連結至資料表。這項比較可讓您篩選資料。只有在陳述式中的所有條件都與資料表中的單一資料列相符時,以資料列為基礎的比較才會評估為 true。

使用資料表篩選 UDM 事件和實體資料

您可以將 UDM 事件和實體與資料表中的項目進行比較,藉此篩選 UDM 事件和實體。使用以資料列為基礎或以資料欄為基礎的比較,將資料表與 UDM 事件或實體彙整。

資料表中的資料列和資料欄比較

比較類型 重要邏輯 常見運算子 語法範例 使用時機
以資料列為基礎 所有條件必須在「同一」列中相符 =、!=、>、>=、<、<= $e.field = %table.col_a 同一列中多個資料欄值之間的關係很重要時。
以資料欄為基礎 值必須存在於資料欄中的任何位置 IN、IN regex、IN cidr $e.field IN %table.col_b 檢查單一資料欄中的一組值是否存在某個值。

使用以資料列為準或以資料欄為準的比較方法,將 UDM 事件連結至資料表:

  • 如要使用以資料列為基礎的比較,將 UDM 事件連結至資料表,請使用等式運算子 (=、!=、>、>=、<、<=)。

    例如:$<udm_variable>.<field_path> = %<data_table_name>.<column_name>

    • 如果您使用多個比較陳述式,則所有欄位或條件都必須與同一個資料表列相符。
    • 如要在查詢中使用運算子 (例如 not、!=、>、>=、<、<=),您必須在 UDM 欄位和資料表列之間加入至少一個 join 條件。

    • Google SecOps 會將任何含有資料表 join 的規則視為多重事件規則,因此規則定義中必須包含 match 區段。

  • 如要根據 UDM 事件與資料表資料列相符的值篩選資料,請考慮使用下列彙整語法:

    • 正確的 JOIN 語法:

    • 偵測規則 (左反聯結):如要在多個欄位的特定組合與資料表中的同一列相符時排除事件 (反聯結),請在 events 區段中使用等號 (=) 將事件欄位繫結至資料表資料欄,並在 condition 區段中指定 $e and #<data_table_name> = 0。或者,您也可以在 condition 區段中加入 #<data_table_name> >= 0,讓編譯器執行左外部聯結 (例如,使用 $match_count = count(%<data_table_name>.<column_name>) 計算 outcome 中相符的資料列時,使用 $e and #<data_table_name> >= 0 and $match_count = 0)。如果資料表中的任何資料列與所有繫結資料欄相符,資料列計數就會大於零,且規則會排除事件。詳情請參閱「規則中的左反向連結 (排除) 範例」。

    • 搜尋和資訊主頁:

      • 使用 match 區段 (匯總搜尋和資訊主頁):在 events 區段中的每個聯結資料欄 (例如 left join $e.field1 = %<data_table_name>.col1 和 left join $e.field2 = %<data_table_name>.col2) 重複 left join,並在 condition 區段中新增 #<data_table_name> = 0 (或計算 outcome 中的相符資料欄,並評估 condition 中的 $match_count = 0)。
      • 不含 match 區段 (未匯總的多級式搜尋和資訊主頁):將重複的 left join 陳述式放在具名 stage 中,該會在 outcome 中輸出資料表資料欄 (例如 $matched_col = %<data_table_name>.<column_name>),在主要 events 區段中篩選 $<stage_name>.matched_col = "" (不相符的階段字串輸出預設為空字串,而非空值),並在主要 outcome 區段中投影所需的階段欄位。
    • 彙整語法不正確:

    • 請勿在多個以資料列為基礎的等式條件 (例如 NOT ($e.field1 = %table.col1 AND $e.field2 = %table.col2)) 前後加上 NOT。系統會逐列比對資料表。如果任何資料列不符合內部合併條件,NOT 的評估結果會是 true,可能導致事件納入而非排除。

    • 請勿在多個資料欄中使用獨立不等運算子 (例如 $e.field1 != %table.col1 AND $e.field2 != %table.col2),而不使用正向彙整條件 (=),否則會導致編譯錯誤。即使與另一個資料欄的正向彙整搭配使用,不等運算子也會評估同一個彙整資料列上的資料欄,並在「任何」彙整資料列不同時進行比對,而不是驗證沒有任何資料列與元組相符。

    • 請勿混淆資料列比較和資料欄成員資格檢查 (not $e.field1 in %table.col1 and not $e.field2 in %table.col2)。資料欄 in 檢查會獨立評估整個資料表中的每個資料欄,如果 field1 出現在某一列,而 field2 出現在另一列,則會排除事件,即使這兩個值從未同時出現在同一列中。

  • 如要使用 CIDR 或 regex 類型的資料表資料欄進行資料列比較,請使用下列語法:

    net.ip_in_range_cidr($e.principal.ip, %<data_table_name>.<column_name>)
    
    re.regex($e.principal.hostname, %<data_table_name>.<column_name>)
    
  • 如要使用資料欄比較,將 UDM 事件連結至資料表,請使用 in 關鍵字。

    例如:$<udm_variable>.<field_path> in %<data_table_name>.<column_name>

  • 如要篩除欄位值存在於指定資料欄 (例如封鎖清單或許可清單) 的事件,請使用下列語法:NOT (... IN %table.column)

    例如:not ($evt_username in %my_data_table.username)

  • 如要使用 CIDR 或 regex 類型的資料表資料欄進行資料欄比較,請使用下列語法:

    $e.principal.ip in cidr %cidr_data_table.column_name
    
    $e.principal.hostname in regex %regex_data_table.column_name
    
  • 比較資料表中 CIDR 或規則運算式資料類型的資料欄時,cidr 和 regex 關鍵字為選用。

  • 您也可以搭配資料表使用 not 運算子。

    下列查詢範例會篩除 IP 位址 ($e.principal.ip) 與 cidr_data_table 中 benign_ip 欄列出的任何 CIDR 範圍不符的項目:

    not $e.principal.ip in %data_table.benign_ip
    

使用資料表做為多欄參照清單

資料表可做為多欄參照清單。雖然參考清單可以存取單一維度 (一欄) 中的資料,但資料表支援多欄,可讓您篩選及存取多個維度的資料。

您可以使用 in 關鍵字進行資料欄比較,將 UDM 事件連結至資料表,藉此比對特定 UDM 欄位中的值與資料表單一資料欄中的值。

在以下範例中,badApps 資料表包含兩個資料欄:hostname 和 ip。查詢會分別比對這兩個值 (以 UDM 欄位為基礎的值,以及以資料表為基礎的值,兩者都是字串資料類型)。

  • 規則範例:

    rule udm_in_data_table {
    meta:
      description = "Use data table as multicolumn reference list"
    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
      $e.target.asset.asset_id = $assetid
    
      // Event hostname matches at least one value in table column hostname.
      $e.target.hostname in %badApps.hostname
    
      // Event IP matches at least one value in table column ip.
      $e.target.ip in %badApps.ip
    
    match:
      $assetid over 1h
    
    condition:
      $e
    }
    
  • 搜尋範例:

    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
      $e.target.asset.asset_id = $assetid
    
      // Event hostname matches at least one value in table column hostname.
      $e.target.hostname in %badApps.hostname
    
      // Event IP matches at least one value in table column ip.
      $e.target.ip in %badApps.ip
    

資料表與 UDM 事件或實體之間的資料列彙整

您可以使用等號和比較運算子 (=, !=, >, >=, <, <=) 執行資料列比較,將 UDM 事件連結至資料表。這種做法可讓您比對 UDM 事件中的值與資料表中的資料列,藉此篩選資料。如果使用多個比較陳述式,所有欄位或條件都必須與同一個資料表資料列相符。

您必須在 UDM 欄位和資料表列之間加入至少一個 join 條件,才能在查詢中使用運算子 (例如 not, !=, >, >=, <, <=)。Google SecOps 會將任何含有資料表 join 的規則視為多重事件規則,因此規則定義中必須有對應的 match 區段。

加入後,連結的資料表列就會顯示在 Google 搜尋中。詳情請參閱「在 Google 搜尋中查看資料表列」。

  • 查詢的 event 區段中的資料表支援預留位置,但必須連結至 UDM 事件或 UDM 實體。

  • 以下範例使用 string 類型的資料表資料欄。

    • 這個 YARA-L 查詢範例會檢查使用者登入事件是否與 example_table 中的資料列相符。

      • 其中一個條件是 user ID 存在於 example_table 中。
      • example_table中同一列必須同時符合這兩項條件,才會觸發規則。
    • 規則範例:

      // Check if user exists in a data table and is active in all user login events.
      rule udm_join_data_table {
      
      meta:
        description = "Join data table with UDM event"
      
      events:
        $e.metadata.event_type = "USER_LOGIN"
        $e.security_result.action = "ALLOW"
        $e.principal.user.userid = $userid
      
      // Event must match at least 1 row in the data table 
      // where the uid in the data table row is the userid on the event 
      // and the active date in the same data table row is before the event timestamp.
      %example_table.uid = $userid
      $e.principal.hostname = %example_table.hostname
      
      match:
        $userid over 1h
      
      condition:
        $e
      }
      
    • 搜尋範例:

      events:
      $e.metadata.event_type = "USER_LOGIN"
      $e.security_result.action = "ALLOW"
      $e.principal.user.userid = $userid
      
      // Event must match at least 1 row in the data table 
      // where the uid in the data table row is the userid on the event 
      // and the active date in the same data table row is before the event timestamp
      
      %example_table.uid = $userid
      $e.principal.hostname = %example_table.hostname
      
  • 以下範例說明資料表和 UDM 事件資料如何搭配運作。

    根據上述 YARA-L 查詢中的邏輯,系統會將偵測結果中 user ID 32452 的使用者視為系統中的 hostname,並與資料表中的 hostname 比對。

    資料表
    uid title hostname
    32452 HR host1
    64452 Finance host2
    46364 IT host3
    UDM 事件資料表
    principal metadata security_result principal
    32452 USER_LOGIN ALLOW host1
    64589 USER_LOGIN ALLOW host9
    87352 USER_LOGIN ALLOW host4

使用多欄列式反聯結排除事件

如要僅在特定欄位組合與排除資料表中的同一列相符時排除事件 (左反向連結),請在 events 區段中將每個事件欄位繫結至對應的資料表欄,並在 condition 區段中指定 #<data_table_name> = 0。

下列偵測規則範例會排除規則名稱和主體主機名稱與 exclusion_table 中同一列相符的事件:

rule multi_column_row_exclusion {

  meta:
    author = "Google SecOps"
    description = "Excludes events matching a specific rule and hostname combination in the same row of an exclusion data table."

  events:
    $e.metadata.event_type = "USER_LOGIN"
    $e.security_result.rule_name = $rule_name
    $e.principal.hostname = $hostname

    // Both fields must match the SAME row in the exclusion data table
    $rule_name = %exclusion_table.rule_name
    $hostname = %exclusion_table.hostname

  match:
    $rule_name, $hostname over 5m

  condition:
    // Triggers only when the event exists and no matching combination row exists in the data table
    $e and #exclusion_table = 0
}

如需更多外部彙整和反彙整的範例,請參閱「使用外部彙整建立資料關聯」。

將 YARA-L 查詢結果寫入資料表

您可以將 YARA-L 查詢結果寫入資料表。這項功能可讓您從 Google SecOps 資料建立資料表,並使用這些資料表篩選及強化其他資料。

您可以使用 YARA-L 查詢寫入語法執行下列操作:

  • 定義 YARA-L 語法,將查詢結果寫入資料表。

  • 將資料表用於威脅情報、事件應變和其他安全用途。

  • 資料應符合 YARA-L 語法和慣例。

使用 YARA-L 將偵測結果和快訊寫入資料表

您可以使用 YARA-L 查詢,將偵測結果和警告傳送至資料表。

您可以使用 write_row 函式,根據規則結果,覆寫資料表中具有相符索引鍵的資料列。如果資料表中找不到該鍵,則會新增資料列。

在 YARA-L 查詢的匯出部分指定 write_row 函式。將資料寫入資料表必須是查詢的最後一個動作。這會將結果變數寫入資料表。

  • 範例

    export:
      %<data_table_name>.write_row(
      data_table_column_x_name: <value>,
      data_table_column_y_name: <value>,
      ...,
      ...,
      data_table_column_z_name: <value>
    )
    // depending on the key column(s), the rows will be updated for existing keys 
    and appended for new keys
    
  • 範例:將搜尋結果匯出至資料表

    events:
      $e.metadata.event_type = "USER_LOGIN"
      $e.security_result.action = "ALLOW"
    
    outcome:
      $user = $e.principal.user.userid
      $ip = $e.target.ip[0] // Assuming target.ip is an array
      $timestamp = $e.metadata.event_timestamp.seconds
    
    export:
      // Write to the data table named 'successful_logins'
      %successful_logins.write_row(
        user: $user,          // Maps $user variable to 'user' column
        ip: $ip,              // Maps $ip variable to 'ip' column
        first_seen: $timestamp // Maps $timestamp variable to 'first_seen' column
      )
    

使用 YARA-L 修改資料表

以下說明如何使用 YARA-L 修改資料表:

TableName:ip_user_domain_table (主鍵的鍵欄會在建立時定義)

IP 位址 employee_id* 網域
192.0.2.10 Dana altostrat.com
192.0.2.20 Quinn altostrat.com
192.0.2.30 Lee cymbalgroup.com

* 表示主鍵。

下列查詢會擷取 principal.ip、principal.user.employee_id 和 target.domain 的不重複組合。系統會根據 target.domain 的普及度篩選結果:

  • 範例

    events:
      $e.principal.ip = $principal_ip
      $e.principal.user.employee_id = $principal_user_employee_id
      $e.target.domain.name = $target_domain
      $e.target.domain.prevalence.day_count < 5
    
    // To run this query as a rule, add Condition Section here 
    // condition:$e
    

查詢結果:

ip empid 網域
192.0.2.10 Dana altostrat.com
192.0.2.30 Lee examplepetstore.com
192.0.2.20 Quinn altostrat.com

範例:使用 write_row 將查詢輸出內容寫入資料表

  • 規則範例:

    rule udm_write_data_table {
    meta:
        description = "Writeto data table"
    events:
      $e.principal.user.employee_id = $principal_user_employee_id
      $e.target.domain.name = $target_domain
      $e.target.domain.prevalence.day_count < 5
    
    outcome:
      $hostname = $target_domain
      $principal_emp_id = $principal_user_employee_id
    
    condition:
      $e
    
    export:
      %ips_with_hostnames.write_row(
          employeeid:$principal_emp_id,
          hostname:$hostname
      )
    }
    
  • 搜尋範例:

    events:
      $e.principal.user.employee_id = $principal_user_employee_id
      $e.target.domain.name = $target_domain
      $e.target.domain.prevalence.day_count < 5
    
    outcome:
      $hostname = $target_domain
      $principal_emp_id = $principal_user_employee_id
    
    export:
      %ips_with_hostnames.write_row(
        employeeid:$principal_emp_id,
        hostname:$hostname
      )
    

範例:瞭解 write_row

在以下範例中,user 和 ip 是主鍵。偵測結果表格中保留的每項偵測結果,都會導致查詢匯出部分中的函式呼叫評估一次。

  • 規則範例:

    rule udm_write_data_table {
    meta:
      description = "Write data table"
    events:
      $e.metadata.event_type = "USER_LOGIN"
      all $e.security_result.action != "BLOCK"
      all $e.security_result.action != "UNKNOWN_ACTION"
    
      $user = $e.principal.user.userid
      $ip = $e.target.ip
      $ts = $e.metadata.event_timestamp.seconds
    
    match:
      $user, $ip over 1h
    
    outcome:
      $first_seen = min($ts)
    
    condition:
      $e
    
    export:
      %successful_logins.write_row(user:$user, ip:$ip)
    }
    
  • 搜尋範例:

    events:
      $e.metadata.event_type = "USER_LOGIN"
      all $e.security_result.action != "BLOCK"
      all $e.security_result.action != "UNKNOWN_ACTION"
    
      $ts = $e.metadata.event_timestamp.seconds
    
    outcome:
      $user = $e.principal.user.userid
      $ip = $e.target.ip[0]
    
    export:
      %successful_logins.write_row(user:$user, ip:$ip)
    

    以下是事件資料:

    metadata: {
      event_type: USER_LOGIN
      event_timestamp: { seconds: 1283299200 }
    }
    principal: {
      user: {
        userid: "charlie"
      }
    }
    target: {
      ip: ["192.0.2.135", "192.0.2.136"]
    }
    security_result: {
      action: ALLOW
    }
    
  • 以規則形式執行這項查詢時,會傳回下列偵測結果:

    偵測 ID 比對 $user 比對 $ip
    0 charlie 192.0.2.135
    1 charlie 192.0.2.136

    資料表包含下列資訊:

    user ip
    charlie 192.0.2.135
    charlie 192.0.2.136
  • 下列搜尋查詢說明 Search 支援將純量值寫入資料表。

    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
    
    export:
      %summary_table.write_row(col_name: $e.metadata.product_name, Vendor_name: $e.metadata.vendor_name)
    

使用資料表充實實體圖譜

您可以使用資料表,新增、移除或取代規則中實體圖表呈現的實體。使用規則 setup 區段中的函式,指出 資料表應如何與 events 區段中參照的 實體事件合併、附加或用於移除實體。

您可以使用下列規則範本修改實體圖:

  • 規則範本

    rule entity_graph_template {
    
      meta:
        ...
    
      setup:
        // import the data table into entity graph
        <enrichment_keyword> <join_condition>
    
      events:
        ...
    
      match:
        ...
    
      condition:
        ...
    }
    

您可以使用下列 YARA-L 2.0 函式,透過資料表強化實體圖:

  • graph_override:使用資料表中的資料,覆寫實體圖表中符合彙整條件的資料列。

    例如:[graph_override](?tab=t.0#heading=h.v0fps7eke1if)

  • graph_append:將資料表中的資料列附加至實體圖中的資料列。graph_append 作業需要包含資料表變數和實體事件變數的陣列,而非彙整條件。

    在以下範例中,$g1 是實體圖表變數,example_table 是資料表:graph_append [$g1, %example_table]

    如果是 append 函式,資料表應包含下列資料欄,以便驗證實體:

    • start_time (對應至 metadata.interval.start_time.seconds)

    • end_time (對應至 metadata.interval.end_time.seconds)

    您無法透過網頁介面,將資料表資料欄對應至中繼資料欄位。如要用於append,必須使用 Chronicle API 建立資料表 (https://docs.cloud.google.com/chronicle/docs/reference/rest/v1alpha/projects.locations.instances.dataTables/create)

  • graph_exclude:移除實體圖中符合 join 條件的資料列。

    例如:[graph_exclude](?tab=t.0#heading=h.o0qbb5paki6g)

彙整條件必須是資料表資料欄和實體圖表欄位之間的等式運算式。如要使用 graph_override 和 graph_exclude 函式存取資料表,請使用下列語法:

<data_table_name>.<column_name>

在事件部分中為 <entity_variable> 指定的任何篩選器,都會在資料表強化後套用。

使用資料表中的實體擴充實體圖中的實體後,實體圖中的實體變數必須加入 UDM 實體。

使用資料表中的資料覆寫實體圖

使用 graph_override 函式時,如果實體圖和資料表都有相同欄位,系統會以資料表的欄位取代實體圖的欄位。如果欄位存在於實體圖,但不存在於資料表,則會維持不變。如果欄位未出現在實體圖中,但出現在資料表中,則會納入。

只有已對應的資料表資料欄,會覆寫實體圖表的資料欄。未對應的資料欄會新增至實體圖表的 additional 欄位,資料表會彙整至該圖表。

範例:比對單一彙整

在以下範例中,實體圖表中符合資料表資料欄和實體圖表欄位 ($g1.graph.entity.ip = %example_table.my_ip) 之間彙整條件的資料列,會由資料表覆寫。

  • 範例

    rule rule_override {
      meta:
      description = "Override entity context with data table before joining with UDM event"
    
      setup:
      //Rows in the entity graph that match the join condition are overridden by the data table
        graph_override ($g1.graph.entity.ip = %example_table.my_ip)
    
      events:
        $e.metadata.event_type = "NETWORK_CONNECTION"
        $e.security_result.action = "ALLOW"
    
        // Filter will be applied after graph is overridden by data table
        $g1.graph.entity.hostname = "ftp01"
    
        // Accessing unmapped columns
        $g1.graph.additional.fields["Owner"] = "alice"
    
        // Joining the UDM event with the enriched entity graph
        $e.target.ip = $iocip
        $g1.graph.entity.ip = $iocip
    
      match:
        $iocip over 1h
    
      condition:
        $e and $g1
    }
    

如要使用資料表中未對應的資料欄 (例如「擁有者」),則 $g1.graph.entity.owner = "alice" is $g1.graph.additional.fields["Owner"] = "alice" 的對等陳述式為:這是因為資料表中所有未對應的資料欄,都會進入實體圖譜 ($g1) 的 additional 欄位。

下表說明覆寫作業,其中資料表中的 IP 欄位與實體圖中的 IP 欄位相符時,實體圖中的資料列會增補。

現有實體圖表
主機名稱 IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
資料表
主機名稱 IP MAC 擁有者
ftp01 10.1.1.4 …:bb alice
h1 10.1.1.6 …:cc bob
h2 10.1.1.7 …:dd chris
h3 10.1.1.4 …:ee doug

更豐富的實體圖表
主機名稱 IP MAC 擁有者
ftp01 10.1.1.4 …:bb alice
www01 10.1.1.5 …:02
h3 10.1.1.4 …:ee doug

範例:比對多個彙整

在以下範例中,實體圖表中符合多個彙整條件 ($g1.graph.entity.ip = %example_table.my_ip 和 $g1.graph.entity.hostname = %example_table.my_hostname) 的資料列會由資料表覆寫。

  • 範例

    rule rule_override {
    meta:
      description = "Override Entity context with Data Table before joining with UDM event"
    setup:
      // example with more than one condition
      graph_override ($g1.graph.entity.ip = %example_table.my_ip and
      $g1.graph.entity.hostname = %example_table.my_hostname) 
    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
    
      // Filter will be applied after graph is overridden by data table
      $g1.graph.entity.hostname = "ftp01"
    
      // joining the UDM event with the enriched entity graph
      $e.target.ip = $iocip
      $g1.graph.entity.ip = $iocip
    
    match:
      $iocip over 1h
    
    condition:
      $e and $g1
    }
    

下表說明覆寫作業,其中資料表中的 IP 欄位和主機名稱欄位,與實體圖中的 IP 欄位和主機名稱欄位皆相符時,實體圖的資料列會擴充。

現有實體圖表
主機名稱 IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
資料表
主機名稱 IP MAC 擁有者
ftp01 10.1.1.4 …:bb alice
h1 10.1.1.5 …:cc bob
h2 10.1.1.6 …:dd chris
h3 10.1.1.4 …:ee doug
更豐富的實體圖表
主機名稱 IP MAC 擁有者
ftp01 10.1.1.4 …:bb alice
www01 10.1.1.5 …:02

將資料表中的資料附加至實體圖

使用 graph_append 函式時,不需要彙整條件。

在以下範例中,資料表中的所有資料列都會附加至實體圖表中的資料列。

  • 範例

    rule rule_append {
    meta:
      description = "Data table append entity"
    
    setup:
      graph_append [$g1, %example_table]
    
    events:
      // filter UDM events
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.security_result.action = "ALLOW"
    
      // Join the filtered UDM events with the enriched graph
      $e.target.ip = $iocip
      $g1.graph.entity.ip = $iocip
    
    match:
      $iocip over 1h
    
    condition:
      $e and $g1
    }
    

下表範例說明附加作業,其中資料表的資料列會附加至實體圖中的資料列:

現有實體圖表
主機名稱 IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
資料表
IP MAC 擁有者
10.1.1.4 …:01 alice
10.1.1.6 …:cc bob
10.1.1.7 …:dd chris
10.1.1.4 …:ee doug
更豐富的實體圖表
主機名稱 IP MAC 擁有者
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
10.1.1.4 …:bb alice
10.1.1.6 …:cc bob
10.1.1.7 …:dd chris
10.1.1.4 …:ee doug

使用 graph_exclude 從實體圖表中移除資料列

使用 graph_exclude 函式,實體圖表中符合彙整條件的資料列會從實體圖表中移除。

在以下範例中,實體圖中符合指定彙整條件 (資料表資料欄和實體圖欄位之間) 的所有資料列都會遭到移除。資料表中的資料列不會新增至實體圖。

  • 範例

    rule rule_exclude {
    
        meta:
        setup:
          graph_exclude ($g1.graph.entity.ip = %example_table.ip)
    
        events:
            $e.metadata.event_type = "NETWORK_CONNECTION"
            $e.security_result.action = "ALLOW"
            $e.target.ip = $iocip
            $g1.graph.entity.ip = $iocip
    
        match:
            $iocip over 1h
    
        condition:
          $e and $g1
    }
    

下表說明排除作業,其中實體圖表中與資料表 IP 欄位相符的資料列會遭到移除:

現有實體圖表
主機名稱 IP MAC
ftp01 10.1.1.4 …:01
www01 10.1.1.5 …:02
資料表
IP MAC 擁有者
10.1.1.4 :bb alice
10.1.1.6 …:cc bob
10.1.1.7 …:dd chris
更豐富的實體圖表
主機名稱 IP MAC
www01 10.1.1.5 …:02

API 頻率限制

呼叫 Google SecOps Data Table 和 Data Table Row REST API 端點時,系統會依專案和使用者強制執行下列每分鐘查詢數 (QPM) 配額:

資源 API 作業 頻率限制 (標準)
DataTables CreateDataTable (data_table/create_requests) 每分鐘 60 次查詢
DataTables GetDataTable (data_table/get_requests) 每分鐘 120 次查詢
DataTables ListDataTables (data_table/list_requests) 每分鐘 120 次查詢
DataTables UpdateDataTable (data_table/update_requests) 每分鐘 60 次查詢
DataTables DeleteDataTable (data_table/delete_requests) 每分鐘 60 次查詢
DataTableRows CreateDataTableRow (data_table_row/create_requests) 每分鐘 60 次查詢
DataTableRows GetDataTableRow (data_table_row/get_requests) 每分鐘 120 次查詢
DataTableRows ListDataTableRows (data_table_row/list_requests) 每分鐘 120 次查詢
DataTableRows UpdateDataTableRow (data_table_row/update_requests) 每分鐘 60 次查詢
DataTableRows DeleteDataTableRow (data_table_row/delete_requests) 每分鐘 60 次查詢
DataTableRows BulkCreateDataTableRows (同步/非同步) 每分鐘 30 次查詢
DataTableRows BulkReplaceDataTableRows (同步/非同步) 每分鐘 30 次查詢
DataTableRows BulkUpdateDataTableRows (同步/非同步) 每分鐘 10 次查詢
DataTableRows BulkDeleteDataTableRows (同步/非同步) 每分鐘 30 次查詢
DataTableRows BulkGetDataTableRows (data_table_row/bulk_get_requests) 每分鐘 120 次查詢

限制

  • Google SecOps 帳戶的資料表數量上限:1,000 個。

  • 資料表僅支援 CSV 資料。只有在新增資料表並匯入以定位點分隔值 (TSV) 檔案時,資料表才支援以定位點分隔值。

  • 資料表欄位不支援逗號 (,) 字元。

  • 在查詢中參照參考清單時,in 陳述式數量的限制也適用於資料表中的 in 陳述式。

  • String 和 Number 資料類型已指定類型和格式的欄的查詢中,in 陳述式數量上限:10。

  • 含有規則運算式運算子的 in 陳述式數量上限:5。

  • CIDR 運算子的 in 陳述式數量上限:5。

  • = (JOIN) 陳述式數量上限:10。

  • 每個資料表的資料欄數量上限:1,000。

  • 每個資料表的資料列數量上限:1,000 萬。

  • 在文字和表格編輯器檢視畫面中,網頁顯示的資料表列數上限:10,000 列。

  • 資料表中的資料量上限:10 GB。

  • 設定部分不得使用預留位置。

  • 資料表未對應的資料欄,如果資料類型設為 string,則只能與 UDM 事件或 UDM 實體的字串欄位彙整。

  • 在資料表中,僅使用未對應的資料欄,並將資料類型設為 cidr 或 regex,分別代表 CIDR 或規則運算式。

  • 資料表查詢:不支援規則運算式萬用字元,且搜尋字詞長度上限為 100 個字元。

規則中資料表彙整的限制

規則中的資料表彙整功能有以下限制。

  • 使用資料表與事件彙整時,不支援擷取偵測到的所有事件樣本。

  • 與實體和 UDM 不同,資料表不支援預留位置。因此有以下限制:

    • 您無法將一組篩選器套用至資料表,並與 UDM 實體彙整。

    • 將資料表與其他 UDM 預留位置彙整時,無法對同一個資料表套用不同的篩選器組合。

    舉例來說,假設資料表名為 dt,內含 my_hostname、org 和 my_email 三個資料欄,並套用下列規則:

    events:
      $e1.principal.hostname =  %dt.my_hostname
      %dt.org ="hr"
    
      $e2.principal.email =  %dt.my_email
      %dt.org !="hr"
    

系統會先套用資料表上的所有篩選器,然後將資料表中篩選出的資料列與 UDM 彙整。在這種情況下,dt 資料表上相互矛盾的篩選器 (%dt.org ="hr" and %dt.org !="hr") 會產生空白資料表,然後與 e1 和 e2 彙整。

使用資料表和規則的限制

資料表與規則搭配使用時,有下列限制。

執行頻率限制

含有資料表的規則不支援即時執行頻率。

輸出至資料表的限制

  • 資料表的重複欄位資料欄不支援 any 和 all 修飾符。

  • 資料表的重複欄位資料欄不支援陣列索引。

  • 您只能將結果變數匯出至資料表。您無法直接匯出事件路徑或資料表欄。

  • 資料欄清單必須包含資料表的主鍵欄。

  • 最多可有 20 個結果。

  • 如果資料表不存在,系統會建立新資料表,並按照指定順序為所有資料欄設定預設的 string 資料類型。

  • 最多可有五項規則同時寫入資料表。

  • 我們無法保證生產端規則會在資料表的消費者規則啟動前,將資料列新增至資料表。

  • 單一規則的結果列數量有限。結果、保存資料和資料表最多只能有 10,000 列。

  • 更新資料列時,所有非索引鍵資料欄的新值都會取代舊值。任何更新 (包括新增資料列) 大約需要五分鐘才能開放查詢。

資料表實體擴充功能的限制

  • 您只能對單一實體圖表變數套用一項擴充作業 (override、append 或 exclude)。

  • 每項擴充作業只能使用一個資料表。

  • 在 YARA-L 規則的 setup 部分,您最多可以定義兩項任何類型的擴充作業。

在以下範例中,override 作業會套用至實體圖表變數 $g1,而 append 作業會套用至實體圖表變數 $g2。

  • none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table1]

在上述範例中,同一個資料表 (table1) 用於強化不同的實體圖。您也可以使用不同的資料表,強化不同的實體圖,如下所示:

  • none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table2]

在搜尋中使用資料表的限制

在 Google 搜尋中使用資料表時,須遵守下列限制:

  • 單次查詢執行最多可將 100 萬列或 1 GB 的資料輸出至資料表,以先達到上限者為準。

  • 如果事件資料列超過 5 MB,搜尋輸出至資料表時會略過這些資料列。

  • 搜尋功能不支援實體擴充。

  • 客戶自行管理的加密金鑰 (CMEK) 使用者不支援資料表。

  • 每位客戶每分鐘最多可寫入 6 次。

  • 資料表和資料表彙整僅支援 UDM 事件,不支援實體。

    支援:%datatable1.column1 = %datatable2.column1

    不支援:graph.entity.hostname = %sample.test

  • 統計資料查詢的 export 部分不能包含 match 變數。

    舉例來說,系統不支援以下項目:

      match:
          principal.hostname
      export:
          %sample.write_row(
          row: principal.hostname
        )
    
    

使用 Chronicle API 或 Terraform 重新命名或刪除資料表的限制

  • 平台或 API 不支援重新命名。
  • 如果資料表由規則參照,您就無法透過平台或 API 刪除資料表。
  • 在 Terraform 中,重新命名資料表會觸發刪除及重新建立作業。如果資料表由規則參照,這項作業就會失敗,因為 API 會禁止刪除舊資料表。
  • Terraform 中的資料遺失風險:即使規則未參照資料表,使用 Terraform 重新命名資料表仍會導致資料永久遺失。Terraform 會刪除現有資料表,並以新的空白資料表取代,不會保留原始資料表的任何資料。
  • 建議的解決方法:
    • 使用新名稱建立新的資料表。
    • 請更新規則,開始使用新的資料表。
    • 刪除舊的資料表。

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。