搜尋資料表
資料表是多欄資料結構,可用於將自有資料輸入 Google Security Operations。 資料表還能做為對照表使用,裡面的資料欄經過定義,資料則會儲存在資料列。 您可以透過以下方式建立資料表或將資料表匯入 Google SecOps 帳戶:利用 Google SecOps 網頁介面、資料表 API,或是在規則使用 YARA-L 2.0 總覽查詢。
使用資料 RBAC 為資料表指派範圍
如要使用資料表,您必須透過資料角色式存取控管 (資料 RBAC) 機制,將範圍指派給資料表。您可以為資料表指派範圍,控管哪些使用者和資源可以存取及使用資料表。詳情請參閱「設定資料表的資料 RBAC」。
使用 Google SecOps 網頁介面管理資料表
以下各節將說明如何使用網頁介面管理資料表,包括如何存取資料表、新增資料表、編輯資料表內容、新增資料列,以及如何從帳戶中移除資料表。
存取資料表
如要存取「Data Tables」(資料表) 頁面,請按照下列步驟操作:
- 在側欄中,依序選取「調查」>「資料表」。
如要尋找特定資料表,請在「資料表」側欄頂端的「搜尋」欄位中輸入名稱。
新增資料表
新增資料表時,您可以手動輸入 CSV 資料、貼上 CSV 資料,或將 CSV 或 TSV 檔案匯入資料表。
儲存新的資料表後,就永久無法變更下列設定:
- 欄標題
- 資料對應
- 主鍵
- 重複欄位
- 資料欄名稱與實體欄位的對應關係
如要在 Google SecOps 中新增資料表,請按照下列步驟操作:
在側欄中,依序選取「調查」>「資料表」。
在「資料表」側欄頂端,按一下「建立」圖示 。
在「Create New Data Table」(建立新資料表) 對話方塊中,為資料表命名,並視需要新增說明。
執行下列其中一個步驟:
- 手動輸入 CSV 資料,或將 CSV 資料貼到「文字」(編輯模式) 區域。
- 如要將 CSV 或 TSV 檔案中的資料匯入資料表,請按照下列步驟操作:
- 按一下「匯入檔案」。
- 前往檔案,然後按一下「開啟」。「匯入檔案」對話方塊會隨即開啟。
- 如果您在上一步選取 TSV 檔案,請執行下列操作:
- 在「分隔符類型」清單中,選取「自動偵測」或「Tab 鍵」。
- 在「從這個資料列開始匯入」清單中,指定要從檔案中的哪一列開始匯入資料。
- 按一下 [Import Data] (匯入資料)。
選取「表格」編輯模式,並視需要設定下列項目:
按一下 [儲存]。新的資料表會顯示在「資料表」側欄中,可供您新增資料。
將資料類型對應至資料表資料欄
新增資料表時,您可以將資料類型 (字串、規則運算式、CIDR 或數字) 對應至資料表資料欄。
您可以使用網頁介面或 API,將「單一」資料欄位對應至資料欄,並將重複的資料欄位對應至資料欄,如下所示:
在網頁介面和 API 中,請使用管道符號 (
|) 分隔資料欄位值。在網頁介面中,如果任何值包含管道符號 (|),系統預設會將其視為重複值。如果是 API 要求,請將
repeated_values設為true。
詳情請參閱「重複欄位」。
在以下範例中,資料表欄 Field_value 包含多個欄位的值:
| Field_value | Field_name |
|---|---|
| altostrat.com | FQDN |
| 192.0.2.135 | IP |
| charlie | userid |
| example | hostname |
上表分為四個資料欄,每個資料欄只能對應一種欄位類型,才能用於本文介紹的任何資料表用途。
| FQDN | IP | Userid | 主機名稱 |
|---|---|---|---|
| altostrat.com | 192.0.2.135 | charlie | example |
| … | … | … | … |
指定索引鍵資料欄
新增資料表時,您可以將特定資料欄指定為鍵欄。
將資料欄標示為鍵資料欄,可確保該資料欄中的值具有唯一性,不會有重複的資料,並能透過規則和搜尋功能,更有效率地找出資料。
指定資料欄來支援重複欄位
新增資料表時,您可以指定特定資料欄支援重複欄位。
如要使用資料欄儲存多值欄位或重複欄位,則必須在建立資料表時,明確將資料欄指定為重複。
將資料欄名稱對應至實體欄位 (選用)
新增資料表時,您可以將資料表的資料欄名稱對應至實體欄位。
在下列範例資料表中,Userid 和 Role 欄分別對應至 entity.user.userid 和 entity.user.attribute.role.name:
| Userid (對應至 entity.user.userid) |
電子郵件 | 角色 (對應至 entity.user.attribute.role.name) |
|---|---|---|
| jack | jack123@gmail.com | 管理員 |
| tony | tony123@gmail.com | engineer |
您可以使用 DataTable 資源的 mapped_column_path 欄位,將資料表資料欄對應至實體 proto 欄位。
如果資料欄沒有定義的實體路徑 (例如本範例資料表中的 Email),則必須手動指定資料類型。與參考清單一樣,資料表支援的資料類型為 number、string、regex 和 cidr。
您可以指定 join 條件,在資料表中加入已對應和未對應的資料欄。
未對應的資料欄會儲存在資料表加入的實體 additional 欄位中。這些資料會以鍵/值組合的形式新增,其中 key 是資料欄名稱,value 則是對應的資料列值。
在資料表中新增資料列
如要新增資料列,請按照下列步驟操作:
- 在「詳細資料」分頁中,選取「表格」編輯模式。
- 在現有資料列上按一下滑鼠右鍵,然後選取「在上方新增資料列」。
- 輸入新資料列的資料。第一列會視為表格標題。請務必將每個資料項目與適當的資料欄和資料類型配對。
- 按一下「儲存」。
編輯資料表中的資料列
如要編輯資料列,請按照下列步驟操作:
- 按一下要變更的欄位。欄位會變成可編輯狀態。
- 進行所需的變更。
- 按一下「儲存」。
搜尋資料表資料列
您可以使用網頁介面,在資料表中搜尋特定資訊。在「詳細資料」分頁的搜尋欄位中輸入搜尋字串,然後按一下「搜尋」。系統會顯示含有搜尋字串的資料列。
管理資料表資料列存留時間
如要管理資料表資料列的存留時間 (TTL) 值,請按照下列步驟操作:
按一下「顯示各列的存留時間」。系統會顯示存留時間欄,指出各列是否已過期。如果尚未過期,則會顯示距離過期還有多少時間。
按一下「預設資料列到期時間」,顯示「更新預設資料列到期時間」對話方塊,然後調整資料表資料列存留時間。
在「小時」或「天」中輸入新的存留時間值。最小值為 1 小時。最大值為 365 天。
按一下「儲存」。
資料列層級存留時間覆寫行為
資料列會繼承資料表層級套用的存留時間。您也可以為個別資料列設定特定的存留時間,這個資料列層級的存留時間會優先於資料表層級的預設值。新增資料列時,其存留時間會從建立時間開始計算。
刪除表格列
如要刪除資料列,請在資料列上按一下滑鼠右鍵,然後選取「刪除列」。
如要刪除多個資料列,請選取要移除的每個資料列。然後在任一選取的列上按一下滑鼠右鍵,並選擇「刪除列」。
移除資料表
如要移除資料表,請按照下列步驟操作:
在側欄的「資料表」清單中,選取資料表。
點選「刪除」。
使用 Chronicle API 管理資料表
您也可以使用 Chronicle API 中的 REST 資源,管理 Google SecOps 的資料表。這個 API 可複製網頁介面中的所有功能,並提供一些額外功能,讓您更有效率、更大規模地管理資料表。
以下是資料表 REST 資源:
範例:篩選器語法
以下 Chronicle API 範例說明如何使用 filter 語法,在資料表列中搜尋 google.com:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://staging-chronicle.sandbox.googleapis.com/v1alpha/projects/{$PROJECT}/locations/${REGION}/instances/${INSTANCE}/dataTables/${DATA_TABLE_NAME}/dataTableRows?filter=google.com"
在 Google SecOps 使用資料表
將資料表新增至 Google SecOps 執行個體後,您可以使用 YARA-L 查詢篩選、強化及充實資料。本文件包含許多 YARA-L 語法範例,您可以將這些範例整合至 Google SecOps。
您可以在搜尋和規則中,搭配使用資料表和 YARA-L 查詢。
資料表的使用方式如下:
-
您可以將 UDM 遙測事件和實體與資料表中的項目進行比較,藉此篩選這些事件和實體。
-
您可以將資料表當做多欄參照清單使用。參考清單只能存取單一維度的資料,資料表則可存取多個維度的資料,並篩選資料。
-
您可以使用等號 (
=) 運算子進行資料列比較,將 UDM 事件連結至資料表。這項比較可讓您篩選資料。只有在陳述式中的所有條件都與資料表中的單一資料列相符時,以資料列為基礎的比較才會評估為true。
使用資料表篩選 UDM 事件和實體資料
您可以將 UDM 事件和實體與資料表中的項目進行比較,藉此篩選 UDM 事件和實體。使用以資料列為基礎或以資料欄為基礎的比較,將資料表與 UDM 事件或實體彙整。
資料表中的資料列和資料欄比較
| 比較類型 | 重要邏輯 | 常見運算子 | 語法範例 | 使用時機 |
|---|---|---|---|---|
| 以資料列為基礎 | 所有條件必須在「同一」列中相符 | =、!=、>、>=、<、<= |
$e.field = %table.col_a |
同一列中多個資料欄值之間的關係很重要時。 |
| 以資料欄為基礎 | 值必須存在於資料欄中的任何位置 | IN、IN regex、IN cidr |
$e.field IN %table.col_b |
檢查單一資料欄中的一組值是否存在某個值。 |
使用以資料列為準或以資料欄為準的比較方法,將 UDM 事件連結至資料表:
以資料列為基礎的比較,將 UDM 事件連結至資料表
如要使用以資料列為基礎的比較,將 UDM 事件連結至資料表,請使用等式運算子 (
=、!=、>、>=、<、<=)。例如:
$<udm_variable>.<field_path> = %<data_table_name>.<column_name>- 如果您使用多個比較陳述式,則所有欄位或條件都必須與同一個資料表列相符。
如要在查詢中使用運算子 (例如
not、!=、>、>=、<、<=),您必須在 UDM 欄位和資料表列之間加入至少一個join條件。Google SecOps 會將任何含有資料表
join的規則視為多重事件規則,因此規則定義中必須包含match區段。
如要根據 UDM 事件與資料表資料列相符的值篩選資料,請考慮使用下列彙整語法:
正確的 JOIN 語法:
偵測規則 (左反聯結):如要在多個欄位的特定組合與資料表中的同一列相符時排除事件 (反聯結),請在
events區段中使用等號 (=) 將事件欄位繫結至資料表資料欄,並在condition區段中指定$e and #<data_table_name> = 0。或者,您也可以在condition區段中加入#<data_table_name> >= 0,讓編譯器執行左外部聯結 (例如,使用$match_count = count(%<data_table_name>.<column_name>)計算outcome中相符的資料列時,使用$e and #<data_table_name> >= 0 and $match_count = 0)。如果資料表中的任何資料列與所有繫結資料欄相符,資料列計數就會大於零,且規則會排除事件。詳情請參閱「規則中的左反向連結 (排除) 範例」。搜尋和資訊主頁:
- 使用
match區段 (匯總搜尋和資訊主頁):在events區段中的每個聯結資料欄 (例如left join $e.field1 = %<data_table_name>.col1和left join $e.field2 = %<data_table_name>.col2) 重複left join,並在condition區段中新增#<data_table_name> = 0(或計算outcome中的相符資料欄,並評估condition中的$match_count = 0)。 - 不含
match區段 (未匯總的多級式搜尋和資訊主頁):將重複的left join陳述式放在具名stage中,該會在outcome中輸出資料表資料欄 (例如$matched_col = %<data_table_name>.<column_name>),在主要events區段中篩選$<stage_name>.matched_col = ""(不相符的階段字串輸出預設為空字串,而非空值),並在主要outcome區段中投影所需的階段欄位。
- 使用
彙整語法不正確:
請勿在多個以資料列為基礎的等式條件 (例如
NOT ($e.field1 = %table.col1 AND $e.field2 = %table.col2)) 前後加上NOT。系統會逐列比對資料表。如果任何資料列不符合內部合併條件,NOT的評估結果會是true,可能導致事件納入而非排除。請勿在多個資料欄中使用獨立不等運算子 (例如
$e.field1 != %table.col1 AND $e.field2 != %table.col2),而不使用正向彙整條件 (=),否則會導致編譯錯誤。即使與另一個資料欄的正向彙整搭配使用,不等運算子也會評估同一個彙整資料列上的資料欄,並在「任何」彙整資料列不同時進行比對,而不是驗證沒有任何資料列與元組相符。請勿混淆資料列比較和資料欄成員資格檢查 (
not $e.field1 in %table.col1 and not $e.field2 in %table.col2)。資料欄in檢查會獨立評估整個資料表中的每個資料欄,如果field1出現在某一列,而field2出現在另一列,則會排除事件,即使這兩個值從未同時出現在同一列中。
如要使用
CIDR或regex類型的資料表資料欄進行資料列比較,請使用下列語法:net.ip_in_range_cidr($e.principal.ip, %<data_table_name>.<column_name>) re.regex($e.principal.hostname, %<data_table_name>.<column_name>)
以資料欄為基礎的比較,將 UDM 事件連結至資料表
如要使用資料欄比較,將 UDM 事件連結至資料表,請使用
in關鍵字。例如:
$<udm_variable>.<field_path> in %<data_table_name>.<column_name>如要篩除欄位值存在於指定資料欄 (例如封鎖清單或許可清單) 的事件,請使用下列語法:
NOT (... IN %table.column)例如:
not ($evt_username in %my_data_table.username)如要使用
CIDR或regex類型的資料表資料欄進行資料欄比較,請使用下列語法:$e.principal.ip in cidr %cidr_data_table.column_name $e.principal.hostname in regex %regex_data_table.column_name比較資料表中 CIDR 或規則運算式資料類型的資料欄時,
cidr和regex關鍵字為選用。您也可以搭配資料表使用
not運算子。下列查詢範例會篩除 IP 位址 (
$e.principal.ip) 與cidr_data_table中benign_ip欄列出的任何 CIDR 範圍不符的項目:not $e.principal.ip in %data_table.benign_ip
使用資料表做為多欄參照清單
資料表可做為多欄參照清單。雖然參考清單可以存取單一維度 (一欄) 中的資料,但資料表支援多欄,可讓您篩選及存取多個維度的資料。
您可以使用 in 關鍵字進行資料欄比較,將 UDM 事件連結至資料表,藉此比對特定 UDM 欄位中的值與資料表單一資料欄中的值。
在以下範例中,badApps 資料表包含兩個資料欄:hostname 和 ip。查詢會分別比對這兩個值 (以 UDM 欄位為基礎的值,以及以資料表為基礎的值,兩者都是字串資料類型)。
規則範例:
rule udm_in_data_table { meta: description = "Use data table as multicolumn reference list" events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" $e.target.asset.asset_id = $assetid // Event hostname matches at least one value in table column hostname. $e.target.hostname in %badApps.hostname // Event IP matches at least one value in table column ip. $e.target.ip in %badApps.ip match: $assetid over 1h condition: $e }搜尋範例:
events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" $e.target.asset.asset_id = $assetid // Event hostname matches at least one value in table column hostname. $e.target.hostname in %badApps.hostname // Event IP matches at least one value in table column ip. $e.target.ip in %badApps.ip
資料表與 UDM 事件或實體之間的資料列彙整
您可以使用等號和比較運算子 (=, !=, >, >=,
<, <=) 執行資料列比較,將 UDM 事件連結至資料表。這種做法可讓您比對 UDM 事件中的值與資料表中的資料列,藉此篩選資料。如果使用多個比較陳述式,所有欄位或條件都必須與同一個資料表資料列相符。
您必須在 UDM 欄位和資料表列之間加入至少一個 join 條件,才能在查詢中使用運算子 (例如 not, !=, >, >=, <, <=)。Google SecOps 會將任何含有資料表 join 的規則視為多重事件規則,因此規則定義中必須有對應的 match 區段。
加入後,連結的資料表列就會顯示在 Google 搜尋中。詳情請參閱「在 Google 搜尋中查看資料表列」。
查詢的
event區段中的資料表支援預留位置,但必須連結至 UDM 事件或 UDM 實體。以下範例使用
string類型的資料表資料欄。這個 YARA-L 查詢範例會檢查使用者登入事件是否與
example_table中的資料列相符。- 其中一個條件是
user ID存在於example_table中。 example_table中同一列必須同時符合這兩項條件,才會觸發規則。
- 其中一個條件是
規則範例:
// Check if user exists in a data table and is active in all user login events. rule udm_join_data_table { meta: description = "Join data table with UDM event" events: $e.metadata.event_type = "USER_LOGIN" $e.security_result.action = "ALLOW" $e.principal.user.userid = $userid // Event must match at least 1 row in the data table // where the uid in the data table row is the userid on the event // and the active date in the same data table row is before the event timestamp. %example_table.uid = $userid $e.principal.hostname = %example_table.hostname match: $userid over 1h condition: $e }搜尋範例:
events: $e.metadata.event_type = "USER_LOGIN" $e.security_result.action = "ALLOW" $e.principal.user.userid = $userid // Event must match at least 1 row in the data table // where the uid in the data table row is the userid on the event // and the active date in the same data table row is before the event timestamp %example_table.uid = $userid $e.principal.hostname = %example_table.hostname
以下範例說明資料表和 UDM 事件資料如何搭配運作。
根據上述 YARA-L 查詢中的邏輯,系統會將偵測結果中
user ID 32452的使用者視為系統中的hostname,並與資料表中的hostname比對。資料表 uid title hostname 32452 HR host1 64452 Finance host2 46364 IT host3 UDM 事件資料表 principal metadata security_result principal 32452 USER_LOGIN ALLOW host1 64589 USER_LOGIN ALLOW host9 87352 USER_LOGIN ALLOW host4
使用多欄列式反聯結排除事件
如要僅在特定欄位組合與排除資料表中的同一列相符時排除事件 (左反向連結),請在 events 區段中將每個事件欄位繫結至對應的資料表欄,並在 condition 區段中指定 #<data_table_name> = 0。
下列偵測規則範例會排除規則名稱和主體主機名稱與 exclusion_table 中同一列相符的事件:
rule multi_column_row_exclusion {
meta:
author = "Google SecOps"
description = "Excludes events matching a specific rule and hostname combination in the same row of an exclusion data table."
events:
$e.metadata.event_type = "USER_LOGIN"
$e.security_result.rule_name = $rule_name
$e.principal.hostname = $hostname
// Both fields must match the SAME row in the exclusion data table
$rule_name = %exclusion_table.rule_name
$hostname = %exclusion_table.hostname
match:
$rule_name, $hostname over 5m
condition:
// Triggers only when the event exists and no matching combination row exists in the data table
$e and #exclusion_table = 0
}
如需更多外部彙整和反彙整的範例,請參閱「使用外部彙整建立資料關聯」。
將 YARA-L 查詢結果寫入資料表
您可以將 YARA-L 查詢結果寫入資料表。這項功能可讓您從 Google SecOps 資料建立資料表,並使用這些資料表篩選及強化其他資料。
您可以使用 YARA-L 查詢寫入語法執行下列操作:
定義 YARA-L 語法,將查詢結果寫入資料表。
將資料表用於威脅情報、事件應變和其他安全用途。
資料應符合 YARA-L 語法和慣例。
使用 YARA-L 將偵測結果和快訊寫入資料表
您可以使用 YARA-L 查詢,將偵測結果和警告傳送至資料表。
您可以使用 write_row 函式,根據規則結果,覆寫資料表中具有相符索引鍵的資料列。如果資料表中找不到該鍵,則會新增資料列。
在 YARA-L 查詢的匯出部分指定 write_row 函式。將資料寫入資料表必須是查詢的最後一個動作。這會將結果變數寫入資料表。
範例
export: %<data_table_name>.write_row( data_table_column_x_name: <value>, data_table_column_y_name: <value>, ..., ..., data_table_column_z_name: <value> ) // depending on the key column(s), the rows will be updated for existing keys and appended for new keys範例:將搜尋結果匯出至資料表
events: $e.metadata.event_type = "USER_LOGIN" $e.security_result.action = "ALLOW" outcome: $user = $e.principal.user.userid $ip = $e.target.ip[0] // Assuming target.ip is an array $timestamp = $e.metadata.event_timestamp.seconds export: // Write to the data table named 'successful_logins' %successful_logins.write_row( user: $user, // Maps $user variable to 'user' column ip: $ip, // Maps $ip variable to 'ip' column first_seen: $timestamp // Maps $timestamp variable to 'first_seen' column )
使用 YARA-L 修改資料表
以下說明如何使用 YARA-L 修改資料表:
TableName:ip_user_domain_table (主鍵的鍵欄會在建立時定義)
| IP 位址 | employee_id* | 網域 |
|---|---|---|
| 192.0.2.10 | Dana | altostrat.com |
| 192.0.2.20 | Quinn | altostrat.com |
| 192.0.2.30 | Lee | cymbalgroup.com |
* 表示主鍵。
下列查詢會擷取 principal.ip、principal.user.employee_id 和 target.domain 的不重複組合。系統會根據 target.domain 的普及度篩選結果:
範例
events: $e.principal.ip = $principal_ip $e.principal.user.employee_id = $principal_user_employee_id $e.target.domain.name = $target_domain $e.target.domain.prevalence.day_count < 5 // To run this query as a rule, add Condition Section here // condition:$e
查詢結果:
| ip | empid | 網域 |
|---|---|---|
| 192.0.2.10 | Dana | altostrat.com |
| 192.0.2.30 | Lee | examplepetstore.com |
| 192.0.2.20 | Quinn | altostrat.com |
範例:使用 write_row 將查詢輸出內容寫入資料表
規則範例:
rule udm_write_data_table { meta: description = "Writeto data table" events: $e.principal.user.employee_id = $principal_user_employee_id $e.target.domain.name = $target_domain $e.target.domain.prevalence.day_count < 5 outcome: $hostname = $target_domain $principal_emp_id = $principal_user_employee_id condition: $e export: %ips_with_hostnames.write_row( employeeid:$principal_emp_id, hostname:$hostname ) }搜尋範例:
events: $e.principal.user.employee_id = $principal_user_employee_id $e.target.domain.name = $target_domain $e.target.domain.prevalence.day_count < 5 outcome: $hostname = $target_domain $principal_emp_id = $principal_user_employee_id export: %ips_with_hostnames.write_row( employeeid:$principal_emp_id, hostname:$hostname )
範例:瞭解 write_row
在以下範例中,user 和 ip 是主鍵。偵測結果表格中保留的每項偵測結果,都會導致查詢匯出部分中的函式呼叫評估一次。
規則範例:
rule udm_write_data_table { meta: description = "Write data table" events: $e.metadata.event_type = "USER_LOGIN" all $e.security_result.action != "BLOCK" all $e.security_result.action != "UNKNOWN_ACTION" $user = $e.principal.user.userid $ip = $e.target.ip $ts = $e.metadata.event_timestamp.seconds match: $user, $ip over 1h outcome: $first_seen = min($ts) condition: $e export: %successful_logins.write_row(user:$user, ip:$ip) }搜尋範例:
events: $e.metadata.event_type = "USER_LOGIN" all $e.security_result.action != "BLOCK" all $e.security_result.action != "UNKNOWN_ACTION" $ts = $e.metadata.event_timestamp.seconds outcome: $user = $e.principal.user.userid $ip = $e.target.ip[0] export: %successful_logins.write_row(user:$user, ip:$ip)以下是事件資料:
metadata: { event_type: USER_LOGIN event_timestamp: { seconds: 1283299200 } } principal: { user: { userid: "charlie" } } target: { ip: ["192.0.2.135", "192.0.2.136"] } security_result: { action: ALLOW }以規則形式執行這項查詢時,會傳回下列偵測結果:
偵測 ID 比對 $user 比對 $ip 0 charlie 192.0.2.135 1 charlie 192.0.2.136 資料表包含下列資訊:
user ip charlie 192.0.2.135 charlie 192.0.2.136 下列搜尋查詢說明 Search 支援將純量值寫入資料表。
events: $e.metadata.event_type = "NETWORK_CONNECTION" export: %summary_table.write_row(col_name: $e.metadata.product_name, Vendor_name: $e.metadata.vendor_name)
使用資料表充實實體圖譜
您可以使用資料表,新增、移除或取代規則中實體圖表呈現的實體。使用規則 setup 區段中的函式,指出
資料表應如何與 events 區段中參照的
實體事件合併、附加或用於移除實體。
您可以使用下列規則範本修改實體圖:
規則範本
rule entity_graph_template { meta: ... setup: // import the data table into entity graph <enrichment_keyword> <join_condition> events: ... match: ... condition: ... }
您可以使用下列 YARA-L 2.0 函式,透過資料表強化實體圖:
graph_override:使用資料表中的資料,覆寫實體圖表中符合彙整條件的資料列。例如:
[graph_override](?tab=t.0#heading=h.v0fps7eke1if)graph_append:將資料表中的資料列附加至實體圖中的資料列。graph_append作業需要包含資料表變數和實體事件變數的陣列,而非彙整條件。在以下範例中,
$g1是實體圖表變數,example_table是資料表:graph_append [$g1, %example_table]如果是
append函式,資料表應包含下列資料欄,以便驗證實體:start_time(對應至metadata.interval.start_time.seconds)end_time(對應至metadata.interval.end_time.seconds)
您無法透過網頁介面,將資料表資料欄對應至中繼資料欄位。如要用於
append,必須使用 Chronicle API 建立資料表 (https://docs.cloud.google.com/chronicle/docs/reference/rest/v1alpha/projects.locations.instances.dataTables/create)graph_exclude:移除實體圖中符合join條件的資料列。例如:
[graph_exclude](?tab=t.0#heading=h.o0qbb5paki6g)
彙整條件必須是資料表資料欄和實體圖表欄位之間的等式運算式。如要使用 graph_override 和 graph_exclude 函式存取資料表,請使用下列語法:
<data_table_name>.<column_name>
在事件部分中為 <entity_variable> 指定的任何篩選器,都會在資料表強化後套用。
使用資料表中的實體擴充實體圖中的實體後,實體圖中的實體變數必須加入 UDM 實體。
使用資料表中的資料覆寫實體圖
使用 graph_override 函式時,如果實體圖和資料表都有相同欄位,系統會以資料表的欄位取代實體圖的欄位。如果欄位存在於實體圖,但不存在於資料表,則會維持不變。如果欄位未出現在實體圖中,但出現在資料表中,則會納入。
只有已對應的資料表資料欄,會覆寫實體圖表的資料欄。未對應的資料欄會新增至實體圖表的 additional 欄位,資料表會彙整至該圖表。
範例:比對單一彙整
在以下範例中,實體圖表中符合資料表資料欄和實體圖表欄位 ($g1.graph.entity.ip = %example_table.my_ip) 之間彙整條件的資料列,會由資料表覆寫。
範例
rule rule_override { meta: description = "Override entity context with data table before joining with UDM event" setup: //Rows in the entity graph that match the join condition are overridden by the data table graph_override ($g1.graph.entity.ip = %example_table.my_ip) events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" // Filter will be applied after graph is overridden by data table $g1.graph.entity.hostname = "ftp01" // Accessing unmapped columns $g1.graph.additional.fields["Owner"] = "alice" // Joining the UDM event with the enriched entity graph $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
如要使用資料表中未對應的資料欄 (例如「擁有者」),則 $g1.graph.entity.owner = "alice" is $g1.graph.additional.fields["Owner"] = "alice" 的對等陳述式為:這是因為資料表中所有未對應的資料欄,都會進入實體圖譜 ($g1) 的 additional 欄位。
下表說明覆寫作業,其中資料表中的 IP 欄位與實體圖中的 IP 欄位相符時,實體圖中的資料列會增補。
| 現有實體圖表 | ||
|---|---|---|
| 主機名稱 | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| 資料表 | |||
|---|---|---|---|
| 主機名稱 | IP | MAC | 擁有者 |
| ftp01 | 10.1.1.4 | …:bb | alice |
| h1 | 10.1.1.6 | …:cc | bob |
| h2 | 10.1.1.7 | …:dd | chris |
| h3 | 10.1.1.4 | …:ee | doug |
| 更豐富的實體圖表 | |||
|---|---|---|---|
| 主機名稱 | IP | MAC | 擁有者 |
| ftp01 | 10.1.1.4 | …:bb | alice |
| www01 | 10.1.1.5 | …:02 | |
| h3 | 10.1.1.4 | …:ee | doug |
範例:比對多個彙整
在以下範例中,實體圖表中符合多個彙整條件 ($g1.graph.entity.ip = %example_table.my_ip 和 $g1.graph.entity.hostname = %example_table.my_hostname) 的資料列會由資料表覆寫。
範例
rule rule_override { meta: description = "Override Entity context with Data Table before joining with UDM event" setup: // example with more than one condition graph_override ($g1.graph.entity.ip = %example_table.my_ip and $g1.graph.entity.hostname = %example_table.my_hostname) events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" // Filter will be applied after graph is overridden by data table $g1.graph.entity.hostname = "ftp01" // joining the UDM event with the enriched entity graph $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
下表說明覆寫作業,其中資料表中的 IP 欄位和主機名稱欄位,與實體圖中的 IP 欄位和主機名稱欄位皆相符時,實體圖的資料列會擴充。
| 現有實體圖表 | ||
|---|---|---|
| 主機名稱 | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| 資料表 | |||
|---|---|---|---|
| 主機名稱 | IP | MAC | 擁有者 |
| ftp01 | 10.1.1.4 | …:bb | alice |
| h1 | 10.1.1.5 | …:cc | bob |
| h2 | 10.1.1.6 | …:dd | chris |
| h3 | 10.1.1.4 | …:ee | doug |
| 更豐富的實體圖表 | |||
|---|---|---|---|
| 主機名稱 | IP | MAC | 擁有者 |
| ftp01 | 10.1.1.4 | …:bb | alice |
| www01 | 10.1.1.5 | …:02 | |
將資料表中的資料附加至實體圖
使用 graph_append 函式時,不需要彙整條件。
在以下範例中,資料表中的所有資料列都會附加至實體圖表中的資料列。
範例
rule rule_append { meta: description = "Data table append entity" setup: graph_append [$g1, %example_table] events: // filter UDM events $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" // Join the filtered UDM events with the enriched graph $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
下表範例說明附加作業,其中資料表的資料列會附加至實體圖中的資料列:
| 現有實體圖表 | ||
|---|---|---|
| 主機名稱 | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| 資料表 | ||
|---|---|---|
| IP | MAC | 擁有者 |
| 10.1.1.4 | …:01 | alice |
| 10.1.1.6 | …:cc | bob |
| 10.1.1.7 | …:dd | chris |
| 10.1.1.4 | …:ee | doug |
| 更豐富的實體圖表 | |||
|---|---|---|---|
| 主機名稱 | IP | MAC | 擁有者 |
| ftp01 | 10.1.1.4 | …:01 | |
| www01 | 10.1.1.5 | …:02 | |
| 10.1.1.4 | …:bb | alice | |
| 10.1.1.6 | …:cc | bob | |
| 10.1.1.7 | …:dd | chris | |
| 10.1.1.4 | …:ee | doug | |
使用 graph_exclude 從實體圖表中移除資料列
使用 graph_exclude 函式,實體圖表中符合彙整條件的資料列會從實體圖表中移除。
在以下範例中,實體圖中符合指定彙整條件 (資料表資料欄和實體圖欄位之間) 的所有資料列都會遭到移除。資料表中的資料列不會新增至實體圖。
範例
rule rule_exclude { meta: setup: graph_exclude ($g1.graph.entity.ip = %example_table.ip) events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.security_result.action = "ALLOW" $e.target.ip = $iocip $g1.graph.entity.ip = $iocip match: $iocip over 1h condition: $e and $g1 }
下表說明排除作業,其中實體圖表中與資料表 IP 欄位相符的資料列會遭到移除:
| 現有實體圖表 | ||
|---|---|---|
| 主機名稱 | IP | MAC |
| ftp01 | 10.1.1.4 | …:01 |
| www01 | 10.1.1.5 | …:02 |
| 資料表 | ||
|---|---|---|
| IP | MAC | 擁有者 |
| 10.1.1.4 | :bb | alice |
| 10.1.1.6 | …:cc | bob |
| 10.1.1.7 | …:dd | chris |
| 更豐富的實體圖表 | ||
|---|---|---|
| 主機名稱 | IP | MAC |
| www01 | 10.1.1.5 | …:02 |
API 頻率限制
呼叫 Google SecOps Data Table 和 Data Table Row REST API 端點時,系統會依專案和使用者強制執行下列每分鐘查詢數 (QPM) 配額:
| 資源 | API 作業 | 頻率限制 (標準) |
|---|---|---|
| DataTables | CreateDataTable (data_table/create_requests) |
每分鐘 60 次查詢 |
| DataTables | GetDataTable (data_table/get_requests) |
每分鐘 120 次查詢 |
| DataTables | ListDataTables (data_table/list_requests) |
每分鐘 120 次查詢 |
| DataTables | UpdateDataTable (data_table/update_requests) |
每分鐘 60 次查詢 |
| DataTables | DeleteDataTable (data_table/delete_requests) |
每分鐘 60 次查詢 |
| DataTableRows | CreateDataTableRow (data_table_row/create_requests) |
每分鐘 60 次查詢 |
| DataTableRows | GetDataTableRow (data_table_row/get_requests) |
每分鐘 120 次查詢 |
| DataTableRows | ListDataTableRows (data_table_row/list_requests) |
每分鐘 120 次查詢 |
| DataTableRows | UpdateDataTableRow (data_table_row/update_requests) |
每分鐘 60 次查詢 |
| DataTableRows | DeleteDataTableRow (data_table_row/delete_requests) |
每分鐘 60 次查詢 |
| DataTableRows | BulkCreateDataTableRows (同步/非同步) |
每分鐘 30 次查詢 |
| DataTableRows | BulkReplaceDataTableRows (同步/非同步) |
每分鐘 30 次查詢 |
| DataTableRows | BulkUpdateDataTableRows (同步/非同步) |
每分鐘 10 次查詢 |
| DataTableRows | BulkDeleteDataTableRows (同步/非同步) |
每分鐘 30 次查詢 |
| DataTableRows | BulkGetDataTableRows (data_table_row/bulk_get_requests) |
每分鐘 120 次查詢 |
限制
Google SecOps 帳戶的資料表數量上限:1,000 個。
資料表僅支援 CSV 資料。只有在新增資料表並匯入以定位點分隔值 (TSV) 檔案時,資料表才支援以定位點分隔值。
資料表欄位不支援逗號 (
,) 字元。在查詢中參照參考清單時,
in陳述式數量的限制也適用於資料表中的in陳述式。String和Number資料類型已指定類型和格式的欄的查詢中,in陳述式數量上限:10。含有規則運算式運算子的
in陳述式數量上限:5。CIDR 運算子的
in陳述式數量上限:5。= (JOIN)陳述式數量上限:10。每個資料表的資料欄數量上限:1,000。
每個資料表的資料列數量上限:1,000 萬。
在文字和表格編輯器檢視畫面中,網頁顯示的資料表列數上限:10,000 列。
資料表中的資料量上限:10 GB。
設定部分不得使用預留位置。
資料表未對應的資料欄,如果資料類型設為
string,則只能與 UDM 事件或 UDM 實體的字串欄位彙整。在資料表中,僅使用未對應的資料欄,並將資料類型設為
cidr或regex,分別代表 CIDR 或規則運算式。資料表查詢:不支援規則運算式萬用字元,且搜尋字詞長度上限為 100 個字元。
規則中資料表彙整的限制
規則中的資料表彙整功能有以下限制。
使用資料表與事件彙整時,不支援擷取偵測到的所有事件樣本。
與實體和 UDM 不同,資料表不支援預留位置。因此有以下限制:
您無法將一組篩選器套用至資料表,並與 UDM 實體彙整。
將資料表與其他 UDM 預留位置彙整時,無法對同一個資料表套用不同的篩選器組合。
舉例來說,假設資料表名為
dt,內含my_hostname、org和my_email三個資料欄,並套用下列規則:events: $e1.principal.hostname = %dt.my_hostname %dt.org ="hr" $e2.principal.email = %dt.my_email %dt.org !="hr"
系統會先套用資料表上的所有篩選器,然後將資料表中篩選出的資料列與 UDM 彙整。在這種情況下,dt 資料表上相互矛盾的篩選器 (%dt.org ="hr" and %dt.org !="hr") 會產生空白資料表,然後與 e1 和 e2 彙整。
使用資料表和規則的限制
資料表與規則搭配使用時,有下列限制。
執行頻率限制
含有資料表的規則不支援即時執行頻率。
輸出至資料表的限制
資料表的重複欄位資料欄不支援
any和all修飾符。資料表的重複欄位資料欄不支援陣列索引。
您只能將結果變數匯出至資料表。您無法直接匯出事件路徑或資料表欄。
資料欄清單必須包含資料表的主鍵欄。
最多可有 20 個結果。
如果資料表不存在,系統會建立新資料表,並按照指定順序為所有資料欄設定預設的
string資料類型。最多可有五項規則同時寫入資料表。
我們無法保證生產端規則會在資料表的消費者規則啟動前,將資料列新增至資料表。
單一規則的結果列數量有限。結果、保存資料和資料表最多只能有 10,000 列。
更新資料列時,所有非索引鍵資料欄的新值都會取代舊值。任何更新 (包括新增資料列) 大約需要五分鐘才能開放查詢。
資料表實體擴充功能的限制
您只能對單一實體圖表變數套用一項擴充作業 (
override、append或exclude)。每項擴充作業只能使用一個資料表。
在 YARA-L 規則的
setup部分,您最多可以定義兩項任何類型的擴充作業。
在以下範例中,override 作業會套用至實體圖表變數 $g1,而 append 作業會套用至實體圖表變數 $g2。
none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table1]
在上述範例中,同一個資料表 (table1) 用於強化不同的實體圖。您也可以使用不同的資料表,強化不同的實體圖,如下所示:
none setup: graph_override($g1.graph.entity.user.userid = %table1.myids) graph_append [$g2, %table2]
在搜尋中使用資料表的限制
在 Google 搜尋中使用資料表時,須遵守下列限制:
單次查詢執行最多可將 100 萬列或 1 GB 的資料輸出至資料表,以先達到上限者為準。
如果事件資料列超過 5 MB,搜尋輸出至資料表時會略過這些資料列。
搜尋功能不支援實體擴充。
客戶自行管理的加密金鑰 (CMEK) 使用者不支援資料表。
每位客戶每分鐘最多可寫入 6 次。
資料表和資料表彙整僅支援 UDM 事件,不支援實體。
支援:
%datatable1.column1 = %datatable2.column1不支援:
graph.entity.hostname = %sample.test統計資料查詢的
export部分不能包含match變數。舉例來說,系統不支援以下項目:
match: principal.hostname export: %sample.write_row( row: principal.hostname )
使用 Chronicle API 或 Terraform 重新命名或刪除資料表的限制
- 平台或 API 不支援重新命名。
- 如果資料表由規則參照,您就無法透過平台或 API 刪除資料表。
- 在 Terraform 中,重新命名資料表會觸發刪除及重新建立作業。如果資料表由規則參照,這項作業就會失敗,因為 API 會禁止刪除舊資料表。
- Terraform 中的資料遺失風險:即使規則未參照資料表,使用 Terraform 重新命名資料表仍會導致資料永久遺失。Terraform 會刪除現有資料表,並以新的空白資料表取代,不會保留原始資料表的任何資料。
- 建議的解決方法:
- 使用新名稱建立新的資料表。
- 請更新規則,開始使用新的資料表。
- 刪除舊的資料表。
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。