匯出至自行管理的 BigQuery 專案
Google Security Operations 可讓您將統合式資料模型 (UDM) 資料匯出至您擁有及管理的自管專案。您可以將自己的 Google Cloud 專案連結至 Google SecOps 執行個體,並獨立管理 IAM 權限,不必依賴 Google 管理的設定。您也可以依序選取「SIEM 設定」>「資料匯出」,啟用及設定「自備 BigQuery」 (BYOBQ) 功能。
Google SecOps 會將下列類別的資料匯出至 BigQuery 專案:
udm_events:正規化為 UDM 結構定義的記錄資料。udm_events_aggregates:依正規化事件每小時匯總的資料。entity_graph:實體圖表有三個維度 (比對內容資料、衍生資料和全域內容)。所有脈絡資料和衍生資料,以及部分全域脈絡資料,都會以 UDM 格式寫入及儲存。rule_detections:在 Google SecOps 中執行規則後傳回的偵測結果。ioc_matches:針對 UDM 事件找到的 IOC 相符項目。ingestion_metrics:與擷取和正規化管道相關的指標 (預設會匯出)。udm_enum_value_to_name_mapping:將列舉值對應至 UDM 欄位名稱 (預設會匯出)。entity_enum_value_to_name_mapping:將列舉值對應至實體欄位名稱 (預設會匯出)。
保留期限
如果您是現有客戶,設定的保留期限會決定 BigQuery 匯出資料在 Google 代管專案中的保留時間。
保留期限從最早匯出記錄的日期開始計算。您可以為每個資料來源設定不同的保留期限,但不得超過 Google SecOps 的預設記錄保留期限。
如未指定保留期限,預設行為是持續匯出資料,不進行任何清理或清除作業,以限制保留期限。
這時可以將保留期限設為「無限期」:
- 依序點選「SIEM 設定」>「資料匯出」。
- 在「資料匯出」表格的「保留期限」欄中,從相關資料類型的清單中選取「無限制」。
接著,您可以在 Google Cloud 儲存空間 bucket 中設定物件生命週期規則,視需要刪除物件。
現有客戶的資料遷移
如果您是現有客戶,現有 Google 管理專案中的資料不會遷移至自行管理的專案。由於資料不會遷移,因此會位於兩個不同的專案中。如要查詢涵蓋自行管理專案啟用日期的時間範圍資料,請完成下列任一操作:
- 使用單一查詢,彙整兩項專案的資料。
- 在各自的專案中執行兩項獨立查詢,一項查詢是自行管理專案啟用日期前的資料,另一項查詢是啟用日期後的資料。Google 代管專案的保留期限到期後,系統會刪除該資料。之後,您只能查詢 Google Cloud專案中的資料。
匯出資料所需的權限
如要存取 BigQuery 資料,請在 BigQuery 中執行查詢。將下列 IAM 角色指派給需要存取權的使用者:
- BigQuery 資料檢視者 (
roles/bigquery.dataViewer) - BigQuery 工作使用者 (
roles/bigquery.jobUser) - Storage 物件檢視者
(
roles/storage.objectViewer) 您也可以在資料集層級指派角色。詳情請參閱「BigQuery IAM 角色和權限」。
開始將 BigQuery 資料匯出至自行管理的專案
建立要匯出資料的 Google Cloud 專案。 詳情請參閱「設定 Google SecOps 的 Google Cloud 專案」。
將自行管理的專案連結至 Google SecOps 執行個體,在 Google SecOps 與自行管理的專案之間建立連線。詳情請參閱「將 Google Security Operations 連結至 Google Cloud 服務」。您也可以依序選取「SIEM 設定」>「資料匯出」,啟用及設定「自備 BigQuery」 (BYOBQ) 功能。
如要驗證資料是否已匯出至自行管理的專案,請查看 BigQuery 中
datalake資料集下的資料表。
您可以針對儲存在 BigQuery 資料表中的 Google SecOps 資料,撰寫臨時查詢。您也可以使用與 BigQuery 整合的其他第三方工具,建立更進階的數據分析。
在您自行管理的 Google Cloud 專案中建立的所有資源 (包括 Cloud Storage bucket 和 BigQuery 資料表),都與 Google SecOps 位於相同區域。
如果在查詢 BigQuery 時收到類似 Unrecognized name: <field_name> at [<some_number>:<some_number>] 的錯誤,表示您嘗試存取的欄位不在資料集中,因為架構是在匯出程序中動態產生。
如要進一步瞭解 BigQuery 中的 Google SecOps 資料,請參閱「BigQuery 中的 Google SecOps 資料」。
相關 API 方法
請使用下列主題所述的 API 方法,存取匯出設定,並管理資料傳送至 BigQuery 的方式:
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。