匯出至 Google 管理的 BigQuery 專案

支援的國家/地區：

Google SecOps 會將資料匯出至 BigQuery，提供正規化和增補過的威脅情報遙測資料代管 data lake。這可讓您執行以下操作：

  • 直接在 BigQuery 中執行臨時查詢。
  • 使用 Looker 或 Microsoft Power BI 等商業智慧工具，建立資訊主頁、報表和數據分析。
  • 將 Google SecOps 資料與第三方資料集彙整。
  • 使用資料科學或機器學習工具執行分析。
  • 使用預先定義的預設資訊主頁和自訂資訊主頁執行報表。

Google SecOps 會將下列類別的資料匯出至 BigQuery：

  • UDM 事件記錄：從客戶擷取的記錄檔資料建立的 UDM 記錄。 這些記錄會加入別名資訊。
  • 規則相符 (偵測)：規則與一或多個事件相符的例項。
  • IoC 比對結果：事件中的構件 (例如網域、IP 位址) 與入侵指標 (IoC) 資訊來源相符。包括來自全球動態饋給和特定顧客動態饋給的比對結果。
  • 擷取指標：包括統計資料，例如擷取的記錄檔行數、從記錄檔產生的事件數、指出記錄檔無法剖析的記錄檔錯誤數，以及 Google SecOps 轉送程式的狀態。詳情請參閱「擷取指標 BigQuery 結構定義」。
  • 實體圖和實體關係：儲存實體說明，以及實體與其他實體的關係。

資料表總覽

Google SecOps 會在 BigQuery 中建立 datalake 資料集和下列資料表：

  • entity_enum_value_to_name_mapping：針對 entity_graph 資料表中的列舉型別，將數值對應至字串值。
  • entity_graph：儲存 UDM 實體相關資料。
  • events：儲存 UDM 事件的資料。
  • ingestion_metrics： 儲存與特定擷取來源 (例如 Google SecOps 轉送器、動態消息和 Ingestion API) 資料擷取和正規化相關的統計資料。
  • ioc_matches：儲存根據 UDM 事件找到的 IOC 相符項目。
  • job_metadata：用於追蹤資料匯出至 BigQuery 的內部資料表。
  • rule_detections：儲存 Google SecOps 中規則傳回的偵測結果。
  • rulesets：儲存 Google SecOps 精選偵測的相關資訊，包括每個規則集所屬的類別、是否已啟用，以及目前的快訊狀態。
  • udm_enum_value_to_name_mapping：針對事件表格中的列舉型別，將數值對應至字串值。
  • udm_events_aggregates：儲存以標準化事件的小時為單位匯總的資料摘要。

存取 BigQuery 中的資料

您可以直接在 BigQuery 中執行查詢，或將自己的商業智慧工具 (例如 Looker 或 Microsoft Power BI) 連接至 BigQuery。

如要啟用 BigQuery 執行個體的存取權，請使用 Google SecOps BigQuery Access API。您可以提供使用者或您擁有的群組的電子郵件地址。如果您設定群組的存取權，請使用群組管理哪些團隊成員可以存取 BigQuery 執行個體。

如要將 Looker 或其他商業智慧工具連結至 BigQuery，請向 Google SecOps 代表索取服務帳戶憑證，以便將應用程式連結至 Google SecOps BigQuery 資料集。服務帳戶會擁有 IAM BigQuery 資料檢視者角色 (roles/bigquery.dataViewer) 和 BigQuery 工作檢視者角色 (roles/bigquery.jobUser)。

資料保留

如果 Google SecOps Enterprise Plus 客戶使用 Google 代管的 BigQuery，則適用下列保留設定：

  • 舊版 Google SecOps Enterprise Plus 客戶 (即將淘汰)：

    • ioc_matches 和 rule_detections 資料表：由於資料量較少，因此未設定保留期限。
    • entity_graph、udm_events_aggregates 和其他分區資料表 (events 資料表除外)：180 天。
    • events 表格 (UDM 事件)：資料保留時間取決於您的 Google SecOps 合約，如果合約未指定，則預設為 366 天。

  • 新客戶：保留期限受 Google SecOps 合約規範 (與進階 BigQuery 匯出功能一致)。

如要透過自助式服務存取 BigQuery 中的 Google SecOps 資料，請使用「使用 BigQuery Access API」一文所述的 API 方法。

後續步驟

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。