匯出至 Google 管理的 BigQuery 專案

支援語言：

Google SecOps 會將資料匯出至 BigQuery，提供正規化和增補過的威脅情報資料，並開放客戶存取。這可讓您執行以下操作：

  • 直接在 BigQuery 中執行臨時查詢。
  • 使用 Looker 或 Microsoft Power BI 等商業智慧工具，建立資訊主頁、報表和數據分析。
  • 將 Google SecOps 資料與第三方資料集彙整。
  • 使用資料科學或機器學習工具執行分析。
  • 使用預先定義的預設資訊主頁和自訂資訊主頁執行報表。

Google SecOps 會將下列類別的資料匯出至 BigQuery：

  • UDM 事件記錄：從客戶擷取的記錄檔資料建立的 UDM 記錄。 這些記錄會加入別名資訊。
  • 規則相符 (偵測)：規則與一或多個事件相符的例項。
  • IoC 比對結果：事件中的構件 (例如網域、IP 位址) 與入侵指標 (IoC) 資訊來源相符。包括與全域動態饋給和特定顧客動態饋給的相符項目。
  • 擷取指標：包括統計資料，例如擷取的記錄行數、從記錄產生的事件數、指出記錄無法剖析的記錄錯誤數，以及 Google SecOps 轉送器的狀態。詳情請參閱「擷取指標 BigQuery 結構定義」。
  • 實體圖和實體關係：儲存實體的說明，以及實體與其他實體的關係。

資料表總覽

Google SecOps 會在 BigQuery 中建立 datalake 資料集和下列資料表：

  • entity_enum_value_to_name_mapping：針對 entity_graph 資料表中的列舉型別，將數值對應至字串值。
  • entity_graph：儲存 UDM 實體的相關資料。
  • events：儲存 UDM 事件的資料。
  • ingestion_metrics： 儲存與特定擷取來源 (例如 Google SecOps 轉送器、動態饋給和 Ingestion API) 資料擷取和正規化相關的統計資料。
  • ioc_matches：儲存根據 UDM 事件找到的 IOC 比對結果。
  • job_metadata：用來追蹤資料匯出至 BigQuery 的內部資料表。
  • rule_detections：儲存 Google SecOps 中規則執行後傳回的偵測結果。這個表格只會列出匯出程序執行時處於啟用狀態 (例如已啟用且未刪除) 的規則所偵測到的項目。如果規則在匯出工作執行前已停用或刪除，即使偵測時間落在查詢範圍內，系統也不會將偵測結果納入這個表格。
  • rulesets：儲存 Google SecOps 精選偵測的相關資訊，包括每個規則集所屬的類別、是否已啟用，以及目前的快訊狀態。
  • udm_enum_value_to_name_mapping：針對事件表格中的列舉型別，將數值對應至字串值。
  • udm_events_aggregates：儲存以標準化事件的小時為單位匯總的資料。我們會盡力填入這份表格。系統可能無法立即提供每小時資料，且資料填入作業可能會延遲。

資料更新間隔和匯出排程

BigQuery 資料表中的資料會以不同間隔更新。瞭解這些因素有助於設定資料可用性的期望：

  • UDM 事件 (events 資料表)：通常會頻繁更新，資料通常會在擷取後約兩小時內提供。
  • 盡力匯出：系統會盡力匯出許多其他資料集，但無法保證完整性。包括但不限於：
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

系統會盡量匯出資料表，並定期更新，但無法保證延遲時間或時機。資料可能會延遲更新，而且對於每小時匯總 (例如 udm_events_aggregates)，每小時的資料可能不會在該小時結束時立即提供。資料通常會在一天內更新。

存取 BigQuery 中的資料

您可以直接在 BigQuery 中執行查詢，也可以將自己的商業智慧工具 (例如 Looker 或 Microsoft Power BI) 連線至 BigQuery。

如要啟用 BigQuery 執行個體的存取權，請使用 Google SecOps BigQuery Access API。您可以提供使用者或您擁有的群組的電子郵件地址。如果您設定群組的存取權，請使用群組管理哪些團隊成員可以存取 BigQuery 執行個體。

如要將 Looker 或其他商業智慧工具連結至 BigQuery，請向 Google SecOps 代表索取服務帳戶憑證，以便將應用程式連結至 Google SecOps BigQuery 資料集。服務帳戶會擁有 IAM BigQuery 資料檢視者角色 (roles/bigquery.dataViewer) 和 BigQuery 工作檢視者角色 (roles/bigquery.jobUser)。

資料保留

如果 Google SecOps Enterprise Plus 客戶使用 Google 代管的 BigQuery，則適用下列保留設定：

  • 舊版 Google SecOps Enterprise Plus 客戶 (即將淘汰)：

    • ioc_matches 和 rule_detections 資料表：由於資料量較少，因此未設定保留期限。
    • entity_graph、udm_events_aggregates 和其他分區資料表 (events 資料表除外)：180 天。
    • events 表格 (UDM 事件)：資料保留時間依據 Google SecOps 合約而定，如果合約未指定，則預設為 366 天。

  • 新客戶：保留期限受 Google SecOps 合約規範 (與進階 BigQuery 匯出功能一致)。

後續步驟

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。