使用 Cloud Logging 分析動態消息活動

支援的國家/地區:

本指南可協助安全工程師和管理員在 Google SecOps SIEM 中監控、偵錯及排解擷取管道和動態消息的問題。如要全面瞭解如何監控資料擷取作業,請參閱「檢查資料擷取健康狀態」和「排解資料擷取問題。本指南說明如何在 Cloud Logging 中傳送、查看及查詢擷取和動態消息活動記錄。使用 Cloud Logging,您可以診斷記錄檔傳送問題 (例如記錄檔遺失、延遲或失敗),並縮短解決擷取異常問題所需的時間。您也可以透過這項功能,瞭解推送和提取式擷取機制,並使用 Gemini Cloud Assist 調查記錄和指標遙測資料。

事前準備

  • 如要取得查看記錄的必要權限,請要求管理員在專案中授予您下列其中一個 Identity and Access Management (IAM) 角色:

    • 記錄檢視器 (roles/logging.viewer)
    • 私人記錄檢視者 (roles/logging.privateLogViewer)

    如要進一步瞭解如何授予角色,請參閱「管理存取權」。

  • 瞭解費用影響。Cloud Logging 是一項收費服務。免費方案是 Google Cloud 免費計畫的一部分。詳情請參閱「Google Cloud 可觀測性定價」。

重要術語

  • chronicle-siem:與 Google SecOps 生態系統相關聯的記錄命名空間標籤。
  • chronicle.googleapis.com/ingestion_activity:與 Google SecOps 資料擷取管道相關的記錄串流記錄 ID。
  • storage_transfer_job:使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄資源類型。
  • storagetransfer.googleapis.com/transfer_activity:STS 活動記錄的記錄 ID。

動態消息活動分析總覽

在 Cloud Logging 中分析動態消息活動時,需要完成幾個重要步驟:

  1. 存取記錄檔探索工具:前往 Google Cloud 控制台的「記錄檔探索工具」,然後選取正確的 Google Cloud 專案。詳情請參閱「記錄檔探索工具介面」說明文件。
  2. 查詢記錄:建構查詢,根據各種參數 (例如時間範圍、命名空間、記錄 ID、擷取機制、動態饋給 ID 或收集器 ID) 篩選記錄。如需語法規則,請參閱「Logging 查詢語言」。本指南提供常見篩選情境的範例。
  3. 調查特定動態饋給類型:瞭解如何使用不同的擷取方法查詢動態饋給的記錄,包括使用 Storage 移轉服務 (STS) 的方法,這些方法具有獨特的記錄格式。
  4. 使用控制台工具:善用 Google SecOps 控制台的內建功能,例如「使用記錄檔偵錯」和 Gemini Cloud Assist,簡化分析和偵錯程序。
  5. 瞭解記錄結構定義:請參閱結構定義參考資料,瞭解記錄酬載中的欄位和資料類型,以便進行深入分析和疑難排解。

以下各節將詳細說明如何有效監控資料擷取管道的健康狀態、偵錯問題及排解錯誤。

查看及查詢動態消息活動記錄

如要查看及查詢動態消息活動記錄,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。
  2. 選取與 Google SecOps 執行個體相關聯的 Google Cloud 專案。
  3. 在「Query」(查詢) 窗格中輸入查詢運算式,篩選記錄。
  4. 點選「執行查詢」。

接下來幾節會顯示常見情境的查詢範例。

依 Google SecOps 命名空間篩選

如要擷取與 Google SecOps 生態系統相關的所有記錄,請使用下列查詢:

labels.namespace="chronicle-siem"

依擷取活動記錄串流篩選

如要隔離與資料擷取管道相關的記錄,請使用下列查詢:

log_id("chronicle.googleapis.com/ingestion_activity")

依擷取機制篩選

如要指定特定擷取機制 (例如第三方 API) 的記錄,請在查詢中使用 labels.ingestion_mechanism 欄位:

labels.ingestion_mechanism="Third Party API"

依動態饋給 ID 或收集器 ID 篩選

如要查看特定擷取動態饋給或收集器的記錄,請使用 labels.feed_id 或 labels.collector_id 欄位。如要瞭解如何設定動態饋給,請參閱「管理資料動態饋給」和「資料動態饋給總覽」。如要瞭解收集器,請參閱「記錄檔擷取和剖析」:

labels.feed_id="FEED_ID"

將 FEED_ID 替換為動態消息的專屬 ID。

labels.collector_id="COLLECTOR_ID"

將 COLLECTOR_ID 替換為收集器的專屬 ID。

查看 Storage 移轉服務記錄

使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄檔會從租戶環境轉送至您的 Google Cloud 專案,並使用不同的資源類型和記錄檔名稱。如需 STS 的一般資訊,請參閱 Storage 移轉服務說明文件。

  • 目標:查看 STS 記錄活動。
    動作:執行下列查詢: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • 預期會失敗:使用 log_id("chronicle.googleapis.com/ingestion_activity") 搜尋時,不會顯示這些靜態動態饋給的記錄。

  • 修正步驟:使用 resource.type="storage_transfer_job" 和特定 STS log_id。

使用記錄路由器排除特定記錄

您可以精細控管要將哪些動態消息活動記錄傳送至 Cloud Logging。在 Google Cloud 專案中設定排除篩選器,即可停止接收特定記錄,例如特定動態饋給 ID 的記錄。

如要建立排除篩選器並停止接收特定記錄,請按照下列步驟操作:

  1. 在 Google Cloud 控制台選取專案。
  2. 在搜尋框中搜尋「Log Router」。
  3. 在「Log Router Sinks」(記錄檔路由器接收器) 清單中,按一下 _Default 接收器旁的「更多」(三點) 選單,然後選取「Edit sink」(編輯接收器)。
  4. 在「編輯接收器」頁面,前往「選擇要從接收器排除的記錄檔 (選填)」部分,然後視需要新增排除條件。

舉例來說,如要篩除 Storage 移轉服務 (STS) 記錄,請新增排除篩選器,並提供下列篩選運算式:

resource.type="storage_transfer_job"

如果遇到問題,且想完全停用所有動態消息活動記錄功能,可以開啟支援案件並提出要求。Google SecOps 可以在後端完全停用記錄功能,但這項動作「非此即彼」,會完全停用帳戶中所有動態消息的記錄,而非特定行或動態消息。

使用控制台工具偵錯動態饋給

Google SecOps 提供控制台整合功能,可存取活動記錄:

  • 詢問 Gemini Cloud Assist:在「動態消息」頁面中,選取「詢問 Gemini Cloud Assist」開啟對話窗格。你可以詢問有關動態饋給量和錯誤的問題。詳情請參閱「Gemini in Google SecOps 總覽」一文。
  • 使用記錄檔進行偵錯:在「動態饋給管理」頁面中,開啟特定動態饋給的動作選單,然後選取「使用記錄檔進行偵錯」。您也可以在「查看動態饋給」頁面中找到這個選項。系統會在新的分頁中開啟 Logs Explorer,並預先篩選所選動態消息 ID。

記錄檔結構定義參考資料

動態消息活動記錄採用統一的 JSON 酬載結構。

擷取活動記錄欄位

欄位 資料類型 說明
request_start_time string 活動開始時間戳記 (RFC 3339)。
activity_duration string 活動的總經過時間長度 (例如「1.500 秒」)。
transfer_id string 特定檔案或資料移轉作業的專屬 ID。
feed_id string Google SecOps 擷取動態饋給的專屬 ID。
collector_id string 執行擷取的收集器專屬 ID。
log_type string 要擷取的記錄格式 (例如 DUO、OFFICE_365)。如需格式字串清單,請參閱「支援的預設剖析器」。
file string 處理完成的檔案或 Blob 容器名稱 (適用於以檔案為基礎的來源)。
request_urls array of strings 用於提取或轉移資料的目標網址 (適用於以 API 為基礎的來源)。
http_status_code integer 從 API 擷取作業收到的 HTTP 狀態碼。
bytes_transferred integer 活動期間成功傳輸的原始位元組數。
record_count integer 處理、擷取或剖析的個別記錄項目數。
activity string 正在執行的工作名稱 (例如 File Processing、File Transfer)。
details string 擷取活動的其他中繼資料或詳細資料。
error_details object 如果活動發生失敗,會顯示詳細錯誤資訊。請參閱「錯誤詳細資料欄位」。

錯誤詳細資料欄位

欄位 資料類型 說明
error_message string 使用者可理解的錯誤說明。
error_code string 錯誤代碼或 ID (支援數字和說明字串代碼)。
error_type string 錯誤的分類或類別。
is_retriable boolean 指出是否可重試導致錯誤的作業。

記錄酬載範例

成功擷取活動記錄的範例

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

擷取失敗活動記錄範例

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

疑難排解

本節將說明限制和常見問題。

限制

  • Storage Transfer Service (STS) 欄位:從 STS 路由傳送的靜態動態消息記錄會使用 storage_transfer_job 資源類型和 storagetransfer.googleapis.com/transfer_activity 記錄名稱,而非 chronicle.googleapis.com/ingestion_activity。
  • 遙測資料關聯:高基數欄位 (例如 feed_id) 會以記錄檔中的中繼資料標籤形式納入,而非監控資源定義中的資源標籤。使用中繼資料標籤的 Gemini Cloud Assist 關聯性功能,目前仍在評估中。

錯誤修正

問題說明 修正
標準查詢中缺少靜態動態饋給的記錄 請務必使用 STS 專屬的資源類型 storage_transfer_job 和記錄 ID storagetransfer.googleapis.com/transfer_activity 進行查詢。請參閱「查看 Storage 移轉服務記錄」。

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。