使用 Cloud Logging 分析動態饋給活動

支援的服務:

本指南可協助資安工程師和管理員監控、偵錯及排解 Google SecOps SIEM 內擷取管道和動態饋給的問題。如要進一步瞭解如何監控資料擷取,請參閱「檢查資料擷取健康狀態」和「排解資料擷取問題」。本指南說明如何在 Cloud Logging 傳送、查看及查詢擷取和動態饋給活動記錄。您可以使用 Cloud Logging 診斷記錄檔傳送問題 (例如記錄檔遺失、延遲或失敗),並縮短解決擷取異常狀況所需的時間。您也可以透過 Gemini Cloud Assist,運用這項資訊調查記錄和指標遙測資料。

事前準備

  • 如要取得查看記錄檔的必要權限,請要求管理員在專案中授予您下列其中一個 Identity and Access Management (IAM) 角色:

    • 記錄檢視器 (roles/logging.viewer)
    • 私人記錄檢視器 (roles/logging.privateLogViewer)

    如要進一步瞭解如何授予角色,請參閱「管理存取權」。

  • 瞭解費用影響。Cloud Logging 是收費服務。 Google Cloud 免費計畫提供免費方案。詳情請參閱「Google Cloud 觀測能力定價」。

重要術語

  • chronicle-siem:與 Google SecOps 生態系統相關聯的記錄命名空間標籤。
  • chronicle.googleapis.com/ingestion_activity:記錄串流的記錄 ID,專門與 Google SecOps 資料擷取管道相關。
  • storage_transfer_job:使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄資源類型。
  • storagetransfer.googleapis.com/transfer_activity:STS 活動記錄的記錄 ID。

分析動態饋給活動總覽

在 Cloud Logging 分析動態饋給活動時,需要完成幾個重要步驟:

  1. 存取 Logs Explorer:前往 Google Cloud 控制台的「Logs Explorer」,選取正確的 Google Cloud 專案。詳情請參閱Logs Explorer 介面說明文件。
  2. 查詢記錄:建構查詢,根據各種參數篩選記錄,例如日期範圍、命名空間、記錄 ID、擷取機制、動態饋給 ID 或收集器 ID。如需語法規則,請參閱「Logging 查詢語言」。本指南提供常見篩選情境的範例。
  3. 調查特定動態饋給類型:瞭解如何使用不同的擷取方法查詢動態饋給記錄,包括使用 Storage 移轉服務 (STS) 的方法,這類方法有獨特的記錄格式。
  4. 使用控制台工具:運用 Google SecOps 控制台的內建功能,例如「使用記錄檔偵錯」和 Gemini Cloud Assist,簡化分析和偵錯程序。
  5. 瞭解記錄結構定義:參閱結構定義參考資料,瞭解記錄酬載中的欄位和資料類型,以便深入分析及排解問題。

以下各節提供詳細資訊,協助您有效監控資料擷取管道的健康狀態、偵錯及排解錯誤。

查看及查詢動態饋給活動記錄

如要查看及查詢動態饋給活動記錄,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。
  2. 選取與 Google SecOps 執行個體相關聯的 Google Cloud 專案。
  3. 在「查詢」窗格中輸入查詢運算式,篩選記錄。
  4. 點選「執行查詢」。

接下來幾節會提供常見情境的查詢範例。

依 Google SecOps 命名空間篩選

如要擷取與 Google SecOps 生態系統相關聯的所有記錄,請使用下列查詢:

labels.namespace="chronicle-siem"

依擷取活動記錄串流篩選

如要隔離與資料擷取管道相關的記錄,請使用下列查詢:

log_id("chronicle.googleapis.com/ingestion_activity")

依擷取機制篩選

如要指定特定擷取機制 (例如第三方 API) 的記錄,請在查詢中使用 labels.ingestion_mechanism 欄位:

labels.ingestion_mechanism="Third Party API"

依動態饋給 ID 或收集器 ID 篩選

如要查看特定擷取動態饋給或收集器的記錄,請使用 labels.feed_id 或 labels.collector_id 欄位。如要瞭解如何設定動態饋給,請參閱「管理資料動態饋給」和「資料動態饋給總覽」。如要瞭解收集器,請參閱「記錄擷取和剖析」:

labels.feed_id="FEED_ID"

將 FEED_ID 替換為動態饋給的專屬 ID。

labels.collector_id="COLLECTOR_ID"

將 COLLECTOR_ID 替換為收集器的專屬 ID。

查看 Storage 移轉服務記錄

使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄,會從租戶環境轉送至 Google Cloud 專案,並使用不同的資源類型和記錄名稱。如需 STS 的一般資訊,請參閱 Storage 移轉服務說明文件。

  • 目標:查看 STS 記錄活動。
    動作:執行下列查詢: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • 預期失敗:使用 log_id("chronicle.googleapis.com/ingestion_activity") 搜尋時,不會顯示這些靜態動態饋給的記錄。

  • 修正步驟:使用 resource.type="storage_transfer_job" 和特定 STS log_id。

使用記錄路由器排除特定記錄

您可以精細控管要將哪些動態消息活動記錄轉送至 Cloud Logging。在 Google Cloud 專案中設定排除篩選器,即可停止接收特定記錄,例如特定動態饋給 ID 的記錄。

如要建立排除篩選器,並停止接收特定記錄,請按照下列步驟操作:

  1. 在 Google Cloud 控制台選取專案。
  2. 在搜尋框中搜尋「Log Router」。
  3. 在「Log Router Sinks」(記錄檔路由器接收器) 清單中,按一下 _Default 接收器旁的「More」(更多) (三點) 選單,然後選取「Edit sink」(編輯接收器)。
  4. 在「Edit sink」(編輯接收器) 頁面,前往「Choose logs to filter out of sink (optional)」(選擇要從接收器排除的記錄檔 (選填)) 部分,視需要新增排除項目。

舉例來說,如要篩除 Storage 移轉服務 (STS) 記錄,請新增排除篩選器,並提供下列篩選運算式:

resource.type="storage_transfer_job"

如果遇到問題,且想完全停用所有動態饋給活動記錄,可以建立客服案件並要求執行這項操作。Google SecOps 可以完全停用記錄功能,但這項操作會完全停用帳戶中所有動態消息的記錄,而非特定行或動態消息。

使用控制台工具偵錯動態饋給

Google SecOps 提供控制台整合功能,可存取活動記錄:

  • 詢問 Gemini Cloud Assist:在「Feeds」(動態饋給) 頁面,選取「Ask Gemini Cloud Assist」(詢問 Gemini Cloud Assist),開啟對話窗格。你可以詢問有關動態饋給數量和錯誤的問題。
  • 使用記錄檔偵錯:在「動態饋給管理」頁面,開啟特定動態饋給的動作選單,然後選取「使用記錄檔偵錯」。您也可以在「查看動態饋給」頁面找到這個選項。系統會在新分頁中開啟記錄檔探索工具,並預先篩選所選動態饋給 ID。

記錄結構定義參考資料

動態饋給活動記錄採用統一的 JSON 酬載結構。

擷取活動記錄欄位

欄位 資料類型 說明
request_start_time string 活動啟動時的時間戳記 (RFC 3339)。
activity_duration string 活動總耗時 (例如「1.500s」)。
transfer_id string 特定檔案或資料移轉作業的專屬 ID。
feed_id string Google SecOps 擷取動態饋給的專屬 ID。
collector_id string 執行擷取作業的收集器專屬 ID。
log_type string 擷取的記錄格式 (例如 DUO、OFFICE_365)。如需格式字串清單,請參閱「支援的預設剖析器」。
file string 已處理檔案或 Blob 容器的名稱 (適用於檔案型來源)。
request_urls array of strings 用於提取或移轉資料的目標網址 (適用於 API 來源)。
http_status_code integer 從 API 擷取作業收到的 HTTP 狀態碼。
bytes_transferred integer 活動期間成功移轉的原始位元組數。
record_count integer 已處理、提取或剖析的個別記錄項目數量。
activity string 執行中的工作名稱 (例如 File Processing、File Transfer)。
details string 擷取活動的其他中繼資料或詳細資料。
error_details object 活動失敗時的詳細錯誤資訊。請參閱「錯誤詳細資料欄位」。

錯誤詳細資料欄位

欄位 資料類型 說明
error_message string 人類可讀的錯誤說明。
error_code string 錯誤代碼或 ID (支援數字和描述性字串代碼)。
error_type string 錯誤的分類或類別。
is_retriable boolean 指出是否可以重試導致錯誤的作業。

記錄酬載範例

成功擷取活動記錄範例

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

擷取失敗活動記錄範例

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

疑難排解

本節將說明限制和常見問題。

限制

  • Storage 移轉服務 (STS) 欄位:從 STS 轉送的靜態動態饋給記錄會使用資源類型 storage_transfer_job 和記錄名稱 storagetransfer.googleapis.com/transfer_activity,而非 chronicle.googleapis.com/ingestion_activity。
  • 遙測關聯:高基數欄位 (例如 feed_id) 會以中繼資料標籤的形式納入記錄,而非受監控資源定義中的資源標籤。Gemini Cloud Assist 使用中繼資料標籤的關聯功能,目前仍在持續評估中。

錯誤修正

問題說明 修正
標準查詢中缺少靜態動態饋給的記錄 請務必使用 STS 專屬資源類型 storage_transfer_job 和記錄 ID storagetransfer.googleapis.com/transfer_activity 進行查詢。請參閱「查看 Storage 移轉服務記錄」。

還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。