使用 Cloud Logging 分析動態饋給活動
本指南可協助資安工程師和管理員監控、偵錯及排解 Google SecOps SIEM 內擷取管道和動態饋給的問題。如要進一步瞭解如何監控資料擷取,請參閱「檢查資料擷取健康狀態」和「排解資料擷取問題」。本指南說明如何在 Cloud Logging 傳送、查看及查詢擷取和動態饋給活動記錄。您可以使用 Cloud Logging 診斷記錄檔傳送問題 (例如記錄檔遺失、延遲或失敗),並縮短解決擷取異常狀況所需的時間。您也可以透過 Gemini Cloud Assist,運用這項資訊調查記錄和指標遙測資料。
事前準備
如要取得查看記錄檔的必要權限,請要求管理員在專案中授予您下列其中一個 Identity and Access Management (IAM) 角色:
- 記錄檢視器 (
roles/logging.viewer) - 私人記錄檢視器 (
roles/logging.privateLogViewer)
如要進一步瞭解如何授予角色,請參閱「管理存取權」。
- 記錄檢視器 (
瞭解費用影響。Cloud Logging 是收費服務。 Google Cloud 免費計畫提供免費方案。詳情請參閱「Google Cloud 觀測能力定價」。
重要術語
chronicle-siem:與 Google SecOps 生態系統相關聯的記錄命名空間標籤。chronicle.googleapis.com/ingestion_activity:記錄串流的記錄 ID,專門與 Google SecOps 資料擷取管道相關。storage_transfer_job:使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄資源類型。storagetransfer.googleapis.com/transfer_activity:STS 活動記錄的記錄 ID。
分析動態饋給活動總覽
在 Cloud Logging 分析動態饋給活動時,需要完成幾個重要步驟:
- 存取 Logs Explorer:前往 Google Cloud 控制台的「Logs Explorer」,選取正確的 Google Cloud 專案。詳情請參閱Logs Explorer 介面說明文件。
- 查詢記錄:建構查詢,根據各種參數篩選記錄,例如日期範圍、命名空間、記錄 ID、擷取機制、動態饋給 ID 或收集器 ID。如需語法規則,請參閱「Logging 查詢語言」。本指南提供常見篩選情境的範例。
- 調查特定動態饋給類型:瞭解如何使用不同的擷取方法查詢動態饋給記錄,包括使用 Storage 移轉服務 (STS) 的方法,這類方法有獨特的記錄格式。
- 使用控制台工具:運用 Google SecOps 控制台的內建功能,例如「使用記錄檔偵錯」和 Gemini Cloud Assist,簡化分析和偵錯程序。
- 瞭解記錄結構定義:參閱結構定義參考資料,瞭解記錄酬載中的欄位和資料類型,以便深入分析及排解問題。
以下各節提供詳細資訊,協助您有效監控資料擷取管道的健康狀態、偵錯及排解錯誤。
查看及查詢動態饋給活動記錄
如要查看及查詢動態饋給活動記錄,請按照下列步驟操作:
- 前往 Google Cloud 控制台的「Logs Explorer」頁面。
- 選取與 Google SecOps 執行個體相關聯的 Google Cloud 專案。
- 在「查詢」窗格中輸入查詢運算式,篩選記錄。
- 點選「執行查詢」。
接下來幾節會提供常見情境的查詢範例。
依 Google SecOps 命名空間篩選
如要擷取與 Google SecOps 生態系統相關聯的所有記錄,請使用下列查詢:
labels.namespace="chronicle-siem"
依擷取活動記錄串流篩選
如要隔離與資料擷取管道相關的記錄,請使用下列查詢:
log_id("chronicle.googleapis.com/ingestion_activity")
依擷取機制篩選
如要指定特定擷取機制 (例如第三方 API) 的記錄,請在查詢中使用 labels.ingestion_mechanism 欄位:
labels.ingestion_mechanism="Third Party API"
依動態饋給 ID 或收集器 ID 篩選
如要查看特定擷取動態饋給或收集器的記錄,請使用 labels.feed_id 或 labels.collector_id 欄位。如要瞭解如何設定動態饋給,請參閱「管理資料動態饋給」和「資料動態饋給總覽」。如要瞭解收集器,請參閱「記錄擷取和剖析」:
labels.feed_id="FEED_ID"
將 FEED_ID 替換為動態饋給的專屬 ID。
labels.collector_id="COLLECTOR_ID"
將 COLLECTOR_ID 替換為收集器的專屬 ID。
查看 Storage 移轉服務記錄
使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄,會從租戶環境轉送至 Google Cloud 專案,並使用不同的資源類型和記錄名稱。如需 STS 的一般資訊,請參閱 Storage 移轉服務說明文件。
目標:查看 STS 記錄活動。
動作:執行下列查詢:none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")預期失敗:使用
log_id("chronicle.googleapis.com/ingestion_activity")搜尋時,不會顯示這些靜態動態饋給的記錄。修正步驟:使用
resource.type="storage_transfer_job"和特定 STSlog_id。
使用記錄路由器排除特定記錄
您可以精細控管要將哪些動態消息活動記錄轉送至 Cloud Logging。在 Google Cloud 專案中設定排除篩選器,即可停止接收特定記錄,例如特定動態饋給 ID 的記錄。
如要建立排除篩選器,並停止接收特定記錄,請按照下列步驟操作:
- 在 Google Cloud 控制台選取專案。
- 在搜尋框中搜尋「Log Router」。
- 在「Log Router Sinks」(記錄檔路由器接收器) 清單中,按一下
_Default接收器旁的「More」(更多) (三點) 選單,然後選取「Edit sink」(編輯接收器)。 - 在「Edit sink」(編輯接收器) 頁面,前往「Choose logs to filter out of sink (optional)」(選擇要從接收器排除的記錄檔 (選填)) 部分,視需要新增排除項目。
舉例來說,如要篩除 Storage 移轉服務 (STS) 記錄,請新增排除篩選器,並提供下列篩選運算式:
resource.type="storage_transfer_job"
如果遇到問題,且想完全停用所有動態饋給活動記錄,可以建立客服案件並要求執行這項操作。Google SecOps 可以完全停用記錄功能,但這項操作會完全停用帳戶中所有動態消息的記錄,而非特定行或動態消息。
使用控制台工具偵錯動態饋給
Google SecOps 提供控制台整合功能,可存取活動記錄:
- 詢問 Gemini Cloud Assist:在「Feeds」(動態饋給) 頁面,選取「Ask Gemini Cloud Assist」(詢問 Gemini Cloud Assist),開啟對話窗格。你可以詢問有關動態饋給數量和錯誤的問題。
- 使用記錄檔偵錯:在「動態饋給管理」頁面,開啟特定動態饋給的動作選單,然後選取「使用記錄檔偵錯」。您也可以在「查看動態饋給」頁面找到這個選項。系統會在新分頁中開啟記錄檔探索工具,並預先篩選所選動態饋給 ID。
記錄結構定義參考資料
動態饋給活動記錄採用統一的 JSON 酬載結構。
擷取活動記錄欄位
| 欄位 | 資料類型 | 說明 |
|---|---|---|
request_start_time |
string |
活動啟動時的時間戳記 (RFC 3339)。 |
activity_duration |
string |
活動總耗時 (例如「1.500s」)。 |
transfer_id |
string |
特定檔案或資料移轉作業的專屬 ID。 |
feed_id |
string |
Google SecOps 擷取動態饋給的專屬 ID。 |
collector_id |
string |
執行擷取作業的收集器專屬 ID。 |
log_type |
string |
擷取的記錄格式 (例如 DUO、OFFICE_365)。如需格式字串清單,請參閱「支援的預設剖析器」。 |
file |
string |
已處理檔案或 Blob 容器的名稱 (適用於檔案型來源)。 |
request_urls |
array of strings |
用於提取或移轉資料的目標網址 (適用於 API 來源)。 |
http_status_code |
integer |
從 API 擷取作業收到的 HTTP 狀態碼。 |
bytes_transferred |
integer |
活動期間成功移轉的原始位元組數。 |
record_count |
integer |
已處理、提取或剖析的個別記錄項目數量。 |
activity |
string |
執行中的工作名稱 (例如 File Processing、File Transfer)。 |
details |
string |
擷取活動的其他中繼資料或詳細資料。 |
error_details |
object |
活動失敗時的詳細錯誤資訊。請參閱「錯誤詳細資料欄位」。 |
錯誤詳細資料欄位
| 欄位 | 資料類型 | 說明 |
|---|---|---|
error_message |
string |
人類可讀的錯誤說明。 |
error_code |
string |
錯誤代碼或 ID (支援數字和描述性字串代碼)。 |
error_type |
string |
錯誤的分類或類別。 |
is_retriable |
boolean |
指出是否可以重試導致錯誤的作業。 |
記錄酬載範例
成功擷取活動記錄範例
{
"request_start_time": "2026-06-30T19:00:00Z",
"activity_duration": "0.500s",
"transfer_id": "transfer-12345",
"feed_id": "feed-998877",
"collector_id": "collector-abcd",
"log_type": "WORKDAY_AUDIT",
"file": "audit_log_2026_06_30.json",
"request_urls": [
"https://api.workday.com/ccx/v1/tenant/logs"
],
"http_status_code": 200,
"bytes_transferred": 4512000,
"record_count": 12500,
"activity": "File Processing",
"details": "Successfully processed and validated 12500 records from Workday."
}
擷取失敗活動記錄範例
{
"request_start_time": "2026-06-30T19:05:00Z",
"activity_duration": "1.200s",
"transfer_id": "transfer-12346",
"feed_id": "feed-998877",
"collector_id": "collector-abcd",
"log_type": "WORKDAY_AUDIT",
"request_urls": [
"https://api.workday.com/ccx/v1/tenant/logs"
],
"http_status_code": 401,
"bytes_transferred": 0,
"record_count": 0,
"activity": "File Transfer",
"details": "Authorization failure during API request.",
"error_details": {
"error_message": "Invalid API token or credential expired.",
"error_code": "401",
"error_type": "AUTHORIZATION_ERROR",
"is_retriable": true
}
}
疑難排解
本節將說明限制和常見問題。
限制
- Storage 移轉服務 (STS) 欄位:從 STS 轉送的靜態動態饋給記錄會使用資源類型
storage_transfer_job和記錄名稱storagetransfer.googleapis.com/transfer_activity,而非chronicle.googleapis.com/ingestion_activity。 - 遙測關聯:高基數欄位 (例如
feed_id) 會以中繼資料標籤的形式納入記錄,而非受監控資源定義中的資源標籤。Gemini Cloud Assist 使用中繼資料標籤的關聯功能,目前仍在持續評估中。
錯誤修正
| 問題說明 | 修正 |
|---|---|
| 標準查詢中缺少靜態動態饋給的記錄 | 請務必使用 STS 專屬資源類型 storage_transfer_job 和記錄 ID storagetransfer.googleapis.com/transfer_activity 進行查詢。請參閱「查看 Storage 移轉服務記錄」。 |
還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。