收集 Datadog 記錄
支援的國家/地區：
Google SecOps
SIEM
總覽
這個剖析器會從 Datadog 記錄檔中擷取欄位，執行多項變動和 Grok 比對來建構資料，並將擷取的欄位對應至 UDM。這個函式會處理 message 欄位中的不同記錄格式，包括鍵/值配對和 JSON 物件，並將特定欄位轉換為符合 UDM 規範的標籤和其他欄位。
事前準備
請確認您已完成下列事前準備事項：
- Google SecOps 執行個體。
- IAM 的特殊存取權。 Google Cloud
- Cloud Storage 的特殊存取權。
logs_write_archive使用者存取 Datadog 的權限。
方法 1：透過 Cloud Storage 設定分享 Datadog 記錄
設定 Datadog 與 Google Cloud 平台整合
建立 Google Cloud 儲存空間 bucket
- 登入 Google Cloud 控制台
前往「Cloud Storage Buckets」(Cloud Storage bucket) 頁面。
點選「建立」。
在「建立 bucket」頁面中，輸入 bucket 資訊。完成下列每個步驟後，請按一下「繼續」前往下一個步驟：
在「開始使用」部分，執行下列操作：
- 輸入符合值區名稱規定的專屬名稱 (例如 datadog-data)。
如要啟用階層命名空間，請按一下展開箭頭，展開「為檔案導向和資料密集型工作負載提供最理想的儲存空間」部分，然後選取「為這個值區啟用階層結構式命名空間」。
如要新增值區標籤，請按一下展開箭頭，展開「標籤」部分。
按一下「新增標籤」，然後指定標籤的鍵和值。
在「Choose where to store your data」(選擇資料的儲存位置) 部分，執行下列操作：
- 選取「位置類型」。
- 使用「位置類型」下拉式選單選取位置，永久儲存 bucket 中的物件資料。
- 如果您選取「雙區域」位置類型，也可以勾選相關核取方塊，啟用強化型複製功能。
- 如要設定跨 bucket 複製作業，請展開「設定跨 bucket 複製作業」部分。
在「為資料選擇儲存空間級別」部分，選取 bucket 的預設儲存空間級別，或選取「Autoclass」，讓系統自動管理 bucket 資料的儲存空間級別。
在「選取如何控制物件的存取權」部分，選取「否」來強制執行禁止公開存取，並為值區物件選取存取權控管模型。
在「選擇保護物件資料的方式」部分，執行下列操作：
- 選取「資料保護」下方的任何選項，為 bucket 設定資料保護措施。
- 如要選擇物件資料的加密方式，請按一下標示為「資料加密」的展開箭頭，然後選取「資料加密方法」。
點選「建立」。
建立 Google Cloud 服務帳戶
- 依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
- 建立新的服務帳戶。
- 為其命名，名稱請使用描述性文字 (例如 datadog-user)。
- 在您於上一個步驟建立的 Cloud Storage bucket 中，將「Storage 物件管理員」角色授予服務帳戶。
- 為服務帳戶建立 SSH 金鑰。
- 下載服務帳戶的 JSON 金鑰檔案。請妥善保管這個檔案。
設定 Datadog 將記錄傳送至 Cloud Storage
- 使用具備權限的帳戶登入 Datadog。
- 依序點選「記錄」>「記錄轉送」。
- 按一下「+ 建立新封存」。
- 選取「Google Cloud Storage」。
- 輸入必要參數，然後按一下「儲存」。
方法 2：透過 Webhook 設定共用 Datadog 記錄
設定動態饋給
如要設定動態消息，請按照下列步驟操作：
- 依序前往「SIEM 設定」>「動態消息」。
- 按一下「新增動態消息」。
- 在下一個頁面中，按一下「設定單一動態饋給」。
- 在「動態饋給名稱」欄位中，輸入動態饋給的名稱 (例如「Datadog Logs」)。
- 選取「Webhook」做為「來源類型」。
- 選取「Datadog」做為「記錄類型」。
- 點選「下一步」。
- 選用：指定下列輸入參數的值：
- 分割分隔符號：用於分隔記錄行的分隔符號，例如
\n。
- 分割分隔符號：用於分隔記錄行的分隔符號，例如
- 點選「下一步」。
- 在「Finalize」畫面中檢查動態饋給設定，然後按一下「Submit」。
- 按一下「產生密鑰」，產生驗證這個動態饋給的密鑰。
- 複製並儲存密鑰。您無法再次查看這個密鑰。如有需要，您可以重新產生新的密鑰，但這項操作會使先前的密鑰失效。
- 在「詳細資料」分頁中，從「端點資訊」欄位複製動態消息端點網址。您需要在用戶端應用程式中指定這個端點網址。
- 按一下 [完成]。
為 Webhook 資訊提供建立 API 金鑰
前往 Google Cloud 控制台 > 憑證。
按一下 [Create credentials] (建立憑證)，然後選取 [API key] (API 金鑰)。
將 API 金鑰存取權限制為 Chronicle API。
指定端點網址
- 在用戶端應用程式中，指定 webhook 動態饋給中提供的 HTTPS 端點網址。
如要啟用驗證，請在自訂標頭中指定 API 金鑰和密鑰，格式如下：
X-goog-api-key = API_KEY X-Webhook-Access-Key = SECRET建議：請將 API 金鑰指定為標頭，而非在網址中指定。
如果 Webhook 用戶端不支援自訂標頭，您可以使用查詢參數指定 API 金鑰和密鑰，格式如下：
ENDPOINT_URL?key=API_KEY&secret=SECRET更改下列內容：
ENDPOINT_URL：動態消息端點網址。API_KEY：用於向 Google SecOps 進行驗證的 API 金鑰。SECRET：您產生的密鑰，用於驗證動態消息。
設定 Datadog，將記錄傳送至 Webhook
- 使用具備權限的帳戶登入 Datadog。
- 依序點選「記錄」>「記錄轉送」。
- 選取「自訂目的地」。
- 按一下「+ 建立新目的地」。
- 指定下列輸入參數的值：
- 選擇目的地類型：選取「HTTP」。
- 為目的地命名：為 Webhook 提供描述性名稱 (例如「Google SecOps Webhook」)。
- 設定目的地：輸入 ENDPOINT_URL，然後輸入 API_KEY 和 SECRET。
- 設定驗證設定：新增一般標頭 (如下所示)，這不會造成 HTTP 要求格式錯誤，並允許 Datadog 完成 Webhook 建立作業。
- 標題名稱：
Accept。 - 標頭值：
application/json。
- 標題名稱：
- 按一下 [儲存]。
參考資料連結
支援的 Datadog 範例記錄
這個記錄範例包含原始應用程式記錄資料，並以 JSON 字串形式內嵌在
data欄位中：{ "batch": { "id": "DUMMY_BATCH_ID", "source": { "customer_id": "DUMMY_CUSTOMER_ID", "collector_id": "DUMMY_COLLECTOR_ID" }, "log_type": "DDOG", "entries": { "data": "{\"date\":\"2023-06-20T13:41:42.359Z\",\"service\":\"ftcp-converter\",\"host\":\"DUMMY_HOST-001\",\"attributes\":{\"_trace\":{\"baggage\":{\"device_id\":\"DUMMY-DEVICE-ID\",\"vehicle_id\":\"DUMMY-VEHICLE-ID\",\"_sli_service\":\"ftcp-converter/DUMMY_ENCODED_SLI\"},\"origin\":{\"service\":\"ftcp-converter\",\"operation\":\"ProcessingService.processAndPublish\"},\"id\":\"DUMMY_TRACE_ID\"},\"@timestamp\":\"2023-06-20T13:41:42.359Z\",\"level\":\"WARN\",\"thread_name\":\"Processing-327\",\"level_value\":30000,\"@version\":\"1\",\"logger_name\":\"com.autonomic.ftcp.conversion.FTCPConverter\"},\"_id\":\"DUMMY_EVENT_ID\",\"source\":\"ftcp-converter\",\"message\":\"Timestamp Exception thrown: TOO_FAR_IN_PAST errorMessage: No timestamp available, error status:TOO_FAR_IN_PAST { \\\"context\\\":{\\\"BusArch\\\":\\\"3\\\",\\\"esn\\\":\\\"FP001CE3\\\",\\\"CANDBVersion\\\":\\\"B_v19.04A\\\",\\\"ftcpVersion\\\":\\\"5.0.9\\\",\\\"AlertName\\\":\\\"MotiveModeEndAlert\\\",\\\"ingestMessageId\\\":\\\"DUMMY-INGEST-ID\\\",\\\"vehicleId\\\":\\\"DUMMY-VEHICLE-ID\\\",\\\"redactedVin\\\":\\\"len=17\\\",\\\"deviceId\\\":\\\"DUMMY-DEVICE-ID\\\",\\\"timestamp\\\":null} }\",\"status\":\"warn\",\"tags\":[\"kube_namespace:alfa\",\"pod_label_autonomic.ai/tracing:true\",\"kube_app_name:ftcp-converter\", /* ... other tags ... */, \"docker_image:DUMMY_ECR_HOST/au/ftcp-converter:DUMMY_TAG\",\"aws-instance-type:m5.8xlarge\",\"cluster_name:staging\",\"env:staging\",\"kube_cluster_name:staging\",\"kube_role:node\",\"autonomic_ai_team:telemetry-data\"]}", "collection_time": { "seconds": 1689231423, "nanos": 972102587 } } } }這個範例詳細說明 API 要求，並包含網路和威脅情報中繼資料：
[ { "date": "2025-02-13T08:35:41.000Z", "attributes": { "auth_method": "SESSION", "evt": { "actor": { "type": "USER" }, "name": "Request" }, "org": { "uuid": "DUMMY-ORG-UUID" }, "usr": { "id": "dummy.user@example.com", "uuid": "DUMMY-USER-UUID", "email": "dummy.user@example.com" }, "action": "accessed", "http": { "status_code": 202, "url_details": { "path": "/api/ui/frontend_telemetry/metrics", "host": "us1.DUMMY-HOST.dog" }, "method": "POST", "useragent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36" }, "threat_intel": { "indicators_matched": [ "IP" ], "results": [ { "indicator": "0.0.0.0", "additional_data": { "tunnels": [ { "anonymous": true, "type": "VPN" } ], "as": { "number": 16509, "organization": "DUMMY-AS-ORGANIZATION" }, "risks": [ "TUNNEL" ], "infrastructure": "DATACENTER", "organization": "DUMMY-ORG-GMBH", "client": {}, "location": { "country": "DE", "city": "Frankfurt am Main", "state": "Hesse" }, "services": [ "IPSEC" ] }, "source": { "name": "spur", "type": "managed", "url": "https://DUMMY-URL.us" }, "type": "IP", "category": "hosting_proxy", "intention": "suspicious" } ] }, "network": { "client": { "geoip": { "continent": { "code": "EU", "name": "Europe" }, "country": { "name": "Germany", "iso_code": "DE" }, "subdivision": { "name": "Hesse", "iso_code": "DE-HE" }, "as": { "number": "AS16509", "route": "DUMMY_CIDR", "domain": "DUMMY-DOMAIN.com", "name": "DUMMY-AS-NAME, Inc.", "type": "hosting" }, "city": { "name": "Frankfurt am Main" }, "timezone": "Europe/Berlin", "ipAddress": " ", "location": { "latitude": 50.11552, "longitude": 8.68417 } }, "ip": " " } }, "status": "info", "timestamp": "2025-02-13T08:35:41Z", "emitted_source": "edge" }, "_id": "AZT-cxO1AAA63poCZjbsDgAA", "source": "audit", "message": "POST request made to /api/ui/frontend_telemetry/metrics by dummy.user@example.com with response 202", "status": "info", "tags": [ "source:audit" ] } ]這個範例詳細說明使用者對資源 (記錄轉送查詢) 所做的修改：
{ "date": "2025-08-12T10:33:55.000Z", "attributes": { "evt": { "actor": { "type": "USER" }, "name": "Log Management" }, "metadata": { "dd": { "request_id": "DUMMY-REQUEST-ID" } }, "auth_method": "SESSION", "org": { "name": "DUMMY_ORG_NAME", "uuid": "DUMMY-ORG-UUID" }, "usr": { "created": "2025-05-13T13:33:27Z", "name": "John Doe", "id": "user.name@example.com", "uuid": "DUMMY-USER-UUID", "email": "user.name@example.com" }, "action": "modified", "http": { "status_code": 200, "url_details": { "path": "/api/ui/event-platform/logs/custom-destinations/DUMMY-DESTINATION-ID" }, "method": "PUT", "level": "info", "useragent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.0.0 Safari/537.36 Edg/139.0.0.0" }, "asset": { "modified_field": "query", "name": "Google Secops Logs", "id": "DUMMY-DESTINATION-ID", "type": "log_forwarding", "prev_value": { "data": { "attributes": { "query": "host:(DUMMY-HOST-PRD-01 OR DUMMY-HOST-PRD-02 OR DUMMY-HOST-PRD-03 OR DUMMY-HOST-STG-01 OR DUMMY-HOST-STG-02 OR DUMMY-HOST-STG-03 OR DUMMY-HOST-EMEA-01 OR DUMMY-HOST-STG-04 OR DUMMY-HOST-PRD-04) status:(notice OR warn OR error)" } } }, "new_value": { "data": { "attributes": { "query": "service:(sqb-connector-services OR nginx-ingress-controller) status:(notice OR warn OR error)" } } } }, "network": { "client": { "geoip": { "continent": { "code": "EU", "name": "Europe" }, "country": { "name": "United Kingdom", "iso_code": "GB" }, "subdivision": { "name": "DUMMY_CITY", "iso_code": "DUMMY_CODE" }, "as": { "number": "AS25180", "route": "DUMMY-CIDR-RANGE", "domain": "DUMMY-DOMAIN.com", "name": "DUMMY-ISP-NAME", "type": "hosting" }, "city": { "name": "London" }, "timezone": "Europe/London", "ipAddress": " ", "location": { "latitude": 51.50853, "longitude": -0.12574 } }, "ip": " " } }, "status": "info", "timestamp": "2025-08-12T10:33:55Z" }, "_id": "AZid2AB0AAAxoDbhbVS-EAAA", "source": "audit", "message": "user.name@example.com successfully changed query from \"host:(DUMMY-HOST-PRD-01 OR DUMMY-HOST-PRD-02 OR DUMMY-HOST-PRD-03 OR DUMMY-HOST-STG-01 OR DUMMY-HOST-STG-02 OR DUMMY-HOST-STG-03 OR DUMMY-HOST-EMEA-01 OR DUMMY-HOST-STG-04 OR DUMMY-HOST-PRD-04) status:(notice OR warn OR error)\" to \"service:(sqb-connector-services OR nginx-ingress-controller) status:(notice OR warn OR error)\" for custom destination \"Google Secops Logs\" (DUMMY-DESTINATION-ID)", "status": "info" }
UDM 對應表
| 記錄欄位 | UDM 對應 | 邏輯 |
|---|---|---|
_id |
read_only_udm.metadata.product_log_id |
直接對應至 _id 欄位。 |
alert |
read_only_udm.security_result.about.resource.attribute.labels |
從 alert 欄位擷取，並新增為 security_result 物件中的標籤。 |
attributes.@timestamp |
read_only_udm.metadata.event_timestamp |
系統會從 attributes.@timestamp 欄位擷取事件時間戳記，並轉換為秒和奈秒。 |
attributes.@version |
read_only_udm.metadata.product_version |
直接對應至 attributes.@version 欄位。 |
attributes.level_value |
read_only_udm.security_result.about.resource.attribute.labels |
從 attributes.level_value 欄位擷取，並新增為 security_result 物件中的標籤。 |
attributes.logger_name |
read_only_udm.principal.application |
直接對應至 attributes.logger_name 欄位。 |
attributes._trace.baggage._sli_service |
read_only_udm.additional.fields |
直接從 attributes._trace.baggage._sli_service 欄位對應，並新增為額外欄位。 |
attributes._trace.baggage.device_id |
read_only_udm.principal.asset.asset_id |
直接從「attributes._trace.baggage.device_id」欄位對應，並加上「裝置 ID：」前置字串。 |
attributes._trace.origin.operation |
read_only_udm.metadata.product_event_type |
直接對應至 attributes._trace.origin.operation 欄位。 |
caller |
read_only_udm.security_result.about.resource.attribute.labels |
從 caller 欄位擷取，並新增為 security_result 物件中的標籤。 |
component |
read_only_udm.security_result.about.resource.attribute.labels |
從 component 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.AlertName |
read_only_udm.security_result.threat_name |
直接對應至 context.AlertName 欄位。 |
context.BusArch |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.BusArch 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.CANDBVersion |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.CANDBVersion 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.esn |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.esn 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.ftcpVersion |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.ftcpVersion 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.ingestMessageId |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.ingestMessageId 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.redactedVin |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.redactedVin 欄位擷取，並新增為 security_result 物件中的標籤。 |
context.vehicleId |
read_only_udm.security_result.about.resource.attribute.labels |
從 context.vehicleId 欄位擷取，並新增為 security_result 物件中的標籤。 |
date |
read_only_udm.metadata.collected_timestamp |
系統會從 date 欄位 (在剖析器中重新命名為 date1) 擷取收集到的時間戳記，並轉換為秒和奈秒。 |
host |
read_only_udm.principal.hostname |
直接對應至 host 欄位。 |
message |
read_only_udm.security_result.about.resource.attribute.labels |
系統會剖析 message 欄位，並使用部分內容填入 summary 和 json_data 欄位。其餘部分會視為鍵/值組合，並以標籤形式新增至 security_result 物件中。 |
msg |
read_only_udm.security_result.about.resource.attribute.labels |
從 msg 欄位擷取，並新增為 security_result 物件中的標籤。 |
service |
read_only_udm.metadata.product_name |
直接對應至 service 欄位。 |
status |
read_only_udm.security_result.severity |
嚴重程度是依據 status 欄位而定。「INFO」、「DEBUG」、「debug」和「info」會對應至「LOW」，「WARN」會對應至「MEDIUM」，提供的程式碼片段中未明確對應其他值。 |
tags |
read_only_udm.additional.fields |
tags 陣列中的每個標記都會剖析為鍵/值組合，並新增為額外欄位。 |
| 不適用 | read_only_udm.metadata.event_type |
如果存在 host 欄位，請設為「STATUS_UPDATE」，否則設為「GENERIC_EVENT」。 |
還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。