監控 Knowledge Catalog 記錄

本文說明如何使用 Cloud Logging 存取、查詢及解讀 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 記錄。存取 Knowledge Catalog 工作和服務記錄，即可排解問題及監控資料管理活動，包括 AI 輔助的資料探索和資料品質掃描。

將記錄集中在 Logging，即可分析工作效能、設定失敗或異常警示，並將記錄轉送至 BigQuery 等其他 Google Cloud 服務，以便長期保留及分析。

如要瞭解相關費用，請參閱「Google Cloud Observability 定價」。

如要進一步瞭解記錄保留期限，請參閱「記錄保留期限」。

如要停用所有記錄檔或從 Logging 排除記錄檔，請參閱「『排除』篩選器」。

如要將記錄檔從 Cloud Logging 傳送至 Cloud Storage、BigQuery 或 Pub/Sub，請參閱「轉送和儲存空間簡介」。

用途

Knowledge Catalog 記錄功能支援不同產業的用途：

  • 排解資料管道失敗問題：如果資料處理的 Knowledge Catalog 工作失敗，process 記錄會提供詳細的錯誤訊息，協助資料工程師找出並解決 Spark 工作或自訂工作中的問題。
  • 監控資料品質：金融服務公司可以監控 data_quality_scan_rule_result 記錄，追蹤資料品質趨勢、在重要資料資產品質下降時收到警示，並向稽核人員提供資料品質檢查證明，以符合法規遵循。
  • 追蹤中繼資料擴充：零售公司使用中繼資料匯入工作擴充目錄時，可透過 metadata_job 記錄確認匯入作業是否成功完成，以及所有中繼資料項目是否正確處理。
  • 稽核資料探索：機構可以使用 discovery 記錄，監控在 Knowledge Catalog 中探索及註冊新資料來源的方式和時間，為資料上架程序提供稽核追蹤記錄。

Knowledge Catalog 記錄功能的運作方式

Knowledge Catalog 會將服務作業和工作執行的記錄傳送至 Cloud Logging。每個記錄項目都包含作業或工作的詳細資料，例如狀態、開始和結束時間、相關聯的資源 (例如資料掃描或工作) 和結果。不同類型的作業 (例如資料掃描、探索、中繼資料匯入和資料處理) 會產生不同的記錄類型，您可以使用 logName 或 Logging 中的記錄查詢語言查詢這些記錄。

您可以使用Google Cloud 控制台中的Logs Explorer存取及分析這些記錄，也可以將記錄轉送至其他目的地 (例如 Cloud Storage bucket 或 BigQuery 資料表)，以便進一步分析。

Knowledge Catalog 記錄類型

Knowledge Catalog 會將下列服務記錄發布至 Cloud Logging。

記錄類型 記錄檔名稱 logName 項查詢 記錄說明
資料掃描事件記錄 dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) 資料掃描工作 (資料品質、資料剖析檔和資料洞察掃描) 的工作層級事件記錄，指出工作狀態、結果和統計資料
資料品質掃描規則結果記錄 dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) 資料品質掃描工作中，每項評估規則的詳細規則層級評估結果
探索記錄 dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) 區域內資產的探索進度和更新
中繼資料工作記錄 dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) 中繼資料匯入工作和中繼資料匯入檔案中匯入項目的記錄
程序記錄 dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) 資料處理工作產生的工作執行作業

存取 Knowledge Catalog 服務記錄

如要存取 Logging，請使用Google Cloud 控制台中的 Logs Explorer、gcloud logging 指令或 Logging API。您可以使用記錄查詢語言建立詳細查詢。

必要 IAM 權限

如要查看及查詢記錄，您必須具備專案的「記錄檢視器」(roles/logging.viewer) 角色或同等權限。

在 Google Cloud 控制台查看記錄

  1. 前往 Google Cloud 控制台的「可觀測性 > Logging > Logs Explorer」頁面。

    前往「Logs explorer」(記錄檔探索工具)

  2. 根據下表設定「Resource」(資源) 和「Log name」(記錄檔名稱) 篩選器：

    記錄類型 選取資源 選取記錄檔名稱
    資料掃描事件 「Audited Resource」(已稽核資源) >「Service」(服務)：Cloud Dataplex dataplex.googleapis.com/data_scan
    資料品質掃描規則結果 「受稽核的資源」 >「服務」：Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    探索記錄 Cloud Dataplex 可用區 dataplex.googleapis.com/discovery
    中繼資料工作記錄 Cloud Dataplex 中繼資料工作 dataplex.googleapis.com/metadata_job
    處理記錄 Cloud Dataplex 工作 dataplex.googleapis.com/process

  3. (選用) 選取特定子篩選器 (例如特定工作 ID)，縮小查詢範圍。

  4. 依序點選「套用」和「執行查詢」。

記錄篩選範例

您可以在 Logs Explorer 查詢編輯器中，或搭配 Google Cloud CLI 使用記錄檔查詢語言。下列範例說明如何使用 gcloud CLI 讀取記錄。

範例：讀取資料掃描事件

如要讀取資料品質或資料剖析掃描的事件記錄項目，請使用 gcloud logging read 指令，並搭配下列查詢：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

範例：讀取程序記錄項目

如要讀取程序記錄項目，請使用 gcloud logging read 指令和下列查詢：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

記錄酬載範例

以下範例顯示不同類型 Knowledge Catalog 記錄的 JSON 酬載結構。您可以參考這些範例，瞭解記錄結構並建立記錄篩選器。

資料掃描事件記錄

在 Knowledge Catalog 中，資料掃描作業包含資料品質掃描、資料剖析掃描和資料洞察掃描。執行資料掃描工作時，Knowledge Catalog 會在 Logging 中產生 data_scan 事件記錄，彙整整體工作執行情況。如果資料洞察掃描成功 (jsonPayload.type="DATA_DOCUMENTATION")，事件記錄也會包含 billableTokenUsage 區塊。如要瞭解如何查詢及繪製資料洞察詞元用量圖表，請參閱「監控資料洞察詞元用量」。

以下範例顯示資料品質掃描的事件記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

資料品質掃描規則結果記錄

資料品質掃描作業執行時，Knowledge Catalog 會針對作業中評估的每項規則，產生資料掃描事件記錄和個別的資料品質掃描規則結果記錄。

每個 data_quality_scan_rule_result 記錄項目都包含特定規則的相關資訊，包括規則設定、評估維度、狀態和資料列數。

以下範例顯示資料品質掃描規則結果記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

探索記錄

以下是探索記錄酬載範例：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

中繼資料工作記錄

以下範例顯示中繼資料工作記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

處理記錄

以下範例顯示程序記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

設定記錄檔型快訊

您可以設定記錄式快訊，在發生特定 Knowledge Catalog 事件 (例如資料品質掃描失敗) 時收到通知。

如要建立記錄警告，您必須具備記錄檔設定寫入者 (roles/logging.configWriter) 和 Monitoring 警告政策編輯者 (roles/monitoring.alertPolicyEditor) 角色，或同等權限。

  1. 在記錄檔探索工具中，執行針對失敗條件的查詢 (例如：resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true)。
  2. 在查詢結果窗格上方，按一下「Create alert」(建立警告)。
  3. 在「建立以記錄為基礎的警告」面板中，輸入警告政策名稱和說明。
  4. 點按「下一步」，然後設定通知管道。
  5. 按一下 [儲存]。

如需更多詳細資訊，請參閱「建立記錄檔類型快訊」。

後續步驟