監控 Knowledge Catalog 記錄

本文說明如何使用 Cloud Logging 存取、查詢及解讀 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 記錄。存取 Knowledge Catalog 任務和服務記錄，即可排解問題及監控資料管理活動，包括 AI 輔助資料探索和資料品質掃描。

將記錄集中管理在 Cloud Logging 中，即可分析工作效能、設定失敗或異常情況的快訊，以及將記錄傳送至 BigQuery 等其他服務，以長期保留及分析。 Google Cloud

如要瞭解相關費用，請參閱「Google Cloud Observability 定價」。

如要進一步瞭解記錄保留期限，請參閱「記錄保留期限」。

如要停用所有記錄檔或從 Logging 排除記錄檔，請參閱「排除篩選器」。

如要將記錄檔從 Cloud Logging 傳送至 Cloud Storage、BigQuery 或 Pub/Sub，請參閱「轉送和儲存空間簡介」。

用途

Knowledge Catalog 記錄支援各行各業的用途：

  • 排解資料管道失敗問題：如果資料處理的 Knowledge Catalog 工作失敗，process 記錄會提供詳細的錯誤訊息，協助資料工程師找出並解決 Spark 工作或自訂工作中的問題。
  • 監控資料品質：金融服務公司可以監控data_quality_scan_rule_result記錄，追蹤一段時間內的資料品質趨勢、在重要資料資產的品質下降時收到快訊，並向稽核人員提供資料品質檢查的證據，確保符合法規遵循。
  • 追蹤中繼資料擴充作業：零售公司可使用中繼資料匯入作業擴充目錄，並透過 metadata_job 記錄檔確認匯入作業是否順利完成，以及所有中繼資料項目是否正確處理。
  • 稽核資料探索：機構可以使用 discovery 記錄，監控在 Knowledge Catalog 中探索及註冊新資料來源的方式和時間，為資料上架程序提供稽核追蹤記錄。

Knowledge Catalog 記錄的運作方式

Knowledge Catalog 會將服務作業和工作執行的記錄傳送至 Cloud Logging。每筆記錄項目都包含作業或工作的詳細資料，例如狀態、開始和結束時間、相關聯的資源 (例如資料掃描或工作)，以及結果。資料掃描、探索、中繼資料匯入和資料處理等不同類型的作業會產生不同類型的記錄，您可以使用 logName 或 Logging 中的記錄查詢語言查詢這些記錄。

您可以使用Google Cloud 控制台中的記錄檔探索工具存取及分析這些記錄，也可以將記錄檔傳送至其他目的地 (例如 Cloud Storage 值區或 BigQuery 資料表)，以進行進一步分析。

Knowledge Catalog 記錄類型

Knowledge Catalog 會將下列服務記錄發布至 Cloud Logging。

記錄類型 記錄檔名稱 logName 筆查詢記錄 記錄說明
資料掃描事件記錄 dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) 資料掃描工作 (資料品質和資料剖析掃描) 的工作層級事件記錄，指出工作狀態、結果和統計資料
資料品質掃描規則結果記錄 dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) 資料品質掃描工作評估的每項規則，其詳細規則層級評估結果
探索記錄 dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) 區域內資產的探索進度和更新
中繼資料工作記錄 dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) 中繼資料匯入工作和中繼資料匯入檔案中匯入項目的記錄
程序記錄 dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) 資料處理工作產生的工作執行

存取 Knowledge Catalog 服務記錄

如要存取 Logging，請使用Google Cloud 控制台的 Logs Explorer、gcloud logging 指令或 Logging API。您可以使用記錄查詢語言建構詳細查詢。

必要 IAM 權限

如要查看及查詢記錄，您必須具備專案的「記錄檢視者」(roles/logging.viewer) 角色或同等權限。

在 Google Cloud 控制台中查看記錄

  1. 前往 Google Cloud 控制台的「可觀測性 > Logging > Logs Explorer」頁面。

    前往「Logs explorer」(記錄檔探索工具)

  2. 根據下表設定「資源」和「記錄名稱」篩選器：

    記錄類型 選取資源 選取記錄檔名稱
    資料掃描事件 「受稽核的資源」 >「服務」：Cloud Dataplex dataplex.googleapis.com/data_scan
    資料品質掃描規則結果 「受稽核的資源」 >「服務」：Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    探索記錄 Cloud Dataplex 可用區 dataplex.googleapis.com/discovery
    中繼資料作業記錄 Cloud Dataplex 中繼資料工作 dataplex.googleapis.com/metadata_job
    處理程序記錄 Cloud Dataplex 工作 dataplex.googleapis.com/process

  3. (選用) 選取特定子篩選器 (例如特定工作 ID)，縮小查詢範圍。

  4. 按一下「套用」，然後按一下「執行查詢」。

記錄篩選範例

您可以在 Logs Explorer 的查詢編輯器中使用記錄查詢語言，也可以使用 Google Cloud CLI。下列範例說明如何使用 gcloud CLI 讀取記錄。

範例：讀取資料掃描事件

如要讀取資料品質或資料剖析掃描的事件記錄項目，請使用 gcloud logging read 指令，並搭配下列查詢：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

範例：讀取程序記錄項目

如要讀取程序記錄項目，請使用 gcloud logging read 指令搭配下列查詢：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

記錄酬載範例

下列範例顯示不同類型 Knowledge Catalog 記錄的 JSON 酬載結構。您可以參考這些範例瞭解記錄的結構，並建立記錄篩選器。

資料掃描事件記錄

在 Knowledge Catalog 中，資料掃描涵蓋資料品質掃描和資料剖析掃描。執行任一類型的資料掃描工作時，Knowledge Catalog 會在 Logging 中產生 data_scan 事件記錄，彙整整體工作執行情況。

以下範例顯示資料品質掃描的事件記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

資料品質掃描規則結果記錄

資料品質掃描作業執行時，Knowledge Catalog 會針對作業中評估的每項規則，產生資料掃描事件記錄和個別的資料品質掃描規則結果記錄。

每筆 data_quality_scan_rule_result 記錄項目都包含特定規則的相關資訊，包括規則設定、評估維度、狀態和列數。

以下範例顯示資料品質掃描規則結果記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

探索記錄

以下範例顯示探索記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

中繼資料工作記錄

以下範例顯示中繼資料工作記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

程序記錄

以下範例顯示程序記錄酬載：

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

設定記錄檔型快訊

您可以設定記錄式快訊，在發生特定 Knowledge Catalog 事件時收到通知 (例如資料品質掃描作業失敗)。

如要建立記錄警告，您必須具備「記錄設定寫入者」roles/logging.configWriter和「Monitoring AlertPolicy 編輯者」roles/monitoring.alertPolicyEditor角色，或是同等權限。

  1. 在 Logs Explorer 中執行查詢，找出失敗條件 (例如：resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true)。
  2. 在查詢結果窗格上方，按一下「建立快訊」。
  3. 在「建立以記錄為基礎的快訊」面板中，輸入快訊政策名稱和說明。
  4. 點按「下一步」，然後設定通知管道。
  5. 按一下 [儲存]。

詳情請參閱「建立以記錄為基礎的快訊」。

後續步驟