本文說明如何使用 Cloud Monitoring 追蹤 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 服務健康狀態、提升效能,以及掌握資料平台。主動監控可協助您確保資料應用程式的可靠性,並根據資源分配和成本管理做出明智決策。
如要瞭解相關費用,請參閱「Monitoring 定價」一文。
如要進一步瞭解指標資料保留時間,請參閱「監控配額與限制」。
用途
您可以在 Cloud Monitoring 中使用 Knowledge Catalog 指標,支援下列用途:
- 確保資料管道的可靠性:監控 Knowledge Catalog 工作的成功和失敗率,例如資料擷取或資料品質工作。設定失敗或異常時間長度的快訊,盡量減少重要工作負載的停機時間。
- 提升效能:追蹤工作持續時間和資源用量指標,找出並解決資料處理、資料品質和資料探索工作負載的效能瓶頸。
- 管理費用:在 Monitoring 中監控 Knowledge Catalog 資源用量 (例如湖泊、區域和資產),並使用 Cloud Billing 匯出至 BigQuery,將無伺服器運算 (DCU) 費用歸因於資料品質、資料剖析和資料沿襲工作負載。
- 維持資料治理:追蹤與中繼資料探索和目錄擴充相關的指標,確保系統會根據治理政策掃描及標記資料資產。
運作方式
Knowledge Catalog 與 Cloud Monitoring 整合,後者會從 Knowledge Catalog 服務收集指標、事件和中繼資料。這些指標可深入瞭解工作執行狀態、API 使用情形和資源健康狀態等領域。您可以使用 Cloud Monitoring 中的工具 (例如 Metrics Explorer、自訂資訊主頁和快訊) 分析這些指標。您可以運用這些工具,以視覺化方式呈現服務的行為、找出效能趨勢,以及建立快訊政策,在效能偏離既定門檻或發生故障時接收通知。
在 Monitoring 中存取服務指標
系統會自動啟用 Knowledge Catalog 服務資源指標。如要查看這些指標,請使用 Monitoring。
您可以透過Google Cloud 控制台或 Monitoring API 存取 Monitoring。
如果無法查看監控圖表或建立快訊,您可能需要額外的監控權限。
控制台
前往 Google Cloud 控制台的「Metrics Explorer」頁面。
在「選取指標」選單中,選取
Cloud Dataplex資源。選取指標類別,然後從清單中選取指標。
如要顯示指標的相關資訊,請將指標懸停在指標名稱上。
按一下「套用」。
選用:選取篩選器、依指標標籤分組依據、執行匯總作業,然後選取圖表顯示選項。
REST
如要擷取及列出 filter 運算式定義的指標,請使用 Monitoring timeSeries.list 方法。
如要傳送 API 要求及顯示回應,請在 API 頁面使用「Try this API」範本。
Monitoring 中的 Knowledge Catalog 服務指標
Knowledge Catalog 服務指標有助於監控服務健康狀態。
這個表格中的「指標類型」字串開頭必須為 dataplex.googleapis.com/。表格中的項目已省略該前置字串。查詢標籤時,請使用 metric.labels. 前置字串,例如 metric.labels.LABEL="VALUE"。
| 指標類型 推出階段 (資源階層層級) 顯示名稱 |
|
|---|---|
| 種類、類型、單位 受監控資源 |
說明 標籤 |
asset/active
BETA
(專案)
有效 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
資產是否有效。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/data_items
BETA 版
(專案)
資料項目 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
參照資源中的項目數量。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/data_size
BETA 版
(project)
資料大小 |
|
GAUGE、INT64、By
dataplex.googleapis.com/Asset |
參照資源中儲存的位元組數。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/entities_pending_bigquery_iampolicy_updates
BETA 版
(project)
待處理 BigQuery IAM 政策更新的實體 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
與資產相關聯的實體數量,且 BigQuery IAM 政策更新待處理。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/entities_pending_bigquery_metadata_updates
BETA 版
(project)
等待 BigQuery 中繼資料更新的實體 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
與資產相關聯的實體數量,且 BigQuery 中繼資料更新待處理。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/filesets
Beta 版
(專案)
檔案集 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
參照資源中的檔案集實體數量。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/requires_action
BETA 版
(專案)
需要採取行動 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
資產是否有待解決的管理員動作。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
asset/tables
BETA 版
(專案)
表格 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Asset |
參照資源中的表格實體數量。
resource_type:
參照資源的類型。
zone_type:
父項區域的類型。
|
lake/requires_action
BETA 版
(專案)
需要採取行動 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Lake |
湖泊是否有未解決的管理員動作。 |
zone/requires_action
BETA 版
(專案)
需要採取行動 |
|
GAUGE、INT64、1
dataplex.googleapis.com/Zone |
該區域是否有待解決的管理員動作。
type:
區域類型。
|
表格產生時間:2026 年 9 月 17 日 19:38:45 (世界標準時間)。
透過 Cloud Billing 匯出功能監控及歸因 Dataplex DCU 費用
由於 Knowledge Catalog 資料掃描 (包括自動資料品質和資料剖析) 和資料沿襲不會將時間序列指標發布至 Cloud Monitoring,因此您可以透過將 Cloud Billing 匯出至 BigQuery,追蹤、監控及歸因各專案、掃描和資料資源的資料運算單元 (DCU) 使用量和費用。
Dataplex 帳單標籤
Knowledge Catalog 會自動將系統標籤附加至資料掃描和資料歷程記錄的帳單記錄。您可以在 Cloud Billing 匯出資料表的 labels 陣列中查詢這些標籤:
| 標籤鍵 | 工作負載 | 說明 |
|---|---|---|
goog-dataplex-datascan-id |
資料品質、資料剖析 | 資料掃描的 ID 或名稱。 |
goog-dataplex-datascan-job-id |
資料品質、資料剖析 | 資料掃描工作的特定執行作業 ID。 |
goog-dataplex-datascan-data-source-project |
資料品質、資料剖析 | 包含掃描資料來源的 Google Cloud 專案。 |
goog-dataplex-datascan-data-source-region |
資料品質、資料剖析 | 掃描資料來源的 Google Cloud 區域。 |
goog-dataplex-datascan-data-source-bigquery-dataset |
資料品質、資料剖析 | 掃描資料表的 BigQuery 資料集 ID。 |
goog-dataplex-datascan-data-source-bigquery-table |
資料品質、資料剖析 | 掃描到的 BigQuery 資料表 ID。 |
goog-dataplex-datascan-data-source-dataplex-lake |
資料品質、資料剖析 | Dataplex 湖泊 ID (如適用)。 |
goog-dataplex-datascan-data-source-dataplex-zone |
資料品質、資料剖析 | Dataplex 資料儲存區 ID (如適用)。 |
goog-dataplex-datascan-data-source-dataplex-entity |
資料品質、資料剖析 | Dataplex 實體 ID (如適用)。 |
goog-dataplex-datascan-data-source-biglake-catalog |
資料品質、資料剖析 | BigLake 目錄 ID (如適用)。 |
goog-dataplex-datascan-data-source-biglake-namespace |
資料品質、資料剖析 | BigLake 命名空間 (如適用)。 |
goog-dataplex-datascan-data-source-biglake-table |
資料品質、資料剖析 | BigLake 資料表 ID (如適用)。 |
goog-dataplex-workload-type |
資料歷程 | 識別工作負載。設為 LINEAGE,即可支付資料沿革處理費用。 |
查詢範例
執行這些查詢前,請務必啟用 Cloud Billing 匯出至 BigQuery 的功能。在查詢範例中,請替換下列預留位置:
PROJECT_ID:代管 BigQuery 帳單匯出資料集的 Google Cloud 專案 ID。DATASET_NAME:包含帳單匯出資料表的 BigQuery 資料集名稱。BILLING_ACCOUNT_ID:您的 Cloud Billing 帳戶 ID (格式為底線,例如012345_567890_ABCDEF)。
查詢 1:依 DataScan 和目標資料表列出屬性 DCU 費用和用量
這項查詢會彙整過去 30 天的 Dataplex 處理和進階處理費用,並依據 DataScan ID 和目標 BigQuery 表格分類:
SELECT project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table, sku.description AS sku_description, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, datascan_id, data_source_project, data_source_dataset, data_source_table, sku_description, usage_unit, currency ORDER BY total_cost DESC;
查詢 2:依工作負載類型 (歷程與 DataScan) 歸因 Dataplex 費用
這項查詢會依工作負載類別 (例如資料歷程與 DataScan) 細分所有專案的 Dataplex SKU 費用:
SELECT project.id AS project_id, sku.description AS sku_description, COALESCE( (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'), IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER') ) AS workload_type, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, sku_description, workload_type, usage_unit, currency ORDER BY total_cost DESC;
查詢 3:每次執行 DataScan 工作時的每日 DCU 用量和費用趨勢
這項查詢會追蹤過去 7 天內,個別 DataScan 工作執行作業的每日 DCU 用量和費用:
SELECT DATE(usage_start_time) AS usage_date, project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY) GROUP BY usage_date, project_id, datascan_id, job_id, usage_unit, currency ORDER BY usage_date DESC, total_cost DESC;
建構自訂監控資訊主頁
您可以建構自訂 Monitoring 資訊主頁,顯示所選 Knowledge Catalog 服務指標的圖表。如要進一步瞭解如何建立資訊主頁,請參閱「建立及管理自訂資訊主頁」一文。在資訊主頁上為小工具選取指標時,請選取 Cloud Dataplex 資源,然後選擇 Knowledge Catalog 指標。
使用 Monitoring 快訊
您可以建立 Monitoring 快訊,在 Knowledge Catalog 服務或工作指標超過指定門檻時收到通知。
建立警告
如要建立快訊,請按照「建立指標門檻警告政策」中的操作說明進行。選取要監控的時間序列時,請選取Cloud Dataplex資源,然後選擇 Knowledge Catalog 指標。
查看快訊
當指標門檻條件觸發快訊時,Monitoring 會建立事件和對應的事件。
如要查看事件,請按照下列步驟操作:
前往 Google Cloud 控制台的「Alerting」(警告) 頁面。
如果您在快訊政策中定義了通知機制,例如電子郵件或簡訊通知,則 Monitoring 也會傳送事件通知。
如要進一步瞭解快訊,請參閱「以指標為基礎的快訊事件」。
後續步驟
- 進一步瞭解 Cloud Monitoring
- 瞭解 Cloud Billing 資料匯出至 BigQuery。
- 瞭解如何使用自動分析資料品質。
- 瞭解如何使用資料剖析功能。
- 瞭解如何使用資料歷程。