Knowledge Catalog の指標をモニタリングする

このドキュメントでは、Cloud Monitoring を使用して Knowledge Catalog(旧 Dataplex Universal Catalog)サービスの Service Health を追跡し、パフォーマンスを最適化して、データ プラットフォームを可視化する方法について説明します。事前対応型のモニタリングは、データ アプリケーションの信頼性を確保し、リソース割り当てと費用管理について十分な情報に基づいて意思決定を行うのに役立ちます。

費用については、Monitoring の料金をご覧ください。

指標データの保持の詳細については、 Monitoring の割り当てと上限をご覧ください。

ユースケース

Cloud Monitoring で Knowledge Catalog 指標を使用して、次のユースケースをサポートできます。

  • データ パイプラインの信頼性を確保する: データの取り込みやデータ品質ジョブなど、Knowledge Catalog タスクの成功率と失敗率をモニタリングします。 失敗や異常な期間に対するアラートを構成して、重要なワークロードのダウンタイムを最小限に抑えます。
  • パフォーマンスを最適化する: ジョブの期間とリソース使用率 の指標を追跡して、データ 処理、データ品質、データ検出のワークロードのパフォーマンスのボトルネックを特定して解決します。
  • 費用を管理する: Monitoring で Knowledge Catalog リソースの使用量(レイク、ゾーン、アセットなど)をモニタリングし、Cloud Billing export to BigQueryを使用して、データ品質、データ プロファイリング、データリネージのワークロードのサーバーレス コンピューティング(DCU)の費用を帰属させます。
  • データ ガバナンスを維持する: メタデータの検出 とカタログの拡充に関連する指標を追跡して、ガバナンス ポリシーに従ってデータ アセットがスキャンされ、 タグ付けされていることを確認します。

仕組み

Knowledge Catalog は Cloud Monitoring と統合されています。Cloud Monitoring は、Knowledge Catalog サービスから指標、イベント、メタデータを収集します。これらの指標は、ジョブの実行ステータス、API の使用状況、リソースの健全性などの領域に関する分析情報を提供します。これらの指標は、Metrics Explorer、カスタム ダッシュボード、アラートなど、Cloud Monitoring のツールを使用して分析できます。これらのツールを使用すると、サービスの動作を可視化し、パフォーマンスの傾向を特定し、パフォーマンスが定義されたしきい値から逸脱した場合や障害が発生した場合に通知するアラート ポリシーを作成できます。

Monitoring でサービスの指標にアクセスする

Knowledge Catalog サービス リソース指標は、Knowledge Catalog サービスで自動的に有効になります。これらの指標を表示するには、Monitoring を使用します。

Monitoring には、Google Cloud コンソールから、または Monitoring API を使用してアクセスできます。

モニタリング グラフを表示できない場合やアラートを作成できない場合は、追加の Monitoring 権限が必要な場合があります。

コンソール

  1. Google Cloud コンソールで、Metrics Explorer のページに移動します。

    Metrics Explorer に移動

  2. [指標を選択] メニューで、Cloud Dataplex リソースを選択します。

  3. 指標カテゴリを選択し、リストから指標を選択します。

    指標に関する情報を表示するには、指標名の上にカーソルを置きます。

  4. [適用] をクリックします。

  5. 省略可: フィルタの選択、指標ラベルによるグループ化、集計の実行、グラフ表示オプションの選択。

REST

filter 式で定義された指標を取得して一覧表示するには、Monitoring の timeSeries.list メソッドを使用します。

API リクエストを送信してレスポンスを表示するには、API ページで [この API を試す] テンプレートを使用します。

Monitoring の Knowledge Catalog サービス指標

Knowledge Catalog サービス指標を使用すると、Service Health をモニタリングできます。

次の表の「指標タイプ」の文字列には、dataplex.googleapis.com/ という接頭辞を付ける必要があります。この接頭辞は表内で省略されています。 ラベルをクエリする場合は、metric.labels. 接頭辞を使用します(例: metric.labels.LABEL="VALUE")。

指標タイプリリース ステージ (リソース階層レベル)
表示名
種類、タイプ、単位
モニタリング対象リソース
説明
ラベル
asset/active BETA  (プロジェクト)
アクティブ
GAUGE、INT64、1
dataplex.googleapis.com/Asset
アセットがアクティブかどうかを示します。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/data_items BETA  (プロジェクト)
データ項目
GAUGE、INT64、1
dataplex.googleapis.com/Asset
参照されたリソース内のアイテムの数。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/data_size BETA  (プロジェクト)
データサイズ
GAUGE、INT64、By
dataplex.googleapis.com/Asset
参照されたリソース内の保存済みバイト数。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/entities_pending_bigquery_iampolicy_updates BETA  (プロジェクト)
BigQuery IAM ポリシーの更新が保留中のエンティティ
GAUGE、INT64、1
dataplex.googleapis.com/Asset
BigQuery IAM ポリシーの更新が保留中のアセットに関連付けられているエンティティの数。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/entities_pending_bigquery_metadata_updates BETA  (プロジェクト)
BigQuery メタデータの更新が保留中のエンティティ
GAUGE、INT64、1
dataplex.googleapis.com/Asset
BigQuery メタデータの更新が保留中のアセットに関連付けられているエンティティの数。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/filesets BETA  (プロジェクト)
ファイルセット
GAUGE、INT64、1
dataplex.googleapis.com/Asset
参照されたリソース内のファイルセット エンティティの数。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/requires_action BETA (プロジェクト)
対応が必要
GAUGE、INT64、1
dataplex.googleapis.com/Asset
アセットに未解決の管理アクションがあるかどうか。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
asset/tables BETA (プロジェクト)
テーブル
GAUGE、INT64、1
dataplex.googleapis.com/Asset
参照されたリソース内のテーブル エンティティの数。
resource_type: 参照されるリソースのタイプ。
zone_type: 親ゾーンのタイプ。
lake/requires_action BETA (プロジェクト)
対応が必要
GAUGE、INT64、1
dataplex.googleapis.com/Lake
レイクに未解決の管理アクションがあるかどうか。
zone/requires_action BETA (プロジェクト)
対応が必要
GAUGE、INT64、1
dataplex.googleapis.com/Zone
ゾーンに未解決の管理アクションがあるかどうか。
type: ゾーンのタイプ。

表の生成日時: 2026-10-14 20:24:33 UTC。

Cloud Billing export を使用して Dataplex DCU の費用をモニタリングして帰属させる

Knowledge Catalog のデータスキャン(自動データ品質やデータ プロファイリングなど)とデータリネージは、時系列指標を Cloud Monitoring に公開しないため、Cloud Billing export to BigQuery を使用して、追跡、 モニタリング、プロジェクト、 スキャン、データリソース全体で Data Compute Unit(DCU)の使用量と費用を帰属させることができます。

Dataplex の課金ラベル

Knowledge Catalog は、データスキャンとデータリネージ用に発行された課金レコードにシステムラベルを自動的に付加します。これらのラベルは、Cloud Billing エクスポート テーブルの labels 配列でクエリできます。

ラベルキー ワークロード 説明
goog-dataplex-datascan-id データ品質、データ プロファイリング データスキャンの ID または名前。
goog-dataplex-datascan-job-id データ品質、データ プロファイリング データスキャン ジョブの特定の実行 ID。
goog-dataplex-datascan-data-source-project データ品質、データ プロファイリング スキャンされたデータソースを含む Google Cloud プロジェクト。
goog-dataplex-datascan-data-source-region データ品質、データ プロファイリング スキャンされたデータソースの Google Cloud リージョン。
goog-dataplex-datascan-data-source-bigquery-dataset データ品質、データ プロファイリング スキャンされたテーブルの BigQuery データセット ID。
goog-dataplex-datascan-data-source-bigquery-table データ品質、データ プロファイリング スキャンされた BigQuery テーブル ID。
goog-dataplex-datascan-data-source-dataplex-lake データ品質、データ プロファイリング Dataplex レイク ID(該当する場合)。
goog-dataplex-datascan-data-source-dataplex-zone データ品質、データ プロファイリング Dataplex データゾーン ID(該当する場合)。
goog-dataplex-datascan-data-source-dataplex-entity データ品質、データ プロファイリング Dataplex エンティティ ID(該当する場合)。
goog-dataplex-datascan-data-source-biglake-catalog データ品質、データ プロファイリング BigLake カタログ ID(該当する場合)。
goog-dataplex-datascan-data-source-biglake-namespace データ品質、データ プロファイリング BigLake 名前空間(該当する場合)。
goog-dataplex-datascan-data-source-biglake-table データ品質、データ プロファイリング BigLake テーブル ID(該当する場合)。
goog-dataplex-workload-type データリネージ ワークロードを指定します。データリネージ処理の料金は LINEAGE に設定します。

クエリの例

これらのクエリを実行する前に、Cloud Billing export to BigQuery を有効にしていることを確認してください。 クエリの例では、次のプレースホルダを置き換えます。

  • PROJECT_ID: BigQuery Billing Export データセットをホストする Google Cloud プロジェクト ID。
  • DATASET_NAME: Billing Export テーブルを含む BigQuery データセットの名前。
  • BILLING_ACCOUNT_ID: Cloud 請求先アカウント ID(アンダースコアでフォーマットされます。例: 012345_567890_ABCDEF)。

クエリ 1: DataScan とターゲット テーブルで DCU の費用と使用量を割り振る

このクエリは、過去 30 日間の DataScan ID とターゲット BigQuery テーブル別の Dataplex Processing と Premium Processing の費用を集計します。

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

クエリ 2: ワークロード タイプ(リネージと DataScan)別に Dataplex の費用を割り振る

このクエリは、すべてのプロジェクトでワークロード カテゴリ(データリネージと DataScan など)別に Dataplex SKU の費用を分類します。

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

クエリ 3: DataScan ジョブの実行ごとの 1 日の DCU 使用量と費用の傾向

このクエリは、過去 7 日間の個々の DataScan ジョブの実行の 1 日の DCU 使用量と費用を追跡します。

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

カスタム Monitoring ダッシュボードを構築する

選択した Knowledge Catalog サービス指標のグラフを表示するカスタム Monitoring ダッシュボードを構築できます。ダッシュボードの作成方法については、 カスタム ダッシュボードの作成と管理をご覧ください。ダッシュボードのウィジェットの指標を選択する場合は、Cloud Dataplex リソースを選択してから、Knowledge Catalog 指標を選択します。

Monitoring アラートを使用する

Monitoring アラートを作成すると、Knowledge Catalog サービスやジョブの指標が指定されたしきい値を超えた場合に通知を受け取れます。

アラートを作成する

アラートを作成するには、 指標しきい値のアラート ポリシーを作成するの手順に沿って操作します。 モニタリング対象の時系列を選択するときは、Cloud Dataplex リソースを選択し、Knowledge Catalog 指標を選択します。

アラートを表示

指標しきい値条件によってアラートがトリガーされると、Monitoring によってインシデントと対応するイベントが作成されます。

インシデントを確認する手順は次のとおりです。

アラート ポリシーに通知メカニズム(メールや SMS 通知など)を定義した場合も、Monitoring によってインシデントの通知が送信されます。

アラートの詳細については、指標ベースのアラートのインシデントをご覧ください。

次のステップ