BigQuery で Knowledge Catalog を使用する

Knowledge Catalog（旧称 Dataplex Universal Catalog）は、BigQuery のメタデータの中央データ ガバナンスとエージェント型アクセスレイヤとして BigQuery と連携します。詳細については、Knowledge Catalog の概要をご覧ください。

Knowledge Catalog を BigQuery で使用するにはどうすればよいですか？

Knowledge Catalog は、次の方法で BigQuery と連携します。

メタデータの自動取り込み

Knowledge Catalog は、BigQuery アセットからテクニカル メタデータを自動的に検出してインデックス処理します。これには次のものが含まれます。

メタデータの表現と拡充

  • エントリ: 各 BigQuery テーブルまたはアセットは、テーブル全体ではなく、カタログ内のエントリとして表されます（例: project.dataset.table）。
  • データ品質スコアカードの統合: Knowledge Catalog には、カタログ内の各エントリのデータ品質スコアカードが用意されています。このスコアカード（プレビュー）のソースは、組み込みの Knowledge Catalog データスキャンに加えて、Dataform のアサーション結果です。

  • メタデータの自動拡充: Dataform で作成されたテーブルとビューについては、コードでセマンティック メタデータを直接定義できます。このメタデータは、パイプライン アクションが正常に完了すると、Knowledge Catalog に自動的に同期されます（プレビュー）。次のアスペクト タイプがサポートされています。

    • 概要: エントリのドキュメントと要約テキスト。
    • 汎用アスペクト: テーブルのシステムや型情報などの技術的な詳細に関するセマンティック メタデータ タグ。

    メタデータ更新のステータスを確認するには、過去の手動実行を表示するの手順に沿って操作します。

    メタデータが同期されると、Knowledge Catalog でエントリを検索して表示できます。詳しくは、リソースを検索するをご覧ください。

  • 列レベルのメタデータ: 個々の列またはフィールドはパスとして表されます。これにより、テーブル自体だけでなく、BigQuery テーブル内の個々のフィールドに PII マーカーやデータ品質スコアなどの特定のメタデータを追加できます。

  • アスペクト: 技術メタデータはアスペクトで拡充されます。アスペクトは、所有権、データ品質、ドキュメントなど、データにビジネス コンテキストを追加します。

  • データ プロダクト: 関連する BigQuery アセットを データ プロダクト（e コマース ビジネスデータなど）にパッケージ化できます。これには、共有アクセスとガバナンスの制約があります。

  • セマンティック検索: ユーザーは自然言語を使用して BigQuery データを検索できます。これは、データ サイエンティストや AI エージェントが長いクエリや複雑なクエリを使用して信頼できるデータ プロダクトを見つける場合に特に便利です。
  • 名前の変換: プログラムによるルックアップを容易にするため、システムでは BigQuery SQL 名または完全修飾された名を Knowledge Catalog エントリ名に変換できます。

エージェント アクセスとグラウンディング

  • エージェント アクセス: AI エージェントは、ローカルまたはリモートの MCP サーバーを介して Knowledge Catalog ツールを検出して適応的に使用できます。
  • AI エージェントのコンテキスト: Knowledge Catalog は、BigQuery データセットとビジネス セマンティクスをリンクするコンテキスト グラフをキュレートします。これにより、モデルが企業承認済みのデータを使用することが保証され、AI のハルシネーションを減らすことができます。

ガバナンスとコンプライアンス

  • データリネージ: Knowledge Catalog は、BigQuery テーブルへのデータの流れと変換を自動的に追跡します。この機能は、データ資産全体で PII などの機密情報を監査するうえで重要です。
  • アクセス制御: メタデータ管理は Identity and Access Management（IAM）と VPC Service Controls と統合されており、BigQuery メタデータの検出とアクセスが組織のセキュリティ ポリシーに準拠していることを保証します。

移行に関する考慮事項

非推奨の Data Catalog から Knowledge Catalog に移行するには、いくつかの手順が必要です。BigQuery の標準メタデータ（データセット、テーブル、ビューなど）は Knowledge Catalog で自動的に使用可能になるため、移行プロセスでは主にカスタム メタデータ、API の使用状況、ユーザー インターフェースのデフォルトに重点が置かれます。

移行時に考慮すべき主なポイントは次のとおりです。

変更内容を理解する

Knowledge Catalog には、Data Catalog と比較して、メタデータ管理、ガバナンス、検出の機能が強化されています。Knowledge Catalog は別の API（Knowledge Catalog API）を使用し、データモデルが若干異なります。たとえば、Knowledge Catalog では、タグとタグ テンプレートの代わりにアスペクトとアスペクト タイプを使用します。

現在のデータカタログの使用状況を評価する

  • カスタム メタデータなし: カスタムタグ、タグ テンプレート、カスタム エントリ、エントリ グループを作成せずに、標準の BigQuery メタデータの自動取り込みと検出に Knowledge Catalog のみを使用していた場合は、移行は簡単です。Knowledge Catalog インターフェースはすぐに使用できます。
  • カスタム メタデータまたはプログラムによる使用: カスタムタグまたはテンプレート、カスタム エントリを作成した場合、または Data Catalog API、クライアント ライブラリ、Google Cloud CLI コマンド、Terraform を使用している場合は、より構造化された移行が必要です。

BigQuery 固有の考慮事項

  • 自動取り込み: BigQuery アセット（データセット、テーブル、ビュー、モデル、ルーティン）のテクニカル メタデータは、Dataplex Universal Catalog と同様に、Knowledge Catalog に自動的に取り込まれます。
  • ポリシータグ: BigQuery の列レベルのアクセス制御に使用されるポリシータグは非推奨ではなく、その管理は BigQuery 内で行われます。
  • リネージ: BigQuery オペレーションのデータリネージが Knowledge Catalog 内に表示されます。データリネージの詳細については、BigQuery テーブルのデータリネージを追跡するをご覧ください。

移行ガイドに沿って操作する

Knowledge Catalog に移行するには、Data Catalog から Knowledge Catalog への移行の手順に沿って操作します。

プログラマティック ワークフローを Knowledge Catalog API に更新するには、Data Catalog API メソッドを Knowledge Catalog にマッピングするをご覧ください。

次のステップ

Knowledge Catalog の詳細: