BigQuery で Knowledge Catalog を使用する

Knowledge Catalog（旧称 Dataplex Universal Catalog）は、BigQuery のメタデータの一元的なデータ ガバナンスとエージェント アクセスレイヤとして BigQuery とやり取りします。詳細については、Knowledge Catalog の概要をご覧ください。

BigQuery で Knowledge Catalog を使用するにはどうすればよいですか？

Knowledge Catalog は、次の方法で BigQuery とやり取りします。

メタデータの自動取り込み

Knowledge Catalog は、BigQuery アセットからテクニカル メタデータを自動的に検出してインデックスに登録します。これには次のものが含まれます。

メタデータの表現と拡充

  • エントリ: 各 BigQuery テーブルまたはアセットは、テーブル全体ではなく、カタログ内のエントリとして表されます（例: project.dataset.table）。
  • データ品質スコアカードの統合: Knowledge Catalog には、カタログ内の各エントリのデータ品質スコアカードが用意されています。組み込みの Knowledge Catalog データスキャンに加えて、Dataform のアサーション結果もこのスコアカードのソースになります。

  • 自動化されたメタデータの拡充: Dataform で作成されたテーブルとビューの場合、コードでセマンティック メタデータを直接定義できます。このメタデータは、パイプライン アクションが正常に完了すると、Knowledge Catalog に自動的に同期されます。次のアスペクト タイプがサポートされています。

    • 概要: エントリのドキュメントと概要テキスト。
    • 汎用アスペクト: テーブル システムやタイプ情報などの技術的な詳細のセマンティック メタデータタグ。

    メタデータの更新ステータスを確認するには、過去の手動実行を表示するの手順に沿って操作します。

    メタデータが同期されると、Knowledge Catalog でエントリを検索して表示できます。詳しくは、リソースを検索するをご覧ください。

  • 列レベルのメタデータ: 個々の列またはフィールドはパスとして表されます。これにより、PII マーカーやデータ品質スコアなどの特定のメタデータを、テーブル自体だけでなく、BigQuery テーブル内の個々のフィールドにアタッチできます。

  • アスペクト: 技術メタデータはアスペクトで拡充されます。アスペクトは、オーナーシップ、データ品質、ドキュメントなどのビジネス コンテキストをデータに追加します。

  • データ プロダクト: 関連する BigQuery アセットをデータ プロダクト（e コマース ビジネスデータなど）にパッケージ化できます。これらのデータ プロダクトには、共有アクセスとガバナンスの制約があります。

  • セマンティック検索: ユーザーは自然言語を使用して BigQuery データを検索できます。これは、データ サイエンティストや AI エージェントが、長いクエリや複雑なクエリを使用して信頼できるデータ プロダクトを見つける場合に特に便利です。
  • 名前の変換: プログラムによる検索を容易にするため、システムでは BigQuery SQL 名（完全修飾名）を Knowledge Catalog エントリ名に変換できます。

エージェント アクセスとグラウンディング

  • エージェント アクセス: AI エージェントは、ローカルまたはリモートの MCP サーバーを介して、Knowledge Catalog ツールを検出して適応的に使用できます。
  • AI エージェントのコンテキスト: Knowledge Catalog は、BigQuery データセットをビジネス セマンティクスにリンクするコンテキスト グラフをキュレートします。これにより、モデルが企業で承認されたデータを使用するようにして、AI のハルシネーションを軽減できます。

ガバナンスとコンプライアンス

  • データリネージ: Knowledge Catalog は、BigQuery テーブルへのデータの流入と流出、変換を自動的に追跡します。この機能は、データ資産全体で PII などの機密情報を監査するために不可欠です。
  • アクセス制御: メタデータ管理は Identity and Access Management（IAM）および VPC Service Controls と統合されており、BigQuery メタデータの検出とアクセスが組織のセキュリティ ポリシーに準拠するようになっています。

次のステップ

Knowledge Catalog の詳細: