Knowledge Catalog（旧称: Dataplex Universal Catalog）を使用すると、構造化されたメタデータと明確なビジネス定義をデータアセットに直接アタッチできます。このコンテキストを提供することで、データが見つけやすくなり、ユーザーの信頼を構築し、AI エージェントをグラウンディングできます。
データ スチュワードとビジネス アナリスト向けのこのチュートリアルでは、これらのワークフローを自動化する前に、UI ベースの手順を完了して標準のビジネス用語とメタデータ コンテキストを構築します。また、Knowledge Catalog の主要なコンセプトがどのように連携するかも確認します。
目標
このチュートリアルでは、以下の方法について学習します。
- ビジネス用語集を使用して、ビジネス用語の信頼できる唯一の情報源を作成します。
- アスペクト タイプを使用してメタデータを構造化して整理する。
- アスペクトを使用してメタデータをデータアセットにアタッチする。
- Knowledge Catalog 検索を使用すると、この新しい構造化メタデータを使用して、必要な情報を正確に見つけることができます。
始める前に
始める前に、次のことを行います。
- このチュートリアル用の Google Cloud プロジェクトを選択します。
- プロジェクトに対して課金が有効になっていることを確認します。
環境の設定
このチュートリアルでは、クラウドで実行されるコマンドライン環境である Cloud Shell を使用します。
Google Cloud コンソールの右上のツールバーにある [Cloud Shell をアクティブにする] をクリックします。環境がプロビジョニングされ、接続されるまでしばらく待ちます。
Cloud Shell で、
PROJECT_ID変数とLOCATION変数を設定して、今後のすべてのコマンドが特定の Google Cloud プロジェクトをターゲットにするようにします。export PROJECT_ID=$(gcloud config get-value project) gcloud config set project $PROJECT_ID export LOCATION="us-central1"必要な Google Cloud サービスを有効にします。
gcloud services enable \ dataplex.googleapis.com \ bigquery.googleapis.com
BigQuery データセットを作成してサンプルデータを準備する
次のコードを使用して、BigQuery データセットを作成し、サンプルの CSV トランザクションをテーブルに読み込みます。テーブルを作成すると、Knowledge Catalog がテーブルを検出し、カタログにエントリを作成します。
エントリは、Knowledge Catalog でのデータアセットの表現と考えてください。これは、メタデータを添付できるカタログ内のレコードのようなものです。BigQuery テーブルに直接コンテキストを追加（または拡充）するのではなく、Knowledge Catalog のエントリに追加します。
# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
--description "Sample retail data for foundational data context tutorial" \
$PROJECT_ID:retail_data
# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,test@example.com,150.50,2025-08-28
1002,user@example.com,75.00,2025-08-28" > /tmp/transactions.csv
# Load the data from the temporary CSV file into a BigQuery table
bq load \
--source_format=CSV \
--autodetect \
retail_data.transactions \
/tmp/transactions.csv
# (Optional) Clean up the temporary file
rm /tmp/transactions.csv
SELECT クエリを実行して、設定を確認します。
bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"
出力例:
+----------------+------------------+-------+------------------+
| transaction_id | user_email | gmv | transaction_date |
+----------------+------------------+-------+------------------+
| 1001 | test@example.com | 150.5 | 2025-08-28 |
| 1002 | user@example.com | 75.0 | 2025-08-28 |
+----------------+------------------+-------+------------------+
ビジネス用語集で共通の用語を確立する
適切なデータ コンテキストは、「この列名は何を意味するのか」などの質問に答える明確な定義に依存します。たとえば、gmv という名前の列が総取引額を意味するのか、税金と返品が含まれているのかをデベロッパーが推測する必要はありません。ビジネス用語集は、組織全体でこれらの定義の信頼できる唯一の情報源を作成します。チームメイトや AI エージェントがデータを分析すると、この正確なビジネス コンテキストが継承されます。共有定義により、財務、営業、オペレーションなどのチーム間で指標が調整され、AI エージェントがハルシネーションを回避できます。
用語集を作成して最初の用語を定義する手順は次のとおりです。
Google Cloud コンソールで、Knowledge Catalog の [用語集] ページに移動します。
[ビジネス用語集を作成] をクリックします。
次の詳細情報を入力します。
- 表示名:
Retail Business Glossary - ロケーション:
us-central1 (Iowa)
- 表示名:
[作成] をクリックします。
[カテゴリを作成] をクリックします。
カテゴリに「
Sales Metrics」という名前を付け、[作成] をクリックします。[Sales Metrics] カテゴリを選択し、[Add term] をクリックします。
用語に「
Gross Merchandise Value」という名前を付けて、[作成] をクリックします。[総取引額] という用語をクリックして、詳細ページを開きます。
[概要] の横にある [追加] をクリックします。次の詳細情報を入力します。
The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.[保存] をクリックします。
これで、組織全体のデータエントリにリンクできる用語集の用語が作成されました。
アスペクト タイプを使用してテクニカル メタデータを定義する
データを扱う際には、「この破損したデータセットのオーナーは誰か？」や「このテーブルは使用が承認されているか？」などの質問に答える必要があります。非構造化メタデータタグは、これらの質問に答えようとしますが、すぐに古くなったり、一貫性がなくなったりします。たとえば、あるテーブルに owner:bob というタグを付け、別のテーブルに steward:alice@example.com というタグを付けることができます。メタデータを大規模に整理するには、一貫したスキーマが必要です。
そこで、アスペクト タイプの出番です。アスペクト タイプは、明確なルールと必須フィールドを設定できるメタデータ ブループリントです。データ スチュワードの有効なメールアドレスなどの標準フィールドを必須にすると、ダウンストリーム スクリプトでメタデータを自動的に検証して保護できます。
アスペクト タイプを作成する手順は次のとおりです。
Google Cloud コンソールで、[メタデータのタイプ] ページの Knowledge Catalog の [アスペクト タイプ] タブに移動します。
[カスタム] タブで、[作成] をクリックします。
次の詳細情報を入力します。
- 表示名:
Data Asset Context - ロケーション:
us-central1 (Iowa)
- 表示名:
[テンプレート] セクションで、[フィールドを追加] をクリックして、次の 3 つのフィールドを作成します。
フィールド 1:
- 表示名:
Data Steward - タイプ:
Text - 必須: チェックボックスをオンにします。
- テキストタイプ:
Plain text
- 表示名:
フィールド 2（[フィールドを追加] をクリック）:
- 表示名:
Data Sensitivity - タイプ:
Enum - Is Required: オプションのままにします。
- 値:
Public、Internal、Confidentialを追加します。
- 表示名:
フィールド 3（[フィールドを追加] をクリック）:
- 表示名:
Last Review Date - Is Required: オプションのままにします。
- タイプ:
Date and time
- 表示名:
[保存] をクリックします。
これで、データ スチュワード、機密性レベル、レビュー日など、データ ガバナンス関連のメタデータ フィールドのアスペクト タイプが作成されました。次のセクションでは、これらのフィールドに特定の値を持つアスペクトをアタッチして、このスキーマをテーブル エントリに適用します。
ビジネス コンテキストと技術コンテキストでエントリを拡充する
列名は省略されているか、あいまいなことがよくあります。列をビジネス用語集の用語にリンクすると、明確で一貫性のある定義が提供されます。このステップでは、Gross Merchandise Value 用語を gmv という名前の列にリンクし、アスペクト タイプを使用してテーブル エントリにアスペクトをアタッチすることで、retail_data.transactions テーブルのエントリを拡充します。
列をビジネス用語にリンクする
retail_data.transactions の gmv 列の内容を明確にするため、Gross Merchandise Value の用語にリンクします。
Google Cloud コンソールで、Knowledge Catalog の [検索] ページに移動します。
[フィルタ] をクリックして [フィルタ] パネルを開きます。
[スコープ] で [現在のプロジェクト] を選択します。
retail_data.transactionsを検索し、返されたトランザクション テーブルをクリックします。[スキーマ] タブをクリックします。
gmv列の横にあるチェックボックスをオンにして、[ビジネス用語を追加] をクリックします。[
Gross Merchandise Value] を選択します。
テーブル エントリにアスペクトを適用する
ビジネス用語を列にリンクするだけでなく、テーブル エントリにアスペクトをアタッチして、データの所有権や機密性などのテーブルレベルのメタデータをキャプチャすることもできます。
アスペクトは、メタデータ フィールドに特定の値を持つアスペクト タイプのインスタンスです。アスペクトをエントリにアタッチすると、Knowledge Catalog は、指定された情報をアスペクト タイプで定義されたスキーマと照合して、整合性を確認します。
retail_data.transactions テーブルのオーナー権限と機密性を定義するには、Data Asset Context アスペクトをアタッチします。
retail_data.transactionsエントリページの [詳細] タブで、[オプションのアスペクト] の横にある [追加] をクリックします。- リストから
Data Asset Contextを選択します。 次のフィールドに値を入力します。
- データ管理者:
finance-team@example.com - データの機密性: [内部] を選択します。
- Last Review Date（最終審査日）: 今日の日付を選択します。
- データ管理者:
[保存] をクリックします。
サンプルの小売取引データを拡充することで、Knowledge Catalog にデータ コンテキストの強固な基盤を構築しました。
拡充されたメタデータを使用してエントリを検索する
Knowledge Catalog 検索を使用して、設定したビジネス コンテキストに基づいてエントリを検索できるようになりました。たとえば、特定の機密レベルを持つすべてのアセットを検索したり、用語集の用語を検索して基になるテーブルを検出したりできます。
Google Cloud コンソールで、Knowledge Catalog の [検索] ページに移動します。
[フィルタ] をクリックして [フィルタ] パネルを開きます。
[スコープ] で [現在のプロジェクト] を選択します。
検索バーに「
Find tables where the Data Asset Context aspect has Internal sensitivity.」と入力します。結果のリストに
retail_data.transactionsテーブルが表示されます。検索バーをクリアして「
Find tables with the Gross Merchandise Value term attached.」と入力します。gmv列がこのビジネス用語に直接リンクされているため、結果にretail_data.transactionsテーブルが再度表示されます。
AI エージェントを Knowledge Catalog に接続すると、この拡充されたメタデータが自動的に継承されます。たとえば、エージェントに内部販売指標の取得を依頼すると、エージェントはデータ機密性アスペクト（内部に設定）と、リンクされた総取引額の用語集の用語を読み取ります。この共有コンテキストにより、エージェントはデータソースを検証し、アクセス ポリシーを遵守して、ハルシネーションを回避できます。
クリーンアップ
課金されないようにするには、このチュートリアルで作成したリソースを削除します。
サンプル データセットを削除する
サンプルの BigQuery データセットとそのすべてのテーブルを削除するには、次のコマンドを使用します。この操作は取り消せません。
# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)
# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data
Knowledge Catalog アーティファクトを削除する
Google Cloud コンソールで、[メタデータのタイプ] ページの Knowledge Catalog の [アスペクト タイプ] タブに移動します。
Data Asset Contextアスペクト タイプを選択し、[削除] をクリックします。Google Cloud コンソールで、Knowledge Catalog の [用語集] ページに移動します。
Gross Merchandise Valueの期間を選択し、[削除] をクリックします。Sales Metricsカテゴリを選択し、[削除] をクリックします。Retail Business Glossaryを選択し、[削除] をクリックします。
次のステップ
カタログのキュレーションと、Knowledge Catalog を使用したエージェントの構築の詳細については、次のリソースをご覧ください。
- アスペクトを管理してメタデータを拡充する: カスタム スキーマを定義して構造化メタデータをアタッチする方法については、アスペクトを管理してメタデータを拡充するをご覧ください。
- ビジネス用語集を管理する: ビジネス用語集を管理するで、組織の標準化された用語集を確立する方法を学習します。
- Terraform で管理する: Terraform を使用してカスタム アスペクト タイプと用語集をプロビジョニングする方法を学びます。
- 用語集の用語を大規模に操作する: 用語集とエントリリンクのインポートとエクスポートについてで、JSON ファイルを使用してメタデータの拡充を一括で実行します。
- エージェントを使用してメタデータを拡充する: メタデータを拡充するエージェントを構築するで、コンテキストを抽出してデータアセットを拡充する AI エージェントを構築します。
- その他のユースケースを確認する: ユースケースで、カスタマイズ可能なその他のワークフローとシナリオを確認します。