アスペクトとアスペクト タイプについて

エンタープライズ データ環境には、複数のストレージ システムにわたって数百のデータセット、テーブル、データモデルが含まれていることがよくあります。各データセットの所有者、個人を特定できる情報(PII)などの機密情報が含まれているかどうか、品質基準を満たしているかどうかを把握するには、通常、データソースを手動で調査するか、散在するドキュメントを追跡する必要があります。

Knowledge Catalog(旧称: Dataplex Universal Catalog)のアスペクトとアスペクト タイプは、構造化されたビジネス コンテキスト、ガバナンス ポリシー、運用属性をデータアセットに直接関連付ける標準化された拡張可能な方法を提供することで、この問題を解決します。

このドキュメントでは、Knowledge Catalog のアスペクト タイプとアスペクトのアーキテクチャ コンセプト、スコープルール、ガバナンス境界について説明します。既存のエントリにアスペクトを適用する、またはカスタム アスペクト タイプを作成するには、アスペクトを管理してメタデータを拡充するをご覧ください。

アスペクト タイプ

アスペクト タイプ(AspectType)は、アスペクトのメタデータ フィールド、データ型、検証ルールを定義する再利用可能なスキーマ テンプレートです。アスペクトを作成またはアタッチする前に、そのスキーマを定義するアスペクト タイプが必要です。

カスタム アスペクト タイプを作成する場合は、Knowledge Catalog リソースの命名ガイドラインに準拠した ID を指定する必要があります。

アスペクト タイプのカテゴリ

アスペクト タイプは、所有権とスコープに基づいて、カスタム アスペクト タイプとシステム アスペクト タイプの 2 つのカテゴリに分類されます。

カスタムのアスペクト タイプ

カスタム アスペクト タイプは、組織によって作成および管理されるスキーマ テンプレートです。これらを使用して、ビジネス オーナーシップ、SLA ティア、データ保持ポリシー、コンプライアンス分類などのドメイン固有のメタデータをキャプチャします。

カスタム アスペクト タイプはエントリと列に適用されますが、エントリリンクには適用されません。つまり、カスタム アスペクト タイプを使用して、データアセットと個々のスキーマ フィールドに組織固有の独自の分類を定義できます。カスタム アスペクト タイプはエントリリンクに適用されないため、エントリ間のカスタム関係メタデータの定義には使用できません。エントリリンクは、特定のシステム アスペクト タイプのみをサポートします。カスタム アスペクト タイプは、特定のリージョン ロケーションで、または global リソースとして定義できます。

  • グローバル アスペクト タイプ: すべての Google Cloud リージョンに複製され、任意のリージョンに存在するエントリに適用できます。グローバル アスペクト タイプを定義すると、重複を管理することなく、分散されたエステート全体に単一の標準化されたスキーマを適用できます。ただし、スキーマ定義はグローバルに複製されるため、組織のコンプライアンス ポリシー要件またはデータ所在地ポリシー要件でメタデータ定義を特定の地理的境界に厳密に制限する必要がある場合は、リージョン アスペクト タイプを選択します。
  • リージョンのアスペクト タイプ: us-central1 や europe-west1 などの特定のリージョンに保存され、同じリージョンに存在するエントリにのみアタッチできます。データ主権の要件を遵守する場合や、メタデータ構造がリージョン ワークロードに固有の場合は、リージョン アスペクト タイプを選択します。複数の分離されたリージョンで同じメタデータ構造が必要な場合は、各ターゲット リージョンで個別の側面タイプ定義を作成して管理する必要があります。

リソース スコープの詳細については、プロジェクトとロケーションの制約をご覧ください。

システムのアスペクト タイプ

システム アスペクト タイプは、 Google Cloud が提供、管理する事前定義されたテンプレートです。システム アスペクト タイプは常にグローバルであり、プロジェクト番号 655216118709 とエイリアス dataplex-types を持つ Google マネージド プロジェクトに保存されます。次に例を示します。

projects/655216118709/locations/global/aspectTypes/schema

システム アスペクト タイプは、次の 2 つの機能グループに分類されます。

  • 再利用可能なシステム アスペクト タイプ: エントリまたは列にアタッチして、スキーマ定義、自動データ プロファイリング、データ品質スコアカードなどの標準化されたメタデータを記録できるファーストパーティ テンプレート。
  • 制限付きシステム アスペクト タイプ: Google Cloud サービスによって自動的に管理され、BigQuery テーブル レイアウトや Cloud Storage バケット構成などの基盤となるインフラストラクチャ属性を表します。制限付きタイプのアスペクトを表示することはできますが、手動で作成、変更、削除することはできません。

各システム アスペクト タイプには独自の IAM 権限があります。詳細については、システム アスペクト タイプ、エントリタイプ、エントリリンク タイプの IAM 権限をご覧ください。

次の表に、Knowledge Catalog が提供するシステム アスペクト タイプを示します。

カテゴリ 説明 Knowledge Catalog が提供するアスペクト タイプ
再利用可能なシステム アスペクト タイプ エントリ、列、エントリリンクに関連付けることができる事前定義テンプレート。
  • contacts
  • data-profile
  • data-quality-rule-template
  • data-quality-scorecard
  • data-rules
  • generic
  • graph-profile
  • guidelines
  • overview
  • schema-join
  • schema
  • storage
  • usage
制限付きシステム アスペクト タイプ Google Cloud サービスによって自動的に管理されるインフラストラクチャ テンプレート。アスペクトは読み取り専用です。 以下を含みます(ただしこれらに限定されません)。
  • analytics-hub
  • aspecttype-aspect
  • bigquery-dataset
  • bigquery-table
  • cloudsql-database
  • cloudsql-instance
  • cloudsql-table
  • entrygroup-aspect
  • entrytype-aspect
  • sensitive-data-protection-profile
  • storage-bucket
  • storage-folder

カスタム アスペクト タイプと Gemini in BigQuery

Gemini in BigQuery は、標準のスキーマ定義、テーブル制約、ネイティブ テーブルまたは列の説明フィールドに基づいて SQL の生成とデータ推論を行います。Knowledge Catalog のユーザー定義のカスタム アスペクト タイプは、ガバナンス、検索、API 取得のためにカタログ プレーンに保存されますが、Gemini のコンテキスト プロンプト取得パイプラインに動的に挿入されることはありません。

ワークフローへの影響として、BigQuery の生成 AI 機能は、SQL クエリの生成やデータに関する質問への回答時に、カスタム アスペクト フィールドに保存されているメタデータを自動的に読み取ることができません。

推奨されるベスト プラクティス

BigQuery の生成 AI モデルが生成されたクエリにビジネス コンテキストを組み込むようにするには、カスタム カタログ アスペクトとともに、BigQuery のネイティブ テーブルの説明と列の説明を入力する必要があります。この二重のアプローチにより、運用 AI アシスタントがテーブル コンテキストをインタラクティブに取得し、カタログ ガバナンス パイプラインがエンタープライズ メタデータ ポリシーを適用できるようになります。

アスペクト

アスペクト(Aspect)は、特定のエントリ、列、または関係にアタッチされたアスペクト タイプの具体的なインスタンスであり、実際のメタデータ値が含まれています。アスペクトは親リソース内に直接カプセル化されるため、エントリの更新と同時にアトミックな読み取り / 書き込みオペレーションを実行できます。つまり、1 回の API 呼び出しでエントリとそれに関連するすべてのメタデータを取得または更新できるため、複数呼び出しによる整合性の問題を回避できます。

アスペクトの配置とターゲット レベル

Knowledge Catalog 内の 3 つの異なるターゲット レベルでアスペクトをアタッチできます。

  • エントリレベルのアスペクト: データアセット全体を記述します。アセットレベルのオーナー権限(contacts)、エグゼクティブ サマリー(overview)、データセットの使用状況の指標(usage)、集計品質スコア(data-quality-scorecard)には、エントリレベルのアスペクトを使用します。
  • 列レベルのアスペクト(スキーマパス): 構造化テーブル内の個々の列またはネストされたフィールドを記述します。列を参照する場合は、スキーマパス表記 @Schema.<column_name>(@Schema.email_address や @Schema.billing_address.postal_code など)を使用してアスペクトをアタッチします。PII 分類、列レベルのデータ品質ルール、セマンティック タグには、列レベルのアスペクトを使用します。
  • エントリリンクレベルの側面: リンクされた 2 つのエントリ間の関係を記述します。方向性のあるエントリリンクまたは方向性のないエントリリンク(schema-join リンクを除く)にアスペクトをアタッチして、関係メタデータを記録できます。結合信頼スコア、変換ルール、マッピング リネージメモには、エントリリンクレベルの要素を使用します。

次の表に、サポートされているアスペクトの配置をまとめます。

対象レベル ターゲット リソース 鍵識別子の構文 一般的なアスペクト タイプ
エントリー レベル データアセット(テーブル、モデル、ファイルセット) <aspect_type_id> contacts、overview、data-profile、カスタム SLA
列レベル エントリ スキーマ内のフィールドまたは列 <aspect_type_id>@Schema.<column_name> PII 分類、列マスキング ルール、フィールド検証スコア
エントリリンク レベル エントリ間のセマンティックな関係 <aspect_type_id> 関係の信頼度、結合条件、マッピング リネージ

アスペクトのカテゴリ

管理する EntryType に応じて、エントリにアタッチされたアスペクトは必須またはオプションに分類されます。

  • 必須アスペクト: エントリの EntryType で必須として定義されています。必須アスペクトは、エントリの作成時に入力する必要があります。エントリが存在する限り、削除することはできません。システム エントリ(BigQuery テーブルなど)の場合、Schema などの必須アスペクトは Google Cloudによって自動的に入力され、同期されます。
  • オプションのアスペクト: データ スチュワードシップ、自動パイプライン、AI エージェントによって追加される補足メタデータ。ベースライン テンプレートの要件を超えてエントリを拡充します。オプションのアスペクトは、エントリのライフサイクルに影響を与えることなく、いつでも追加、更新、削除できます。

特殊なシステム アスペクト タイプ

Knowledge Catalog には、データ プロファイリング、データ品質、関係抽出の結果を記録する、再利用可能な特殊なシステム アスペクト タイプが用意されています。

  • データ品質スコアカード(data-quality-scorecard): Dataplex データ品質スキャンによって生成された全体的なデータ品質スコア、評価ステータス、列ごとのディメンション スコアを記録します。
  • データルール(data-rules)とルール テンプレート(data-quality-rule-template): 複数のデータセットに適用できる再利用可能なデータ検証ルールとテンプレートを保存して管理します。
  • データ プロファイル(data-profile): null の割合、個別の値、分布頻度など、テーブルデータに関する統計指標を保存します。
  • グラフ プロファイル(graph-profile): AI が抽出したエンティティ、関係エッジ、非構造化ドキュメントから抽出されたナレッジグラフをキャプチャします。

プロジェクトとロケーションのスコープ設定の制約

データ ガバナンスの境界を維持し、誤ってリージョン間でメタデータの依存関係が発生しないように、Knowledge Catalog では次のスコープ制約が適用されます。

リソース 場所のルール プロジェクト ルール
エントリ エントリのロケーションは、EntryType のロケーションと一致するか、EntryType が global である必要があります。 グローバル エントリタイプまたは同じプロジェクトのエントリタイプを参照できます。
エントリのアスペクト アスペクトの AspectType は、エントリと同じロケーションに存在する必要があります。または、AspectType が global である必要があります。 グローバル システム アスペクト タイプまたは同じプロジェクトのカスタム アスペクト タイプを参照できます。
エントリリンク エントリリンクのロケーションは EntryLinkType と一致している必要があります。または、EntryLinkType が global である必要があります。 同じ組織内の異なるプロジェクトに存在するエントリをリンクできます。
エントリタイプ エントリタイプと同じロケーションに保存されているアスペクト タイプ、または global であるアスペクト タイプで構成されます。 エントリタイプがカスタム アスペクト タイプを参照する場合、アスペクト タイプは同じプロジェクトとロケーションに存在する必要があります。

次のステップ

タスク

エントリ、列、エントリリンクにアスペクトをアタッチし、コンソール、gcloud CLI、または API を使用してカスタム アスペクト タイプを管理します。

コンセプト

エントリ グループ、エントリ、アスペクト タイプ、アクティブ コンテキスト グラフなど、統合メタモデルについて説明します。

クイックスタート

アセットを検出し、カスタム アスペクト メタデータを BigQuery テーブルにアタッチする詳しい手順に従います。

検出

アスペクトベースの検索述語を使用して、Google Cloud とカスタムソース全体でリソースを検索します。