（非推奨）データメッシュのコンセプト

警告: Google Cloud Cortex Framework のデータメッシュ機能は非推奨となり、無効になりました。この変更は のデータ管理サービスの進化に伴うものです。 Google Cloudデータメッシュ ソリューションは、メタデータ管理に Data Catalog を使用して構築されましたが、現在では より高度な Knowledge Catalogに置き換えられています。 Knowledge Catalog は、統合 API、強化されたメタデータ機能、包括的なデータ ガバナンス エクスペリエンスを実現する新機能を提供します。

データメッシュ機能を実装している既存の Cortex Framework ユーザーは、サポートを継続し、最新の機能にアクセスできるように、Knowledge Catalog に移行することをおすすめします。詳細な 移行ガイドについては、 Knowledge Catalog への移行をご覧ください。

このページでは、 Google Cloud Cortex Framework を使用してデータメッシュをデプロイする詳細なガイドに入る前に、関連するデータメッシュ のコンセプトが Google Cloud プロダクト内で一般的に実装される方法と、 Cortex Framework のコンテキストで具体的に実装される方法の基礎について説明します。データメッシュのコンセプトを理解したら、Cortex Framework Data Foundation のデータメッシュ ユーザーガイドをご覧ください。

**注:** 一般的なデータメッシュのコンセプトの詳細については、 Google Cloud での最新の分散型データメッシュの構築をご覧ください。

Knowledge Catalog

次の表に、Knowledge Catalog 内のデータメッシュのコンセプトを定義します。

コンセプト	説明	Cortex Framework のコンテキスト
レイク	データメッシュ内でデータを整理するための最上位の単位。 Knowledge Catalog - レイクを管理する。	データソース（SAP ECC、Salesforce、Google Ads など）。
ゾーン	レイク内でデータを整理するための 2 番目のレベルの単位。	データソース内の特定の処理レイヤ（生データと CDC など）。
Knowledge Catalog アセット	ゾーンに関連付けられた Cloud Storage または BigQuery に保存されているデータへの参照。これはデータアセットへの参照であり、データ自体への参照ではありません。	ゾーンに登録されている BigQuery データセットへの参照。
ラベル	レイクまたはゾーンに 適用できる任意の Key-Value ペア。	Knowledge Catalog で表示できるメタデータや カスタム アプリケーションで使用できるメタデータを使用して、 テーブルや列ではなく、 レイクまたはゾーン全体にラベルを付けます。
Data Catalog	ウェアハウス内のデータアセットの検出、理解、管理に役立つテクニカル ビジネス メタデータ。	Knowledge Catalog の検索やカスタム アプリケーションで使用できる豊富なメタデータ タグを使用して、レイクやゾーンではなく、テーブルまたは列にアノテーションを付けます。
カタログ タグ テンプレート	タグで使用可能なフィールド とその型を定義するテンプレート。Knowledge Catalog - タグ テンプレートを管理する	事業部門でデータアセットにタグを付けるなどの用途で使用するテンプレートのセットを定義します。
カタログ タグ	テーブルまたは列に適用可能なメタデータを含むフィールドとその値のセット。タグ テンプレートのインスタンス。	特定の事業部門など、そのアセットに関連するメタデータ 値を使用して、テーブルまたは列にアノテーションを付けます。
カタログ用語集	BigQuery 列に定義して関連付けることができる用語の辞書。Knowledge Catalog - 用語集を管理する。	BigQuery アセットで使用される用語または頭字語を定義します。これは将来的に計画されているものであり、対象外です。
データ系列	BigQuery アセットの依存関係を表すグラフ。	これらは Cortex データ メッシュでは定義されていませんが、ユーザーが BigQuery アセットのデータソースを見つけるのに役立つ Knowledge Catalog の関連ツールです。
系列イベント	BigQuery アセット間でデータを移動するオペレーション が発生した時点。リンクのリストが含まれています。	サポートされている BigQuery オペレーションと Composer オペレーション用に自動的に作成されます。
系列リンク	系列イベントの一部として、 ソースアセットからターゲット アセットに流れるデータを表すエッジ。	コンソールに表示される系列の可視化グラフ以外のユースケースをサポートするために分析できます。

BigQuery

次の表に、BigQuery 内のデータメッシュのコンセプトを定義します。

コンセプト	説明	Cortex Framework のコンテキスト
ポリシー分類	ポリシータグの階層。BigQuery - ポリシータグを管理する。	アクセス制御に使用できる関連するポリシータグを、 継承された権限を持つ階層に整理します。
ポリシータグ	BigQuery テーブルまたはビュー内の特定の列に適用されるタグ 。階層内の任意のレベルのポリシータグを適用できます。特定の列に適用できるポリシータグは 1 つのみです。	列レベルのアクセス制御に使用されるタグを使用して、列にアノテーションを付けます。ポリシータグのプリンシパルは、 「きめ細かい」または「マスクされていない」読み取りロールを定義します。
データポリシー	マスクされた列データを表示できるユーザーと方法を定義する、ポリシータグに適用されるポリシー。	データポリシーのプリンシパルは、 「マスクされた読み取りロール」を定義します。マスクされた読み取りロールまたはマスクされていない読み取りロールの権限がないユーザーは、列に対してクエリを実行できません。
マスキング ルール	データのマスキング方法（ハッシュ、デフォルト値の表示、最後の 4 文字など）を定義する、データポリシーに適用されるルール。	機密性の高い列に状況に応じて適用されます。
行アクセス ポリシー	特定の列の値に基づいて、テーブル内の行に対してクエリを実行できるグループを定義する SQL ステートメント。	アセット レベルと列レベルの制御が不十分な場合に、行レベルのアクセス制御に使用されます。

Cortex データメッシュのコンセプト

次の表に、Cortex Framework 内の特定のデータメッシュのコンセプトを定義します。

コンセプト	説明	Cortex Framework のコンテキスト
メタデータ リソース	複数の BigQuery アセットで再利用できるメタデータ エンティティ。 例としては、レイク、カタログ タグ テンプレート、ポリシー分類などがあります。これは BigQuery 自体のデータではなく、メタデータです。	再利用可能なリソースを定義して、 Cortex データメッシュの一貫した管理を可能にします。
BigQuery アセット	BigQuery テーブルまたはビュー。	データメッシュで管理される既存の Cortex BigQuery オブジェクト。
BigQuery アセット アノテーション	特定の BigQuery テーブルまたはビューに適用されるメタデータ。これには、説明、アクセス ポリシー、 メタデータ リソースへのマッピングが含まれます。	メタデータを BigQuery アセットに関連付けて、検出とアクセス制御を可能にします。
リソース仕様（仕様）	メタデータ リソース または BigQuery アセット アノテーションを定義する YAML ファイル。	リソース仕様の完全なセットは、デプロイするデータメッシュ構成をコード化します。