Dataplex Universal Catalog を使用してデータメッシュ アーキテクチャを構築できます。このクイックスタートでは、レイク、ゾーン、アセットなどの Dataplex Universal Catalog 機能を使用してデータメッシュを構築する方法について説明します。
データメッシュとは、ドメイン データ オーナー間でデータ所有権を分散する組織的および技術的なアプローチです。複数のオーナーが標準的な方法でデータをプロダクトとして提供し、組織の異なる部分間の通信を促進して、データセットをさまざまなロケーションに分散します。詳しくは、データメッシュ アーキテクチャをご覧ください。
ドメインを作成する
Google Cloud コンソールで、Dataplex Universal Catalog の [レイク] ページに移動します。
[作成] をクリックして、データメッシュとして機能する新しいレイクを作成します。
[表示名] フィールドに「
My data mesh」と入力します。[リージョン] で
us-central1を選択します。前に作成して構成した Dataproc Metastore サービスを、関連する metastore として選択します。
[作成] をクリックします。
レイクにゾーンを作成する
Dataplex Universal Catalog レイクを作成してドメインを作成したら、ゾーンを使用して、ドメイン内のマネージド データ コントラクトと個々のチームをホストできます。ゾーンには次の 2 種類があります。
未加工ゾーン: 通常、外部ソースからの任意の形式でデータを Cloud Storage に保存するために使用されます。使用可能になる前に、さらに処理が必要なデータ用として役立ちます。
キュレートされたゾーン: 特定のファイル形式に準拠し、Hive 互換のディレクトリ レイアウトで編成する必要がある Cloud Storage の構造化データ用に使用されます。利用と分析が可能なデータに最適です。
各ドメイン（たとえば、sales、customers、products）には、少なくとも 1 つの未加工ゾーンと 1 つのキュレートされたゾーンが必要です。
追加のゾーンは、チーム間のデータ契約を管理するために使用されます。また、特定のドメイン内のチームの詳細な内訳を表示することもできます。たとえば、商品ドメイン内の在庫管理などが挙げられます。データオーナーは、ドメイン内のデータを管理し、そのデータにアクセスできます。
Google Cloud コンソールで、Dataplex Universal Catalog の [管理] ビューに移動します。
ゾーンを追加するレイク（
My data mesh）の名前をクリックします。[ゾーン] タブで、 [ゾーンを追加する] をクリックします。
[表示名] フィールドに「
My sub domain」と入力します。Dataplex Universal Catalog は、ゾーン用の ID を自動的に生成します。[タイプ] で [未加工ゾーン] を選択します。
[作成] をクリックします。
ゾーンにアセットをアタッチする
データアセットをゾーンにアタッチします。データアセットとはデータを格納するストレージ リソースのことで、Cloud Storage バケットでも BigQuery データセットでも構いません。これは、データ メッシュ アーキテクチャの作成の最終段階です。
Dataplex Universal Catalog の [管理] ビューで、作成したレイク（
My data mesh）をクリックします。[ゾーン] タブで、アセットを追加するゾーン（
My sub domain）をクリックします。[アセット] タブで [ アセットを追加] をクリックします。
[アセットを追加] をクリックします。
[タイプ] で [Cloud Storage バケット] を選択します。
[表示名] フィールドに「
Data mesh asset」と入力します。Dataplex Universal Catalog は、アセット ID を自動的に生成します。[バケット] フィールドで [参照] をクリックします。
- リストからバケットを選択します。
- [選択] をクリックします。
[完了]、[続行] の順にクリックします。
[続行] をクリックして、デフォルトの [詳細設定] を承認します。
[送信] をクリックします。