データ プロダクトを作成する

このドキュメントは、Dataplex Universal Catalog でデータ プロダクトを作成して構成するデータ プロダクト オーナーを対象としています。

データ プロダクトのアーキテクチャと主なコンセプトの詳細については、データ プロダクトについてをご覧ください。

始める前に

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. データアセット(BigQuery データセット、テーブル、ビューなど)が作成され、データが入力されていることを確認します。

    データアセットの作成の詳細については、次のドキュメントをご覧ください。

  3. データ プロダクトで構成する Google グループを特定または作成します。各データ プロダクトには、一意の Google グループが必要です。

必要なロール

このセクションでは、2 つの主要なユーザー グループ(データ プロダクト オーナー(データ プロダクトを作成して管理するユーザー)とデータ プロダクト コンシューマー(データ プロダクトを検索して使用するユーザー))に必要な最小限の IAM ロールについて説明します。

データ プロダクト オーナーのロール

データ プロダクトの作成と管理に必要な権限を取得するため、プロジェクトの次の IAM ロールを付与するように管理者へ依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、データ プロダクトの作成と管理に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

データ プロダクトの作成と管理には、次の権限が必要です。

  • overview システム アスペクト タイプを編集します。 dataplex.entryGroups.useOverviewAspect
  • refresh cadence システム アスペクト タイプを編集します。 dataplex.entryGroups.useRefreshCadenceAspect

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

データ プロダクト コンシューマーのロール

データ プロダクト コンシューマーがデータ プロダクトを検索、表示、アクセスをリクエストできるようにするには、データ プロダクト オーナーとして、データ プロダクトが検出可能であることを確認する必要があります。これを行うには、データ プロダクト コンシューマーにデータ プロダクトに対する次の IAM ロールを付与します。

  • Dataplex Universal Catalog 検索でデータ プロダクトを検索してアクセスする: Dataplex データ プロダクト コンシューマー(dataplex.dataProductsConsumer
  • データ プロダクトの定義とメタデータを表示する読み取り専用アクセス権: Dataplex データ プロダクト閲覧者(dataplex.dataProductsViewer
  • データ プロダクトへのアクセスをリクエストする: Dataplex データ プロダクト コンシューマー(dataplex.dataProductsConsumer

データ プロダクトを作成して構成する

データ プロダクトの作成には、次の大まかなタスクが含まれます。

  1. データ プロダクトを作成する

    この必須の初期ステップでは、一意のデータ プロダクト名、説明、データ プロダクトが作成されるリージョン、所有者の詳細などのコアの詳細を定義する必要があります。

  2. 省略可: アセットを追加する

    このフェーズでは、データ プロダクトに含めるアセットを選択します。重要な制約として、アセットはデータ プロダクト自体と同じリージョンに存在する必要があります。データ プロダクトに追加できるアセットは 10 個までです。

    サポートされているアセットの一覧については、サポートされているアセットをご覧ください。

  3. 省略可: アクセス グループとアセットの権限を構成する

    このオプションのフェーズでは、アクセス グループを作成してアクセス制御を簡素化します。これらのアクセス グループは、基盤となる Google グループのユーザー フレンドリーなエイリアス(AnalystReader など)として機能します。次に、特定の IAM ロールを選択して、特定のアセットのアクセス グループにマッピングすることで、権限を割り当てます。

  4. 省略可: 契約、側面、ドキュメントなどの詳細を追加する

    このオプションのフェーズでは、ガバナンスとメタデータが強化されます。契約(ファーストパーティのアスペクト タイプ)を追加して、合意したデータ更新のケイデンスを正式に伝達できます。更新頻度、更新時間、しきい値などのパラメータを指定します。アスペクトを含めて、データ プロダクトの追加のメタデータを提供することもできます。また、ユーザーガイドやサンプルクエリなどのリッチテキスト ドキュメントを追加します。

データ プロダクトを作成して構成するには、次のセクションの手順を完了します。

データ プロダクトを作成する

  1. Google Cloud コンソールで、Dataplex Universal Catalog の [データ プロダクト] ページに移動します。

    [データ プロダクト] に移動

  2. [作成] をクリックします。

  3. [データ プロダクトを作成] ペインで、次の詳細を入力します。

    • データ プロダクト名: データ プロダクトの一意の名前を入力します。
    • データ プロダクト ID: 自動生成される一意の識別子です。この欄は編集可能です。
    • プロジェクト ID: データ プロダクトが作成されるプロジェクトの一意の識別子です。プロジェクトを参照して選択します。
    • リージョン: データ プロダクトが作成されるリージョンまたはマルチリージョンを選択します。
    • アイコン: データ プロダクトを視覚的に識別するためのアイコンを参照して選択します。これは省略可能です。
    • 説明: データ プロダクトの簡単な説明を入力します。
    • 連絡先: データ プロダクト オーナーのメール ID を入力します。
    • ラベル: Key-Value ラベルを追加して、リソースを整理します。これは省略可能です。
  4. [データ プロダクトを作成] をクリックします。

省略可: アセットを追加する

  1. [アセットを追加] ペインで、[+追加] をクリックします。

  2. データ プロダクトに追加するアセットを検索して選択します。選択するアセットは、データ プロダクトと同じリージョンに存在する必要があります。

    必要な権限が付与されている場合は、アセットをクリックしてアセットのメタデータを表示できます。

  3. 検索結果を絞り込むには、[フィルタ] を使用します。

  4. アセットを選択したら、[追加] をクリックします。

  5. [続行] をクリックします。

省略可: アクセス グループとアセットの権限を構成する

[アクセス グループとアセットの権限を構成する] ペインで、アクセス グループを作成し、アセットに権限を割り当てることができます。

アクセス グループの構成

アクセス グループを構成する手順は次のとおりです。

  1. [アクセス グループを追加] をクリックします。

  2. [アクセス グループ名] フィールドに、アクセス グループの名前を入力します。例: Analyst

  3. [アクセス グループの説明] フィールドに、アクセス グループの説明を入力します。

  4. [アクセス グループ ID] フィールドに、このアクセス グループに割り当てる Google グループのメールアドレスを入力します。このアクセス グループへのアクセスをリクエストするデータ プロダクト コンシューマーは、マッピングされた Google グループのメンバーとして追加できます。

    Google グループをお持ちでない場合は、グループを作成できます。詳細については、 Google Cloud コンソールで Google グループを作成、管理するをご覧ください。

  5. [追加] をクリックします。

アセットの権限を構成する

アクセス グループを構成したら、データ プロダクト内のアセットの権限を構成できます。

  1. [アセットの権限] セクションで、権限を構成するアセットを選択します。

  2. [権限を構成] をクリックします。

  3. [アクセス グループを選択] フィールドで、アクセス グループを選択します。

  4. [IAM ロールを割り当てる] フィールドで、アクセス グループに割り当てる IAM ロールを選択します。

    たとえば、アセットが Sales という名前の BigQuery テーブルで、Analyst アクセス グループを選択し、このアクセス グループに BigQuery Metadata Viewer ロールを割り当てた場合、Analyst アクセス グループに属するデータ プロダクトのコンシューマーは、Sales テーブルに対する BigQuery Metadata Viewer 権限を持ちます。

    アセットには複数のロールを追加できます。

  5. [構成] をクリックします。アセットに割り当てられている権限が表示されます。

  6. 他のアセットの権限を構成するには、上記の手順を繰り返します。

  7. [続行] をクリックします。

省略可: 詳細情報を追加する

[追加の詳細を追加] ペインで、データ プロダクトの契約、アスペクト、追加ドキュメントを追加できます。

契約を追加する

契約を追加する手順は次のとおりです。

  1. [コントラクトを追加] をクリックします。

  2. [契約を選択] フィールドで、[Refresh cadence] を選択します。

  3. [頻度] フィールドで、データが更新または配信される頻度について合意したスケジュールを選択し、データ プロデューサーからデータ コンシューマーへの予測可能なフローを確保します。例: Weekly

  4. [更新時間] フィールドに、データがソースで更新されてから利用可能になるまでの最大許容時間を入力します。例: 23:00 PST

  5. [しきい値(分単位)] フィールドに、データ配信の許容可能な遅延の測定可能な上限を分単位で入力します。たとえば、30 と入力すると、しきい値が 30 分に設定されます。

  6. 省略可: [Cron のスケジュール] フィールドに、データ生成と配信のスケジュールを定義する cron 式を MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK 形式で入力します。

    指定できる値は次のとおりです。

    • MINUTE: 0-59
    • HOUR: 0-23
    • DAY_OF_MONTH: 1-31
    • MONTH: 1-31 または JAN-DEC
    • DAY_OF_WEEK: 0-6 または SUN-SAT

    たとえば、0 8 * * 1-5 は平日の午前 8 時(月曜日から金曜日)に実行されます。

  7. [保存] をクリックします。

追加のメタデータを追加する

データ プロダクトの追加のメタデータをアスペクトとして追加する手順は次のとおりです。

  1. [+ アスペクトを追加] をクリックします。

  2. [アスペクト タイプを選択] フィールドで、リストからアスペクト タイプを検索して選択します。例: Geo context

  3. [] フィールドで、アセットが属する国を選択します。

  4. [リージョン] フィールドで、アセットが属するビジネス リージョンを選択します。

  5. [保存] をクリックします。

    ユーザーガイドやサンプルクエリなどのドキュメントを追加するには、[ドキュメント] の横にある [編集] をクリックします。リッチテキスト エディタが開きます。コンテンツを追加して [保存] をクリックします。

  6. [保存] をクリックします。

    新しく作成したデータ プロダクトが、Dataplex Universal Catalog の [データ プロダクト] ページに表示されます。

次のステップ