プロジェクト間のデプロイを設定する

Dataproc Metastore プロジェクト横断デプロイを設定して、次のリソースを分離できます。

  • Dataproc Metastore サービス。
  • Dataproc Metastore サービスに接続されている Dataproc クラスタ。
  • Dataproc クラスタで使用されるネットワーク。

始める前に

必要なロール

Dataproc Metastore と Dataproc クラスタの作成に必要な権限を取得するには、管理者に次の IAM ロールの付与を依頼します。

  • Dataproc Metastore リソースに対する完全アクセス権を付与する場合: メタストア プロジェクトに対する Dataproc Metastore 編集者（roles/metastore.editor）。

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Dataproc Metastore の特定のロールと権限については、IAM によるアクセス管理をご覧ください。

プロジェクト横断デプロイについて

Dataproc Metastore のプロジェクト横断デプロイは、次のように構成できます。

  • 2 つのプロジェクト:

    • プロジェクト 1 には Dataproc クラスタ（クラスタ プロジェクト）が含まれる。
    • プロジェクト 2 には Dataproc Metastore サービスとネットワーク（メタストア プロジェクトとネットワーク プロジェクト）が含まれる。

  • 2 つのプロジェクト:

    • プロジェクト 1 には Dataproc クラスタが含まれる。
    • プロジェクト 2 には Dataproc Metastore サービスとネットワーク（メタストア プロジェクトとネットワーク プロジェクト）が含まれる。

  • 2 つのプロジェクト:

    • プロジェクト 1 には Dataproc クラスタと Dataproc Metastore サービス（クラスタ プロジェクトとメタストア プロジェクト）が含まれる。
    • プロジェクト 2 にはネットワーク（ネットワーク プロジェクト）が含まれる。

  • 3 つのプロジェクト:

    • プロジェクト 1 には Dataproc クラスタ（クラスタ プロジェクト）が含まれる。
    • プロジェクト 2 には Dataproc Metastore サービス（メタストア プロジェクト）が含まれる。
    • プロジェクト 3 にはネットワーク（ネットワーク プロジェクト）が含まれる。

次の図は、使用できるプロジェクト構成の概要を示しています。

Dataproc Metastore と Dataproc クラスタのデプロイ時における、あるプロジェクト構成の概要

プロジェクト横断的な権限

プロジェクト横断的な権限を設定する前に、その構成に必要かどうかを判断します。

プロジェクト間の追加の権限を設定する必要がある

  • Dataproc クラスタと Dataproc Metastore サービスが別々のプロジェクトにある場合。

  • Dataproc Metastore サービスとネットワークが別々のプロジェクトにある場合。

プロジェクト横断的な権限を設定する

クラスタ プロジェクトとメタストア プロジェクトが別々のプロジェクトにある場合は、次のロールを付与します。

  • roles/metastore.user をクラスタ プロジェクトの Dataproc サービス エージェント アカウント（メタストア プロジェクトの IAM ポリシーに含まれる）に付与します。この構成は、Thrift エンドポイント プロトコルと gRPC エンドポイント プロトコルの両方に適用されます。

ネットワーク プロジェクトとメタストア プロジェクトが別のプロジェクトにある場合は、次のロールを付与します。

Console

次の手順でプロジェクト番号を確認します。

  1. [IAM と管理] の [設定] タブに移動します。

  2. ページの上部にあるプロジェクト リストで、Dataproc クラスタの作成に使用するプロジェクトを選択します。

  3. プロジェクト番号を書き留めます。

権限を構成します。

  1. [IAM] タブに移動します。

  2. ページの上部にあるプロジェクト リストで、メタストア プロジェクトを選択します。

  3. [追加] をクリックします。

  4. [新しいメンバー] 項目にサービス アカウントを入力します。

  5. [ロール] メニューから、[Dataproc Metastore] > [Dataproc Metastore 閲覧者] の順に選択します。

  6. [追加] をクリックします。

上の手順を完了した後に、Dataproc Metastore サービスに接続された Dataproc クラスタを作成できます。これを行うには、Dataproc クラスタのネットワークまたはサブネットワークの構成が、Dataproc Metastore のネットワークまたはサブネットワークと一致している必要があります。

例:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

次のステップ