ペルソナとサーバーレス IAM ロール

このガイドでは、Spark デベロッパー、Spark 管理者、Spark 閲覧者が、Managed Service for Apache Spark サーバーレスのバッチ ワークロードとインタラクティブ セッションの使用を開始するために必要な権限を取得する方法について説明します。

ペルソナ 組織内での役割 IAM に求めるもの
Spark デベロッパー プラットフォームの構築者と利用者。PySpark ジョブと Spark ジョブの作成と実行、ノートブックとセッションでの開発、データセットの読み取りと書き込み、ワークロードのモニタリングとトラブルシューティングを行います。データ エンジニア、データ サイエンティスト、デベロッパーが含まれます。 ワークロードの送信、実行、モニタリング、トラブルシューティングを行う権限、およびジョブがアクセスするデータの読み取りと書き込みを行う権限。
Spark 管理者 プラットフォームのオーナーと管理者。プロジェクトを設定し、ワークロードの認証方法を決定し、Spark デベロッパーをオンボーディングし、共有サービス アカウントを管理し、組織のガードレールと最小権限を適用します。プラットフォーム管理者とも呼ばれます。 他のユーザーにアクセス権を付与する、実行 ID(エンドユーザーの認証情報または共有サービス アカウント)を構成する、プロジェクト全体のサーバーレス リソースを管理する権限。
Spark 閲覧者 プラットフォームのオブザーバーと監査者。ワークロードを送信または変更することなく、ジョブの完了、実行履歴、指標、ダッシュボードを追跡します。アナリスト、プロジェクト マネージャー、FinOps、コンプライアンス監査人が含まれます。 バッチ、セッション、オペレーション、ステータス ダッシュボードを表示するための読み取り専用権限。

ランタイム バージョンを選択する

推奨されるランタイム バージョンは、ワークロードが実行される Apache Spark のバージョンによって異なります。

  • ランタイム 3.x(推奨): Spark 4 を使用し、オンボーディングと使用が簡単です。デフォルトでは、ワークロードは送信ユーザーとしてユーザーのエンドユーザー認証情報(EUC)を使用して実行されます。これには、ユーザーに単一の IAM ロールを付与する必要があります。管理者は、より高度な用途のためにワークロードのカスタム サービス アカウントを構成できます。

  • ランタイム 2.x: Spark 3.5 を使用し、送信者アカウントとワークロード アカウントを別々に使用します。デフォルトでは、送信者はユーザー ID で、Compute Engine のデフォルトのサービス アカウントが Workload Identity です。管理者は、よりきめ細かいアクセス制御のためにカスタム ワークロード サービス アカウントを構成できます。

詳細については、Managed Service for Apache Spark ランタイム リリースをご覧ください。

機能の比較

ランタイム 3.x は、2.x のコンポーネントと機能をアップグレードし、簡素化された設定を提供します。

機能とワークフロー ランタイム 3.x(推奨) ランタイム 2.x
Apache Spark のバージョン Spark 4 Spark 3.5(およびそれ以前の 3.x)
インタラクティブな開発 Spark Connect セッション(業界標準のインタラクティブ Spark クライアント) Jupyter セッション
R バッチ ワークロード sparklyr SparkR バッチ
実行 ID エンドユーザー認証情報(EUC)1 サービス アカウント 1
ジョブ ステージング用のストレージ 不要(内部で管理) Cloud Storage ステージング バケット
ログの出力形式 構造化 JSON 形式(jsonPayload) 書式なしテキスト形式(textPayload)

1 ワークロードまたはセッションにカスタム サービス アカウントが指定されていない限り、ランタイム 3.x はデフォルトで送信者のエンドユーザー認証情報(EUC)になります。ワークロードまたはセッションにカスタム サービス アカウントが指定されていない限り、ランタイム 2.x はデフォルトで Compute Engine のデフォルトのサービス アカウントになります。

一般的なデータロールとサービスロール

Managed Service for Apache Spark は通常、他のGoogle Cloud サービスとの間で読み取りと書き込みを行います。このセクションでは、一般的にアクセスされるサービスに関連付けられたロールを一覧表示します。

  • ランタイム 3.x(デフォルトの EUC ID): Spark デベロッパー(ユーザーまたはグループ)にロールを付与します。
  • ランタイム 2.x: ワークロード サービス アカウント(Compute Engine のデフォルトのサービス アカウントまたはカスタム ワークロード サービス アカウント)にロールを付与します。
サービスまたは API ロール 目的
Cloud Storage roles/storage.objectViewer
roles/storage.objectAdmin
入力データとステージングされたスクリプトを読み取る。
出力データを書き込む。
BigLake と Lakehouse ランタイム カタログ roles/biglake.viewer
roles/biglake.editor
roles/biglake.admin
BigLake REST カタログ(Lakehouse REST カタログ(LRC))を使用して、Apache Iceberg や Delta Lake などのオープン テーブル形式をクエリして管理します。
Bigtable roles/bigtable.reader
roles/bigtable.user
Bigtable テーブルを読み取る。
Bigtable データの読み取りと書き込みを行う。
Dataproc Metastore(DPMS) roles/metastore.metadataViewer
roles/metastore.editor
Hive メタデータを読み取る。
メタデータ スキーマとテーブルを管理する。

DPMS は以前の metastore です。BigLake Lakehouse REST Catalog(LRC)を使用することをおすすめします。

BigQuery には、きめ細かい IAM ロールとリソースレベルの ACL が多数用意されています。詳細については、BigQuery の IAM ロールと権限をご覧ください。

ロールを付与

次のセクションでは、Managed Service for Apache Spark サーバーレス 3.x と 2.x のバッチ ワークロードとインタラクティブ セッションの設定、送信、モニタリングに関連する各ペルソナにロールを付与する方法について説明します。

ランタイム 3.x

デフォルトでは、3.x ワークロードは、送信ユーザーのエンドユーザー認証情報(EUC)で実行されます。管理者はユーザーに単一のロールを付与します。共有サービス アカウントやステージング バケットは必要ありません。管理者は、専用のサービス ID が必要な場合にカスタム サービス アカウントを構成できます。

デベロッパー

Spark デベロッパー(ランタイム 3.x)

Spark デベロッパーは、ユーザー認証情報でランタイム 3.x を使用して、Spark ワークロードの開発、送信、モニタリング、トラブルシューティングを行い、データに直接アクセスできます。

  1. サーバーレス編集者のロールをリクエストします。プロジェクトに対する roles/dataproc.serverlessEditor を付与するよう管理者に依頼してください。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    

    このロールを使用すると、Spark バッチ ワークロードとインタラクティブな Spark Connect セッションの送信、モニタリング、トラブルシューティング、キャンセルを行うことができます。

  2. データとサービスにアクセスする。ワークロードはユーザーとして実行されるため、Spark アプリケーションがアクセスするサービスとデータセットにアクセスできる ID が必要です(一般的なデータとサービスのロールをご覧ください)。

    たとえば、入力 Cloud Storage バケットに対する読み取りアクセス権を自分に付与します。

    gcloud storage buckets add-iam-policy-binding gs://INPUT_BUCKET \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/storage.objectViewer"
    
  3. テスト ワークロードを送信します。テストバッチ ワークロードを送信して、設定を確認します。

    gcloud dataproc batches submit spark \
      --region=REGION \
      --version=3.0 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    

    注:

    • エンドユーザー認証情報(EUC)で 3.x ワークロードを初めて送信する場合は、1 回限りの OAuth 同意を求められます。同意を付与してから、ワークロードを再送信します。

    • プロジェクトに default VPC ネットワークがない場合は、subnet フラグまたはフィールドを使用してリージョン サブネットを指定します(Managed Service for Apache Spark サーバーレス ネットワーク構成をご覧ください)。

    • Google Cloud コンソールを使用してランタイム プロファイル、インタラクティブ セッション、バッチ ワークロードを作成する場合、または IDE で Google Cloud Data Agent Kit を使用する場合は、サブネットワークを一覧表示して API ステータスを確認する権限も必要です( Google Cloud コンソールと IDE の追加権限をご覧ください)。

    • PySpark ワークロードを実行し、Cloud Storage、BigLake、BigQuery で必要な権限を構成するエンドツーエンドの例については、データを変換して Apache Iceberg テーブルに書き込むをご覧ください。

カスタム ワークロード サービス アカウント(ランタイム 3.x)

組織で、エンドユーザーの認証情報ではなく、専用の監査可能な ID でワークロードを実行する必要がある場合は、ランタイム 3.x でカスタム サービス アカウントを使用します(IAM サービス アカウントのベスト プラクティスをご覧ください)。

  1. カスタム サービス アカウントとしてワークロードを実行する権限を取得します。カスタム サービス アカウントに roles/iam.serviceAccountUser を付与するよう管理者に依頼します。

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. カスタム サービスを指定します。

    gcloud dataproc batches submit spark \
      --region=REGION \
      --service-account=WORKLOAD_SA_EMAIL \
      --version=3.0 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    
  3. データセットへのアクセス権を付与します。カスタム サービス アカウントを使用する場合は、データレベルのロールを WORKLOAD_SA_EMAIL に直接付与します(一般的なデータロールとサービスロールをご覧ください)。

管理者

Spark 管理者(ランタイム 3.x)

Spark 管理者は、プロジェクトを設定し、ワークロードの認証方法を決定して、Spark デベロッパーにアクセス権を付与します。

ワークロードは、指定された default VPC サブネットを自動的に使用します。プロジェクトに default ネットワークがない場合や、カスタム VPC を使用している場合は、Managed Service for Apache Spark サーバーレス ネットワーク構成を参照して、ワークロードとセッションのサブネットを設定して指定します。

エンドユーザー認証情報を使用してランタイム 3.x を有効にする(推奨)

これは、最小権限でメンテナンスが最も少ない設定です。各 Spark デベロッパーは、ユーザー ID としてワークロードを実行します。管理者がワークロード サービス アカウントを設定して管理する必要はありません。

  1. Spark デベロッパーに roles/dataproc.serverlessEditor を付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    
  2. 読み取り専用の閲覧者に roles/dataproc.serverlessViewer を付与します。

    このロールは、ワークロードを送信または変更せずにジョブのステータスとログをモニタリングする必要がある監査者、ダッシュボード ユーザー、チームメンバーに付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:VIEWER_EMAIL" \
      --role="roles/dataproc.serverlessViewer"
    
  3. デベロッパーがデータにアクセスできるようにする。

    デフォルトでは、ランタイム 3.x ワークロードは送信ユーザーとして実行されます。roles/storage.objectViewer や roles/storage.objectAdmin などのデータアクセス ロールを、Spark デベロッパーまたは Spark デベロッパーを含む Google グループに付与します(一般的なデータロールとサービスロールをご覧ください)。

ワークロードのカスタム サービス アカウントを有効にする(ランタイム 3.x)

エンドユーザーの認証情報ではなく、専用の監査可能な ID でワークロードを実行する必要がある場合は、ランタイム 3.x でカスタム サービス アカウントを使用します(IAM サービス アカウントのベスト プラクティスをご覧ください)。

  1. ワークロードのカスタム サービス アカウントに roles/iam.serviceAccountUser を付与します。

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. ワークロードのカスタム サービス アカウントに roles/dataproc.serverlessNode を付与します。

    このロールにより、サービス アカウントはコンピューティング ノードプールを管理し、ワークロードの実行中に Spark アプリケーションと通信できます。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:WORKLOAD_SA_EMAIL" \
      --role="roles/dataproc.serverlessNode"
    
  3. アプリケーション データへのアクセス権を付与する。

    データレベルのロールをワークロード サービス アカウントに直接付与して、アプリケーション データセットの読み取りと書き込みを行えるようにします(一般的なデータロールとサービスロールをご覧ください)。ワークロードでステージングされたスクリプトまたはカスタム JAR を使用する場合は、対応する Cloud Storage バケットに対する読み取りアクセス権も付与します。

送信者のカスタム サービス アカウントを有効にする(ランタイム 3.x)

自動システム(Managed Service for Apache Airflow、Cloud Scheduler、CI / CD パイプラインなど)が、人間のユーザーの操作なしでワークロードを送信する場合は、送信者のカスタム サービス アカウントを使用します。

  • このシナリオでは、送信者サービス アカウントが gcloud コマンドを実行してジョブを開始します。以下に gcloud を使用した例を示します。

    gcloud dataproc batches submit spark \
      --service-account=WORKLOAD_SA_EMAIL \
      ...
    
  • ワークロード サービス アカウントは、コンピューティング ノードで Spark コードを実行し、アプリケーション データセットにアクセスします。

    1. 送信者のカスタム サービス アカウントに roles/dataproc.serverlessEditor を付与します。
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    

    送信者のカスタム サービス アカウントでランタイム 3.x を使用する場合、ワークロードを実行するにはカスタム ワークロード サービス アカウントが必要です。インタラクティブなエンドユーザーが存在しないため、ランタイムはエンドユーザー認証情報(EUC)にフォールバックできません。ジョブは、指定されたワークロード サービス アカウント(--service-account)として実行する必要があります。

  1. ワークロードのカスタム サービス アカウントに roles/iam.serviceAccountUser を付与します。

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. ワークロードのカスタム サービス アカウントを構成します。roles/dataproc.serverlessNode とアプリケーション データのロールを WORKLOAD_SA_EMAIL に付与します。

Spark 管理者ロールのリファレンス(ランタイム 3.x)

次の表に、ランタイム 3.x で付与するロールをまとめます。

送信者 Workload Identity 送信者に付与 ワークロード サービス アカウントに付与する
エンドユーザー(デフォルト) エンドユーザー(EUC) roles/dataproc.serverlessEditor(+ ユーザーのデータロール) (なし - SA は使用されていません)
エンドユーザー カスタム SA カスタム SA に対する roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser roles/dataproc.serverlessNode + データロール
カスタム SA(自動化) カスタム SA カスタム SA に対する roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser roles/dataproc.serverlessNode + データロール

閲覧者

Spark ビューア(ランタイム 3.x)

Spark 閲覧者は、ワークロードを送信または変更することなく、バッチ ワークロード、インタラクティブ セッション、実行指標、ログ、ステータス ダッシュボードを表示できます。

roles/dataproc.serverlessViewer を付与するよう管理者に依頼してください。

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="user:VIEWER_EMAIL" \
  --role="roles/dataproc.serverlessViewer"

このロールでは、サーバーレス バッチ ワークロード、インタラクティブ セッション、オペレーション ステータスを表示するための読み取り専用アクセス権が付与されます。

詳細な権限

詳細な権限(ランタイム 3.x)

このセクションでは、ランタイム 3.x に関連付けられた IAM ロールに含まれる IAM 権限を一覧表示します。

サーバーレス編集者のロール(roles/dataproc.serverlessEditor)

このロールとその権限により、ランタイム 3.x サーバーレス バッチ ワークロードとインタラクティブ セッションへの読み取り / 書き込みアクセス権が付与されます。

権限 説明
dataproc.batches.create 新しいバッチ ワークロードを作成して送信します。
dataproc.batches.get バッチ ワークロードのステータスと詳細を取得します。
dataproc.batches.list プロジェクトまたはリージョン内のすべてのバッチ ワークロードを一覧表示します。
dataproc.batches.delete 完了したバッチまたは終了したバッチを削除します。
dataproc.batches.cancel 実行中のバッチ ワークロードをキャンセルする。
dataproc.sessions.create インタラクティブな Spark Connect セッションを作成する。
dataproc.sessions.get セッションのステータスと詳細を取得します。
dataproc.sessions.list プロジェクトまたはリージョン内のすべてのセッションを一覧表示します。
dataproc.sessions.delete 終了したセッションを削除します。
dataproc.sessions.terminate 実行中のインタラクティブ セッションを終了します。
dataproc.sessionTemplates.create ランタイム プロファイル(セッション テンプレート)を作成する。
dataproc.sessionTemplates.get ランタイム プロファイルの詳細を取得します。
dataproc.sessionTemplates.list プロジェクトまたはリージョンのランタイム プロファイルを一覧表示します。
dataproc.sessionTemplates.update ランタイム プロファイルを更新します。
dataproc.sessionTemplates.delete ランタイム プロファイルを削除します。
dataproc.operations.get 非同期オペレーションのステータスをポーリングします(gcloud CLI で必要)。

サーバーレス ノードのロール(roles/dataproc.serverlessNode)

ランタイム 3.x カスタム ワークロード サービス アカウントに、ノードプール管理と内部 Spark 通信の権限を付与します。

このロールとその権限は、ランタイム 3.x でカスタム ワークロード サービス アカウントを使用する場合に必要です。デフォルトの 3.x エンドユーザー認証情報(EUC)で実行されるワークロードは、ワークロード サービス アカウントを使用しません。

権限 説明
dataproc.batches.sparkApplicationWrite バッチ ワークロードの Spark アプリケーション通信。
dataproc.sessions.sparkApplicationWrite インタラクティブ セッションの Spark アプリケーション通信。
dataprocrm.nodePools.create コンピューティング ノードプールを作成します。
dataprocrm.nodePools.delete コンピューティング ノードプールを削除します。
dataprocrm.nodePools.resize ノードプールを動的にスケーリングする。
dataprocrm.nodePools.get ノードプールのステータスを読み取ります。
dataprocrm.nodePools.list ノードプールを一覧表示します。
dataprocrm.nodePools.update ノードプールの構成を更新します。
dataprocrm.nodePools.deleteNodes プールから特定のノードを削除します。
dataprocrm.nodes.list プール内のノードを一覧表示します。
dataprocrm.nodes.delete タスクの完了時にノードを削除する。
dataprocrm.nodes.get ノードのステータスを読み取ります。
dataprocrm.nodes.heartbeat ノードの健全性とハートビートを報告する。
dataprocrm.nodes.mintOAuthToken ノード オペレーション用の OAuth トークンを生成する。
dataprocrm.operations.get インフラストラクチャ オペレーションのステータスを確認します。

サーバーレス閲覧者のロール(roles/dataproc.serverlessViewer)

このロールとその権限は、送信者のカスタム サービス アカウントでランタイム 3.x を使用する場合に必要です。ランタイム 3.x サーバーレス バッチ ワークロード、インタラクティブ セッション、オペレーション ステータスに対する読み取り専用アクセス権を付与します。

権限 説明
dataproc.batches.get バッチ ワークロードのステータスと詳細を読み取る。
dataproc.batches.list バッチ ワークロードを一覧表示する。
dataproc.sessions.get セッションのステータスと詳細を読み取る。
dataproc.sessions.list セッションの一覧を取得する。
dataproc.operations.get 読み取りオペレーションのステータス。
dataproc.operations.list オペレーションを一覧表示する。

サービス アカウント委任ロール(roles/iam.serviceAccountUser)

ユーザーまたは自動システムが、カスタム サービス アカウントとしてワークロードを接続して実行できるようにします。ワークロードは、送信するユーザーのエンドユーザー認証情報(EUC)ではなく、そのサービス アカウントに付与された権限とリソース アクセス権で実行されます。

権限 説明
iam.serviceAccounts.actAs 送信者が指定されたサービス アカウントとしてワークロードを実行できるようにします。

ランタイム 2.x

デフォルトでは、ランタイム 2.x ワークロードは Compute Engine のデフォルトのサービス アカウントとして実行されます。送信者(ユーザーまたは自動システム)は、ワークロードまたはセッションの実行時にこのアカウントとして機能します。

デベロッパー

Spark デベロッパー(ランタイム 2.x)

ランタイム 2.x を使用する Spark デベロッパーは、Spark ワークロードの開発、送信、モニタリング、トラブルシューティング、データへのアクセスを行います。ワークロードはユーザー ID ではなくサービス アカウントとして実行されるため、管理者は IAM 編集者ロールとサービス アカウント ユーザー ロールを付与して、ワークロード サービス アカウントとしてワークロードを実行します。

  1. 編集者ロールをリクエストします。プロジェクトに対する roles/dataproc.editor を付与するよう管理者に依頼してください。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. 委任権限をリクエストします。ワークロード サービス アカウントに roles/iam.serviceAccountUser を付与するよう管理者に依頼してください。

    デフォルトのワークロード サービス アカウントは、Compute Engine のデフォルトのサービス アカウント PROJECT_NUMBER-compute@developer.gserviceaccount.com です。

    gcloud iam service-accounts add-iam-policy-binding \
      PROJECT_NUMBER-compute@developer.gserviceaccount.com \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. ステージング バケットへのアクセス権を取得します。ランタイム 2.x の送信者には、スクリプトと JAR をアップロードする権限が必要です。また、ワークロード サービス アカウントには、一時ファイルとログを管理する権限が必要です。これらの権限は roles/storage.objectAdmin ロールに含まれています。

    # Grant submitter access to upload staged files
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/storage.objectAdmin"
    
    # Grant workload service account access for staging, temporary files, and logs
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/storage.objectAdmin"
    
  4. テストバッチ ワークロードを送信します。テストバッチ ワークロードを送信して、設定を確認します。

    gcloud dataproc batches submit spark \
      --region=REGION \
      --version=2.2 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    

    注:

    • ワークロードはワークロード サービス アカウントとして実行されるため、ユーザー アカウントではなく、そのアカウントに、ジョブが読み書きするデータへのアクセス権が必要です(一般的なデータロールとサービスロールをご覧ください)。

    • プロジェクトに default VPC ネットワークがない場合は、subnet フラグまたはフィールドを使用してリージョン サブネットを指定します(Managed Service for Apache Spark サーバーレス ネットワーク構成をご覧ください)。

    • Google Cloud コンソールを使用してランタイム プロファイル、インタラクティブ セッション、バッチ ワークロードを作成する場合、または IDE で Google Cloud Data Agent Kit を使用する場合は、サブネットワークを一覧表示して API ステータスを確認する権限も必要です( Google Cloud コンソールと IDE の追加権限をご覧ください)。

    • PySpark ワークロードを実行し、Cloud Storage、BigLake、BigQuery で必要な権限を構成するエンドツーエンドの例については、データを変換して Apache Iceberg テーブルに書き込むをご覧ください。

カスタム ワークロードのカスタム サービス アカウント(ランタイム 2.x)

共有の Compute Engine のデフォルトの service_account ではなく、専用の監査可能な ID でワークロードを実行する必要がある場合は、カスタム サービス アカウントを使用します(IAM サービス アカウントのベスト プラクティスをご覧ください)。

  1. カスタム サービス アカウントとしてワークロードを実行する権限を取得します。カスタム サービス アカウントに roles/iam.serviceAccountUser を付与するよう管理者に依頼します。

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. ワークロードを送信するときに、--service-account フラグを使用してカスタム サービス アカウントを指定します。

    gcloud dataproc batches submit spark \
      --region=REGION \
      --service-account=WORKLOAD_SA_EMAIL \
      --version=2.2 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    
  3. データセットへのアクセス: ワークロードがデータセットにアクセスできない場合は、ワークロードのカスタム サービス アカウント(ユーザー アカウントではない)に必要なデータアクセス ロールを付与します(一般的なデータロールとサービスロールをご覧ください)。

管理者

Spark 管理者(ランタイム 2.x)

Spark 管理者は、プロジェクトを設定し、サービス アカウントを構成して、Spark デベロッパーにアクセス権を付与します。

ワークロードは、指定された default VPC サブネットを自動的に使用します。プロジェクトに default ネットワークがない場合や、カスタム VPC を使用している場合は、Managed Service for Apache Spark サーバーレス ネットワーク構成を参照して、ワークロードとセッションのサブネットを設定して指定します。

デフォルトのランタイム 2.x を有効にする

デフォルトのランタイム 2.x を使用すると、ワークロードは Compute Engine のデフォルトのサービス アカウントとして実行されます。

  1. デベロッパーに roles/dataproc.editor を付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. デフォルトのサービス アカウントに roles/iam.serviceAccountUser を付与します。

    gcloud iam service-accounts add-iam-policy-binding \
      PROJECT_NUMBER-compute@developer.gserviceaccount.com \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. ワークロード サービス アカウントに roles/dataproc.worker を付与します。

    このロールにより、サービス アカウントは VM エージェントの登録、コンピューティング タスクのリースと実行、Cloud Logging と Cloud Monitoring へのログと指標の出力を行うことができます。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/dataproc.worker"
    
  4. ステージング バケット ストレージに roles/storage.objectAdmin を付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/storage.objectAdmin"
    
  5. ワークロード サービス アカウントにデータセットへのアクセス権を付与します。

    ワークロード サービス アカウントにデータレベルのロールを付与して、Spark アプリケーション データセットにアクセスできるようにします(一般的なデータロールとサービスロールをご覧ください)。

ワークロードのカスタム サービス アカウントを有効にする(ランタイム 2.x)

共有の Compute Engine のデフォルトのサービス アカウントを使用する代わりに、ランタイム 2.x を使用するワークロード カスタム サービス アカウントを使用してワークロードを分離します。

  1. デベロッパーにカスタム サービス アカウントの roles/iam.serviceAccountUser を付与します。

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. カスタム サービス アカウントに roles/dataproc.worker を付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:WORKLOAD_SA_EMAIL" \
      --role="roles/dataproc.worker"
    
  3. アプリケーション データとステージングへのアクセス権を付与します。

    データレベルのロールをワークロードのカスタム サービス アカウントに直接付与し(一般的なデータロールとサービスロールを参照)、ステージング バケットと一時バケットに roles/storage.objectAdmin を付与します。

送信者のカスタム サービス アカウントを有効にする(ランタイム 2.x)

自動システム(Managed Service for Apache Airflow、Cloud Scheduler、CI/CD パイプラインなど)が、人間のユーザーの操作なしでワークロードを送信する場合は、送信者のカスタム サービス アカウントを使用します。

  1. 送信者サービス アカウントに roles/dataproc.editor を付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. ワークロード サービス アカウントに roles/iam.serviceAccountUser を付与します。

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. ワークロード サービス アカウントを構成します。WORKLOAD_SA_EMAIL に roles/dataproc.worker とデータセットへのアクセス権を付与します。

Spark 管理者ロールのリファレンス(ランタイム 2.x)

次の表に、ランタイム 2.x で付与する IAM ロールをまとめます。

送信者 Workload Identity 送信者に付与 ワークロード サービス アカウントに付与する
エンドユーザー(デフォルト) Compute Engine のデフォルト SA デフォルトの SA に対する roles/dataproc.editor + roles/iam.serviceAccountUser roles/dataproc.worker + roles/storage.objectAdmin + データロール
エンドユーザー カスタム SA カスタム SA に対する roles/dataproc.editor + roles/iam.serviceAccountUser roles/dataproc.worker + roles/storage.objectAdmin + データロール
カスタム SA(自動化) カスタム SA カスタム SA に対する roles/dataproc.editor + roles/iam.serviceAccountUser roles/dataproc.worker + roles/storage.objectAdmin + データロール

閲覧者

Spark ビューア(ランタイム 2.x)

Spark 閲覧者は、ワークロードを送信または変更することなく、バッチ ワークロード、インタラクティブ セッション、実行指標、ログ、ステータス ダッシュボードを表示できます。

roles/dataproc.viewer を付与するよう管理者に依頼します。

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="user:VIEWER_EMAIL" \
  --role="roles/dataproc.viewer"

このロールは、クラスタ、ジョブ、バッチ、セッション、オペレーションなど、Managed Service for Apache Spark リソースに対する読み取り専用アクセス権を付与します。

詳細な権限

詳細な権限(ランタイム 2.x)

このセクションでは、ランタイム 2.x に関連付けられた IAM ロールに含まれる IAM 権限について説明します。

編集者のロール(roles/dataproc.editor)

このロールは、ランタイム 2.x サーバーレス ワークロードとセッション、および Compute Engine 上の Managed Service for Apache Spark クラスタとジョブを制御します。

権限 サーバーレスに必須 説明
dataproc.batches.create はい 新しいバッチ ワークロードを作成して送信します。
dataproc.batches.get はい バッチ ワークロードのステータスと詳細を取得します。
dataproc.batches.list はい プロジェクトまたはリージョン内のすべてのバッチ ワークロードを一覧表示します。
dataproc.batches.delete はい 完了したバッチまたは終了したバッチを削除します。
dataproc.batches.cancel はい 実行中のバッチ ワークロードをキャンセルする。
dataproc.sessions.create はい インタラクティブ セッションを作成する。
dataproc.sessions.get はい セッションのステータスと詳細を取得します。
dataproc.sessions.list はい プロジェクトまたはリージョン内のすべてのセッションを一覧表示します。
dataproc.sessions.delete はい 終了したセッションを削除します。
dataproc.sessions.terminate はい 実行中のインタラクティブ セッションを終了します。
dataproc.operations.get はい 非同期オペレーションのステータスをポーリングします(gcloud CLI で必要)。
compute.networks.get はい VPC ネットワーク構成を表示します。
compute.networks.list はい プロジェクト内の VPC ネットワークを一覧表示します。サブネットは一覧表示されません。 Google Cloud コンソールまたは IDE でサブネットを一覧表示するには、compute.subnetworks.list が必要です( Google Cloud コンソールと IDE の追加権限をご覧ください)。
dataproc.clusters.* いいえ(クラスタのみ) Compute Engine ベースの Managed Service for Apache Spark クラスタを作成、管理、使用します。
dataproc.jobs.* いいえ(クラスタのみ) Compute Engine ベースの Managed Service for Apache Spark クラスタでジョブを送信して管理します。
dataproc.autoscalingPolicies.* いいえ(クラスタのみ) Compute Engine ベースのクラスタの自動スケーリング ポリシー。
dataproc.nodeGroups.* いいえ(クラスタのみ) Compute Engine ベースのクラスタのカスタム ノードグループ。
dataproc.workflowTemplates.* いいえ(クラスタのみ) Compute Engine ベースのクラスタのテンプレート ワークフロー。
compute.machineTypes.* いいえ(クラスタのみ) Compute Engine ベースのクラスタのマシンタイプ メタデータ。

ワーカーロール(roles/dataproc.worker)

このロールは、ランタイム 2.x のワークロード実行権限を付与します。

権限 説明
dataproc.agents.create VM に VM エージェントを登録します。
dataproc.agents.get エージェントの状態を読み取る。
dataproc.agents.update エージェントの状態を更新します。
dataproc.agents.delete 完了時にエージェントの登録を解除します。
dataproc.tasks.lease 実行するコンピューティング タスクをリースする。
dataproc.tasks.reportStatus タスクの実行ステータスを報告します。
storage.objects.create ステージング データ、一時ファイル、ログを書き込む。
storage.objects.delete 一時ファイルをクリーンアップする。
storage.objects.get ブート スクリプトとステージング済みファイルを読み取る。
storage.objects.list ステージング バケットと一時バケットの内容を一覧表示します。

閲覧者のロール(roles/dataproc.viewer)

このロールでは、すべての Managed Service for Apache Spark リソースに対する読み取り専用権限が付与されます。

権限 サーバーレスに必須 説明
dataproc.batches.get はい バッチ ワークロードのステータスと詳細を読み取る。
dataproc.batches.list はい プロジェクトまたはリージョン内のすべてのバッチ ワークロードを一覧表示します。
dataproc.sessions.get はい セッションのステータスと詳細を読み取る。
dataproc.sessions.list はい プロジェクトまたはリージョン内のすべてのセッションを一覧表示します。
dataproc.operations.get はい 非同期オペレーションのステータスを読み取ります。
dataproc.operations.list はい プロジェクトまたはリージョン内のオペレーションを一覧表示します。
dataproc.clusters.get いいえ(クラスタのみ) クラスタの構成とステータスを表示します。
dataproc.clusters.list いいえ(クラスタのみ) プロジェクトまたはリージョン内のクラスタを一覧表示します。
dataproc.jobs.get いいえ(クラスタのみ) クラスタのジョブの詳細とステータスを表示します。
dataproc.jobs.list いいえ(クラスタのみ) クラスタ上のジョブを一覧表示します。
dataproc.autoscalingPolicies.get いいえ(クラスタのみ) 自動スケーリング ポリシーの詳細を表示します。
dataproc.autoscalingPolicies.list いいえ(クラスタのみ) 自動スケーリング ポリシーを一覧表示します。
dataproc.workflowTemplates.get いいえ(クラスタのみ) ワークフロー テンプレートの詳細を表示します。
dataproc.workflowTemplates.list いいえ(クラスタのみ) ワークフロー テンプレートを一覧表示します。

サービス アカウント委任ロール(roles/iam.serviceAccountUser)

ユーザーまたは自動システムが、Compute Engine のデフォルトのサービス アカウントまたはカスタム サービス アカウントとしてワークロードを接続して実行できるようにします。ワークロードは、そのサービス アカウントに付与された権限とリソース アクセス権を使用して実行されます。

権限 説明
iam.serviceAccounts.actAs 送信者が指定されたサービス アカウントとしてワークロードを実行できるようにします。

Google Cloud コンソールと IDE の追加の権限

Google Cloud CLI または Dataproc API を使用してワークロードを送信すると、Managed Service for Apache Spark のコントロール プレーンは、呼び出し元レベルの Compute Engine サブネットワークまたは Service Usage 権限を確認せずに、プロジェクトの default VPC ネットワークとサブネットワークを自動的に解決します。

ただし、 Google Cloud コンソールでランタイム プロファイル、インタラクティブ セッション、バッチ ワークロードを作成または編集する場合、または VS Code などの IDE で Google Cloud Data Agent Kit を使用する場合、クライアントはユーザー認証情報を使用して追加の読み取りチェックを実行します。

権限 クライアント ワークフロー 目的
compute.subnetworks.list Google Cloud コンソールと Data Agent Kit リージョン VPC サブネットワークを一覧表示して、default ネットワークにプライベート Google アクセスが有効になっているサブネットがあることを確認し、ネットワーク メニューとサブネットワーク メニューにデータを入力します。
compute.subnetworks.get Google Cloud コンソールと Data Agent Kit ランタイム プロファイル、セッション、バッチ ワークロードを表示、クローン作成、編集するときに、サブネットワーク メタデータを検査します。
compute.networks.list Google Cloud コンソールと Data Agent Kit プロジェクト内の VPC ネットワークを一覧表示する(roles/dataproc.editor と roles/dataproc.admin に含まれますが、roles/dataproc.serverlessEditor には含まれません)。
compute.networks.get Google Cloud コンソールと Data Agent Kit VPC ネットワークの詳細を表示する(roles/dataproc.editor と roles/dataproc.admin に含まれますが、roles/dataproc.serverlessEditor には含まれません)。
serviceusage.services.get Data Agent Kit と IDE Spark リソースツリーを読み込む前に、選択したプロジェクトで Dataproc API(dataproc.googleapis.com)が有効になっているかどうかを確認します。
serviceusage.services.list Google Cloud コンソールと IDE プロジェクトで有効になっている API を一覧表示します。

最小限のカスタムロールを付与する(推奨)

最小権限の原則に従うには、 Google Cloud コンソールと IDE ワークフローに必要な権限のみを付与するカスタム IAM ロールを作成し、roles/dataproc.serverlessEditor または roles/dataproc.editor に加えて Spark デベロッパーにバインドします。

  1. プロジェクトにカスタムロールを作成します。

    gcloud iam roles create sparkConsoleAndIdeUser \
      --project=PROJECT_ID \
      --title="Managed Spark Console and IDE User" \
      --description="Read-only network and Service Usage permissions for Managed Spark console and IDE workflows" \
      --permissions=compute.networks.get,compute.networks.list,compute.subnetworks.get,compute.subnetworks.list,serviceusage.services.get,serviceusage.services.list \
      --stage=GA
    
  2. Spark デベロッパーにカスタムロールを付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="projects/PROJECT_ID/roles/sparkConsoleAndIdeUser"
    

カスタムロールを維持する代わりに、事前定義された Compute ネットワーク閲覧者(roles/compute.networkViewer)ロールと Service Usage 閲覧者(roles/serviceusage.serviceUsageViewer)ロールを付与することもできます。事前定義ロールを使用すると、 Google Cloud が権限を自動的に管理するため、カスタムロールのメンテナンスが不要になります。ただし、事前定義された閲覧者のロールには、Managed Service for Apache Spark で必要な権限よりも広範な読み取りアクセス権が付与されます。roles/compute.networkViewer を使用すると、ユーザーはプロジェクト内のすべての Compute Engine ネットワーキング リソース(ファイアウォール ルール、ルート、Cloud Router、VPN トンネル、転送ルール、ネットワーク エンドポイント グループなど)を表示できます。roles/serviceusage.serviceUsageViewer を使用すると、ユーザーはプロジェクト内のすべてのサービスの割り当てとコンシューマー ポリシーを表示できます。 Google Cloud コンソールまたは IDE へのアクセスのみを目的として、エンドユーザーに roles/compute.networkUser または roles/serviceusage.serviceUsageConsumer を付与しないでください。これらのロールは、エンドユーザーに不要なリソースの関連付けと割り当ての権限(compute.subnetworks.use と serviceusage.services.use)も付与します。

次のステップ