Apache Spark 向け Google Cloud Serverless サービスアカウント

Apache Spark 向け Serverless バッチワークロードとインタラクティブセッションはエンドユーザーまたはサービスアカウントの認証情報を使用して実行されます。サービスアカウントの認証情報を使用する場合、バッチワークロードまたはインタラクティブセッションの実行に使用されるサービスアカウントは、バッチまたはセッションのランタイムバージョンによって異なります。

3.0 より前のランタイムサービスアカウント

サービスアカウントの認証情報を使用する 3.0 より前の Spark ランタイムバージョンでは、 Compute Engine のデフォルトのサービスアカウントまたはユーザー指定のカスタムサービスアカウントを使用して、バッチワークロードを送信するか、インタラクティブセッションを作成します。

3.0 以降のランタイムサービスアカウント

サービスアカウントの認証情報を使用する 3.0 以降の Spark ランタイムバージョンでは、ユーザー指定のカスタムサービスアカウントを使用して、バッチワークロードを送信するか、インタラクティブセッションを作成します。

Apache Spark 向け Serverless 3.0 以降のランタイムは、Dataproc ユーザー Google Cloud プロジェクトに Dataproc Resource Manager ノードサービスエージェント ロールでサービスアカウント service-project-number@gcp-sa-dataprocrmnode.iam.gserviceaccount.com を作成します。このサービスアカウントは、ワークロードが作成されたプロジェクトにある Apache Spark 向け Serverless リソースに対して次のシステムオペレーションを実行します。

Cloud Logging と Cloud Monitoring
get、heartbeat、mintOAuthToken などの Dataproc Resource Manager ノードの基本オペレーション

IAM サービスアカウントのロールを表示して管理する

バッチワークロードまたはセッションサービスアカウントに付与されているロールを表示して管理するには、次の操作を行います。

コンソールで、[IAM] ページに移動します。 Google Cloud

IAM に移動
[Google 提供のロール付与を含める] をクリックします。
バッチワークロードまたはセッションのデフォルトまたはカスタムサービスデフォルトまたはカスタムサービスアカウントに含まれているロールを表示します。

次の図は、Apache Spark 向け Serverless がデフォルトでワークロードまたはセッションサービスアカウントとして使用する Compute Engine のデフォルトのサービスアカウント project_number-compute@developer.gserviceaccount.com に含まれている必要な Dataproc ワーカー ロールを示しています。

コンソールの IAM セクションで Compute Engine のデフォルトのサービスアカウントに割り当てられた Dataproc ワーカーロール。 Google Cloud
サービスアカウントの行に表示されている鉛筆アイコンをクリックしてサービスアカウントのロールを付与または削除できます。

プロジェクト間サービスアカウントを使用する方法

バッチワークロードプロジェクト（バッチが送信されるプロジェクト）とは異なるプロジェクトのサービスアカウントを使用するバッチワークロードを送信できます。このセクションでは、サービスアカウントが存在するプロジェクトをservice account project、バッチが送信されるプロジェクトをbatch projectと呼びます。

プロジェクト間サービスアカウントを使用してバッチワークロードを実行する理由考えられる理由の 1 つは、他のプロジェクトのサービスアカウントに、そのプロジェクトのリソースへのきめ細かいアクセスを提供する IAM ロールが割り当てられている場合です。

設定の手順

このセクションの例は、バッチワークロードの送信に適用されます。これは、3.0より前のランタイムバージョンで実行されます。

サービスアカウントプロジェクトで:
1. プロジェクト間でのサービスアカウントの接続を有効にします。
2. Enable the Dataproc API.
  Roles required to enable APIs
  To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
  Enable the API
3. メールアカウント（クラスタを作成するユーザー）に、サービスアカウントユーザーのロールを付与します。また、より細かく制御する場合は、サービスアカウントプロジェクトのサービスアカウントを付与します。
  
  詳細については、プロジェクトレベルでロールを付与する場合はプロジェクト、フォルダ、組織へのアクセスを管理するを、サービスアカウントレベルでサービスアカウントへロールを付与する場合はサービスアカウントに対するアクセス権の管理を参照してください。
  
  gcloud CLI の例:
  
  次のサンプルコマンドでは、ユーザーにサービスアカウントのユーザーロールをプロジェクトレベルで付与します。
```
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=USER_EMAIL \
    --role="roles/iam.serviceAccountUser"
```
  注:
  - USER_EMAIL: ユーザーアカウントのメールアドレスを user:user-name@example.comの形式で指定します。
  次のサンプルコマンドでは、ユーザーにサービスアカウントのユーザーロールをサービスアカウントレベルで付与します。
```
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=USER_EMAIL \
    --role="roles/iam.serviceAccountUser"
```
  注:
  - USER_EMAIL: ユーザーアカウントのメールアドレスを user:user-name@example.com の形式で指定します。
4. サービスアカウントに、バッチプロジェクトに対する Dataproc ワーカーのロールを付与します。
  
  gcloud CLI の例:
```
gcloud projects add-iam-policy-binding BATCH_PROJECT_ID \
    --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.iam.gserviceaccount.com \
    --role="roles/dataproc.worker"
```
バッチプロジェクトで:
1. Dataproc サービスエージェントサービスアカウントに、サービスアカウントプロジェクトの（より細かく制御する場合はサービスアカウントプロジェクトのサービスアカウントの）サービスアカウントユーザーとサービスアカウントトークン作成者のロールを付与します。これにより、バッチプロジェクトの Dataproc サービスエージェントサービスアカウントに、サービスアカウントプロジェクトのサービスアカウント用のトークンを作成することを許可します。
  
  詳細については、プロジェクトレベルでロールを付与する場合はプロジェクト、フォルダ、組織へのアクセスを管理するを、サービスアカウントレベルでサービスアカウントへロールを付与する場合はサービスアカウントに対するアクセス権の管理を参照してください。
  
  gcloud CLI の例:
  
  次のコマンドでは、バッチプロジェクトの Dataproc サービスエージェントサービスアカウントに、サービスアカウントユーザーとサービスアカウントトークン作成者のロールをプロジェクトレベルで付与します。
```
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=serviceAccount:service-BATCH_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountUser"
```
```
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=serviceAccount:service-BATCH_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"
```
  次のサンプルコマンドでは、バッチプロジェクトの Dataproc サービスエージェントサービスアカウントに、サービスアカウントユーザーとサービスアカウントトークン作成者のロールをサービスアカウントレベルで付与します。
```
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=serviceAccount:service-BATCH_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountUser"
```
```
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=serviceAccount:service-BATCH_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"
```
2. バッチプロジェクトの Compute Engine サービスエージェントサービスアカウントに、サービスアカウントプロジェクトの（より細かく制御するには、サービスアカウントプロジェクトのサービスアカウントの）サービスアカウントトークン作成者のロールを付与します。これにより、サービスアカウントプロジェクト内のサービスアカウント用のトークンを作成する権限を、バッチプロジェクトの Compute Agent サービスエージェントサービスアカウントに付与します。
  
  詳細については、プロジェクトレベルでロールを付与する場合はプロジェクト、フォルダ、組織へのアクセスを管理するを、サービスアカウントレベルでサービスアカウントへロールを付与する場合はサービスアカウントに対するアクセス権の管理を参照してください。
  
  gcloud CLI の例:
  
  次のサンプルコマンドでは、バッチプロジェクトの Compute Engine サービスエージェントサービスアカウントに、サービスアカウントトークン作成者のロールをプロジェクトレベルで付与します。
```
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=serviceAccount:service-BATCH_PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"
```
  次のサンプルコマンドでは、クラスタプロジェクトの Compute Engine サービスエージェントサービスアカウントに、サービスアカウントトークン作成者のロールをサービスアカウントレベルで付与します。
```
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=serviceAccount:service-BATCH_PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"
```

バッチワークロードを送信する

設定手順を完了したら、バッチワークロードを送信できます。バッチワークロードに使用するサービスアカウントとして、サービスアカウントプロジェクトのサービスアカウントを指定してください。

権限に基づくエラーのトラブルシューティング

バッチワークロードまたはセッションで使用されるサービスアカウントの権限が正しくないか、不十分な場合、「Driver compute node failed to initialize for batch in 600 seconds」というエラーメッセージが報告され、バッチまたはセッション作成の失敗につながる可能性があります。このエラーは、割り当てられたタイムアウト期間内に Spark ドライバを起動できなかったことを示します。これは、リソースへの必要なアクセス権がないことが原因であることがよくあります。 Google Cloud

この問題をトラブルシューティングするには、サービスアカウントに次の最小限のロールまたは権限があることを確認します。

Dataproc ワーカー ロール（roles/dataproc.worker）: このロールは、Apache Spark 向け Serverless が Spark ワークロードとセッションを管理および実行するために必要な権限を付与します。
Storage オブジェクト閲覧者（roles/storage.objectViewer）、 Storage オブジェクト作成者（roles/storage.objectCreator）、または Storage オブジェクト管理者（roles/storage.admin）: Spark アプリケーションが Cloud Storage バケットから読み取りまたは書き込みを行う場合、サービスアカウントにはバケットにアクセスするための適切な権限が必要です。たとえば、入力データが Cloud Storage バケットにある場合は、Storage Object Viewer が必要です。アプリケーションが Cloud Storage バケットに書き込みを行う場合は、 Storage Object Creator または Storage Object Admin が必要です。
BigQuery データ編集者 （roles/bigquery.dataEditor）または BigQuery データ閲覧者 （roles/bigquery.dataViewer）: Spark アプリケーションが BigQuery とやり取りする場合は、サービスアカウントに適切な BigQuery ロールがあることを確認します。
Cloud Logging の権限: 効果的なデバッグを行うには、サービスアカウントに Cloud Logging にログを書き込む権限が必要です。通常、 Logging Writer ロール（roles/logging.logWriter）で十分です。

権限またはアクセスに関連する一般的なエラー

dataproc.worker ロールがない: このコアロールがないと、 Apache Spark 向け Serverless インフラストラクチャはドライバノードを適切にプロビジョニングして管理できません。
Cloud Storage の権限が不十分: Spark アプリケーションが、必要なサービスアカウントの権限なしに Cloud Storage バケットから入力データを読み取ろうとしたり、出力データを書き込もうとしたりすると、重要なリソースにアクセスできないため、ドライバの初期化に失敗する可能性があります。
ネットワークまたはファイアウォールの問題: VPC Service Controls またはファイアウォールルールにより、サービスアカウントが API またはリソースにアクセスできなくなることがあります。 Google Cloud

サービスアカウントの権限を確認して更新するには:

コンソールの Google Cloud [ IAM と管理 > IAM ] ページに移動します。
バッチワークロードまたはセッションに使用するサービスアカウントを見つけます。
必要なロールが割り当てられていることを確認します。割り当てられていない場合は、追加します。

Apache Spark 向け Serverless のロールと権限のリストについては、 Apache Spark 向け Serverless の権限と IAM ロールをご覧ください。

Apache Spark 向け Google Cloud Serverless サービス アカウント コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

3.0 より前のランタイム サービス アカウント

3.0 以降のランタイム サービス アカウント

IAM サービス アカウントのロールを表示して管理する

プロジェクト間サービス アカウントを使用する方法