Apache Spark バッチワークロードを送信する

Serverless for Apache Spark マネージドコンピューティングインフラストラクチャでバッチワークロードを送信し、必要に応じてリソースをスケーリングする方法について説明します。 Google Cloud

始める前に

プロジェクトを設定し、必要に応じて Identity and Access Management ロールを付与します。

プロジェクトを設定する

必要に応じて、次の手順を 1 つ以上行います。

アカウントにログインします。 Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオで Google プロダクトのパフォーマンスを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

必要に応じて IAM ロールを付与する

このページの例を実行するには、特定の IAM ロールが必要です。組織のポリシーによっては、これらのロールがすでに付与されている場合があります。ロールの付与を確認するには、ロールを付与する必要がありますか？をご覧ください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

ユーザーロール

サーバーレスバッチワークロードを送信するために必要な権限を取得するには、次の IAM ロールを付与するように管理者に依頼してください。

Dataproc 編集者（roles/dataproc.editor）プロジェクトに対する
Compute Engine のデフォルトのサービスアカウントに対するサービスアカウントユーザー（roles/iam.serviceAccountUser）

サービスアカウントロール

Compute Engine のデフォルトのサービスアカウントにサーバーレスバッチワークロードを送信するために必要な権限が付与されるように、プロジェクトの Compute Engine のデフォルトのサービスアカウントに Dataproc ワーカー（roles/dataproc.worker） IAM ロールを付与するように管理者に依頼してください。

Spark バッチワークロードの送信

Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用して、 Serverless for Apache Spark バッチワークロードを作成して送信できます。

コンソール

コンソールで、[Dataproc バッチ] に移動します。 Google Cloud
[作成] をクリックします。
次のフィールドを選択して入力し、円周率の近似値を計算する Spark バッチワークロードを送信します。
- バッチ情報:
  - バッチ ID: バッチワークロードの ID を指定します。この値は 4 ～ 63 文字にする必要があります。有効な文字は /[a-z][0-9]-/ です。
  - リージョン: ワークロードが実行されるリージョンを選択します。
- コンテナ:
  - バッチタイプ: Spark.
  - ランタイムバージョン: 2.3 ランタイムバージョンを確認または選択します。
  - メインクラス:
```
org.apache.spark.examples.SparkPi
```
  - jar ファイル （このファイルは Serverless for Apache Spark Spark 実行環境にプリインストールされています）。
```
file:///usr/lib/spark/examples/jars/spark-examples.jar
```
  - 引数: 1000
- 実行構成: [サービスアカウント] を選択します。デフォルトでは、バッチは Compute Engine のデフォルトのサービスアカウントを使用して実行されます。カスタムサービスアカウントを指定できます。デフォルトまたはカスタムのサービスアカウントには、 Dataproc ワーカーのロールが必要です。
- ネットワーク構成: セッションリージョンでサブネットワーク を選択します。Serverless for Apache Spark は、プライベート Google アクセス（PGA）を指定されたサブネットで有効にします。ネットワーク接続の要件については、 Google Cloud Serverless for Apache Spark のネットワーク構成をご覧ください。
- プロパティ: Spark バッチワークロードに設定するサポートされている Spark プロパティの Key（プロパティ名）と Value を入力します。注: Compute Engine のクラスタプロパティの Dataproc とは異なり、 Serverless for Apache Spark のワークロードプロパティに spark: 接頭辞は含まれていません。
- その他のオプション:
  - 外部のセルフマネージド Hive メタストアを使用するようにバッチワークロードを構成できます。
  - 永続履歴サーバー（PHS）を使用できます。 PHS は、バッチワークロードを実行するリージョンに配置する必要があります。
[送信] をクリックして、Spark バッチワークロードを実行します。

gcloud

Spark バッチワークロードを送信して pi の近似値を計算するには、次の gcloud CLI gcloud dataproc batches submit spark のコマンドをターミナルウィンドウまたは Cloud Shell でローカルに実行します。

gcloud dataproc batches submit spark \
    --region=REGION \
    --version=2.3 \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    -- 1000

次のように置き換えます。

REGION: ワークロードが実行されるリージョンを指定します。
その他のオプション: 他のワークロードオプションと Spark プロパティを指定するための gcloud dataproc batches submit spark フラグを追加できます。
- --jars: サンプル JAR ファイルが Spark 実行環境にプリインストールされています。 SparkPi ワークロードに渡される 1000 コマンド引数は、円周率の見積もりロジックを 1000 回繰り返し指定します。（ワークロード入力引数は「-- 」の後に含まれます）
- --subnet: このフラグを追加して、セッションリージョンのサブネットの名前を指定できます。サブネットを指定しない場合、Serverless for Apache Spark はセッションリージョンの default サブネットを選択します。Serverless for Apache Spark は、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、 Google Cloud Serverless for Apache Spark のネットワーク構成をご覧ください。
- --tags: このフラグを追加して、トラフィック制御のネットワークタグを指定できます。ネットワークタグを使用して接続を制限します。本番環境では、Spark ワークロードによって使用される IP アドレスにファイアウォールルールを制限することをおすすめします。
- --properties: このフラグを追加して、 Spark バッチワークロードで使用するサポートされている Spark プロパティを入力できます。
- --deps-bucket: このフラグを追加して、Serverless for Apache Spark がワークロードの依存関係をアップロードする Cloud Storage バケットを指定できます。バケットの gs:// URI 接頭辞は必要ありません。バケットのパスまたはバケット名を指定できます。Serverless for Apache Spark は、バッチワークロードを実行する前に、ローカルファイルをバケット内の /dependencies フォルダにアップロードします。注: バッチワークロードがローカルマシン上のファイルを参照する場合、このフラグは必須です。
- --ttl: --ttl フラグを追加して、バッチの有効期間の長さを指定できます。ワークロードがこの期間を超えると、進行中の作業の終了を待たずに無条件に終了します。期間は、 s, m, h, または d （秒、分、時間、日）の接尾辞を使用して指定します。最小値は 10 分（10m）、最大値は 14 日（14d）です。
  - 1.1 または 2.0 ランタイムバッチ: 1.1 または 2.0 ランタイムバッチワークロードで --ttl が指定されていない場合、ワークロードは自然に終了するまで実行されます（終了しない場合、永続的に実行されます）。
  - 2.1 以降のランタイムバッチ: 2.1 以降のランタイムバッチワークロードで --ttl が指定されていない場合、デフォルトは 4h です。
- --service-account: ワークロードの実行に使用するサービスアカウントを指定できます。サービスアカウントを指定しない場合、ワークロードは Compute Engine のデフォルトのサービスアカウントで実行されます。サービスアカウントには、 Dataproc ワーカーのロールが必要です。
- Hive メタストア: 次のコマンドは、標準の Spark 構成を使用する外部のセルフマネージド Hive メタストアを使用するようにバッチワークロードを構成します。
```
gcloud dataproc batches submit spark\
    --properties=spark.sql.catalogImplementation=hive,spark.hive.metastore.uris=METASTORE_URI,spark.hive.metastore.warehouse.dir=WAREHOUSE_DIR> \
    other args ...
        
```
- 永続的履歴サーバー:
  1. 次のコマンドは、単一ノードの Dataproc クラスタに PHS を作成します。PHS は、バッチワークロードを実行するリージョンに配置する必要があり、Cloud Storage bucket-name が存在している必要があります。
```
gcloud dataproc clusters create PHS_CLUSTER_NAME \
    --region=REGION \
    --single-node \
    --enable-component-gateway \
    --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/phs/*/spark-job-history
             
```
  2. 実行中の永続履歴サーバーを指定してバッチワークロードを送信します。
```
gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    --history-server-cluster=projects/project-id/regions/region/clusters/PHS-cluster-name \
    -- 1000
              
```
- ランタイムバージョン: --version フラグを使用して、ワークロードの Serverless for Apache Spark ランタイムバージョンを指定します。
```
gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    --version=VERSION
    -- 1000
            
```

API

このセクションでは、Serverless for Apache Spark batches.create` を使用して、pi の近似値を計算するバッチワークロードを作成する方法について説明します。

リクエストのデータを使用する前に、次のように置き換えます。

project-id: A Google Cloud プロジェクト ID。
region: Serverless for Apache Spark がワークロードを実行する Compute Engine リージョン。 Google Cloud

注:

PROJECT_ID: 実際の Google Cloud プロジェクト ID。プロジェクト ID は、コンソールのダッシュボードの [Project info] セクションに表示されます。 Google Cloud
REGION: セッションリージョン。

HTTP メソッドと URL:

POST https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches

リクエストの本文（JSON）:

{
  "sparkBatch":{
    "args":[
      "1000"
    ],
    "runtimeConfig": {
      "version": "2.3",
    },
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ],
    "mainClass":"org.apache.spark.examples.SparkPi"
  }
}

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches"

PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザーアカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
"name":"projects/project-id/locations/region/batches/batch-id",
  "uuid":",uuid",
  "createTime":"2021-07-22T17:03:46.393957Z",
  "sparkBatch":{
    "mainClass":"org.apache.spark.examples.SparkPi",
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "runtimeInfo":{
    "outputUri":"gs://dataproc-.../driveroutput"
  },
  "state":"SUCCEEDED",
  "stateTime":"2021-07-22T17:06:30.301789Z",
  "creator":"account-email-address",
  "runtimeConfig":{
    "version":"2.3",
    "properties":{
      "spark:spark.executor.instances":"2",
      "spark:spark.driver.cores":"2",
      "spark:spark.executor.cores":"2",
      "spark:spark.app.name":"projects/project-id/locations/region/batches/batch-id"
    }
  },
  "environmentConfig":{
    "peripheralsConfig":{
      "sparkHistoryServerConfig":{
      }
    }
  },
  "operation":"projects/project-id/regions/region/operation-id"
}

ワークロードの費用を見積もる

Serverless for Apache Spark ワークロードは、データコンピューティングユニット（DCU）とシャッフルストレージリソースを消費します。Dataproc の UsageMetricsを出力してワークロードリソースの消費とコストを見積もる例については、Serverless for Apache Spark の料金をご覧ください。

次のステップ

以下の内容について学習します。

Apache Spark バッチ ワークロードを送信する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

始める前に

プロジェクトを設定する

必要に応じて IAM ロールを付与する

ユーザーロール

サービス アカウント ロール

Spark バッチ ワークロードの送信

コンソール

gcloud

API

curl（Linux、macOS、Cloud Shell）

PowerShell（Windows）

ワークロードの費用を見積もる

次のステップ

Apache Spark バッチワークロードを送信する

サービスアカウントロール

Spark バッチワークロードの送信