"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Apache Spark バッチワークロードを送信する

必要に応じてリソースをスケーリングする Managed Service for Apache Spark コンピューティングインフラストラクチャでバッチワークロードを送信する方法について説明します。

始める前に

プロジェクトを設定し、必要に応じて Identity and Access Management ロールを付与します。

プロジェクトを設定する

必要に応じて、次のいずれか 1 つ以上の手順を行います。

アカウントにログインします。 Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでプロダクトがどのように機能するかを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイに利用できる $300 分の無料クレジットも提供されます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

Enable the API

必要に応じて IAM ロールを付与する

このページの例を実行するには、特定の IAM ロールが必要です。組織のポリシーによっては、これらのロールがすでに付与されている場合があります。ロールの付与を確認するには、ロールを付与する必要がありますか？をご覧ください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

ユーザーロール

サーバーレスバッチワークロードを送信するために必要な権限を取得するには、次の IAM ロールを付与するように管理者に依頼してください。

Dataproc 編集者（roles/dataproc.editor）プロジェクトに対する
Compute Engine のデフォルトのサービスアカウントに対するサービスアカウントユーザー（roles/iam.serviceAccountUser）

サービスアカウントロール

サーバーレスバッチワークロードを送信するために必要な権限が Compute Engine のデフォルトのサービスアカウントに付与されるように、プロジェクトの Compute Engine のデフォルトのサービスアカウントにDataproc ワーカー（roles/dataproc.worker）IAM ロールを付与するように管理者に依頼してください。

Spark バッチワークロードの送信

Google Cloud コンソール、Google Cloud CLI、または REST API を使用して、 Managed Service for Apache Spark バッチワークロードを作成して送信できます。

コンソール

コンソールで、[Managed Service for Apache Spark バッチ] に移動します。 Google Cloud
[作成] をクリックします。
次のフィールドを選択して入力し、pi の近似値を計算する Spark バッチワークロードを送信します。
- バッチ情報:
  - バッチ ID: バッチワークロードの ID を指定します。この値は 4 ～ 63 文字にする必要があります。有効な文字は /[a-z][0-9]-/ です。
  - リージョン: ワークロードが実行されるリージョンを選択します。
- コンテナ:
  - バッチタイプ: Spark.
  - ランタイムバージョン: 3.0 ランタイムバージョンを確認または選択します。
  - メインクラス:
```
org.apache.spark.examples.SparkPi
```
  - jar ファイル （このファイルは Managed Service for Apache Spark 実行環境にプリインストールされています）。
```
file:///usr/lib/spark/examples/jars/spark-examples.jar
```
  - 引数: 1000
- 実行構成: [サービスアカウント] を選択します。デフォルトでは、バッチは Compute Engine のデフォルトのサービスアカウントを使用して実行されます。カスタムサービスアカウントを指定できます。デフォルトまたはカスタムのサービスアカウントには、 Dataproc ワーカーのロールが必要です。
- ネットワーク構成: セッションリージョンでサブネットワーク を選択します。Managed Service for Apache Spark は、プライベート Google アクセス（PGA）を指定されたサブネットで有効にします。ネットワーク接続の要件については、 Managed Service for Apache Spark のネットワーク構成をご覧ください。
- プロパティ: サポートされている Spark プロパティの Key（プロパティ名）と Value を入力して、Spark バッチワークロードに設定します。注: Managed Service for Apache Spark クラスタプロパティとは異なり、 Managed Service for Apache Spark ワークロードプロパティには spark: 接頭辞が含まれていません。
- その他のオプション:
  - 外部のセルフマネージド Hive メタストアを使用するようにバッチワークロードを構成できます。
  - 永続履歴サーバー（PHS）を使用できます。 PHS は、バッチワークロードを実行するリージョンに配置する必要があります。
[送信] をクリックして、Spark バッチワークロードを実行します。

gcloud

Spark バッチワークロードを送信して pi の近似値を計算するには、次の gcloud CLI gcloud dataproc batches submit spark コマンドをターミナルウィンドウまたは Cloud Shellでローカルに実行します。

gcloud dataproc batches submit spark \
    --region=REGION \
    --version=3.0 \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    -- 1000

次のように置き換えます。

REGION: ワークロードが実行されるリージョンを指定します。
その他のオプション: 他のワークロードオプションと Spark プロパティを指定するための gcloud dataproc batches submit spark フラグを追加できます。
- --jars: サンプル JAR ファイルが Spark 実行環境にプリインストールされています。 SparkPi ワークロードに渡される 1000 コマンド引数は、円周率の見積もりロジックを 1000 回繰り返し指定します。（ワークロード入力引数は「-- 」の後に含まれます）
- --subnet: このフラグを追加して、セッションリージョンのサブネットの名前を指定できます。サブネットを指定しない場合、Managed Service for Apache Spark はセッションリージョンの default サブネットを選択します。Managed Service for Apache Spark は、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、 Managed Service for Apache Spark のネットワーク構成をご覧ください。
- --tags: このフラグを追加して、トラフィック制御のネットワークタグを指定できます。ネットワークタグを使用して接続を制限します。本番環境では、Spark ワークロードによって使用される IP アドレスにファイアウォールルールを制限することをおすすめします。
- --properties: このフラグを追加して、 Spark バッチワークロードで使用するサポートされている Spark プロパティを入力できます。
- --deps-bucket: このフラグを追加して、Managed Service for Apache Spark がワークロードの依存関係をアップロードする Cloud Storage バケットを指定できます。バケットの gs:// URI 接頭辞は必要ありません。バケットのパスまたはバケット名を指定できます。Managed Service for Apache Spark は、バッチワークロードを実行する前に、ローカルファイルをバケット内の /dependencies フォルダにアップロードします。注: バッチワークロードがローカルマシン上のファイルを参照する場合、このフラグは必須です。
- --ttl: --ttl フラグを追加して、バッチの有効期間の長さを指定できます。ワークロードがこの期間を超えると、進行中の作業の終了を待たずに無条件に終了します。期間を指定するには、 s、m、h、d （秒、分、時間、日）サフィックスを使用します。最小値は 10 分（10m）、最大値は 14 日（14d）です。
  - 1.1 または 2.0 ランタイムバッチ: 1.1 または 2.0 ランタイムバッチワークロードで --ttl が指定されていない場合、ワークロードは自然に終了するまで実行されます（終了しない場合、永続的に実行されます）。
  - 2.1 以降のランタイムバッチ: 2.1 以降のランタイムバッチワークロードで --ttl が指定されていない場合、デフォルトは 4h です。
- --service-account: ワークロードの実行に使用するサービスアカウントを指定できます。サービスアカウントを指定しない場合、ワークロードは Compute Engine のデフォルトのサービスアカウントで実行されます。サービスアカウントには、 Dataproc ワーカーのロールが必要です。
- Hive メタストア: 次のコマンドは、標準の Spark 構成を使用する外部のセルフマネージド Hive メタストアを使用するようにバッチワークロードを構成します。
```
gcloud dataproc batches submit spark\
    --properties=spark.sql.catalogImplementation=hive,spark.hive.metastore.uris=METASTORE_URI,spark.hive.metastore.warehouse.dir=WAREHOUSE_DIR> \
    other args ...
        
```
- 永続的履歴サーバー:
  1. 次のコマンドは、シングルノードの Managed Service for Apache Spark クラスタに PHS を作成します。PHS は、バッチワークロードを実行するリージョンに配置する必要があり、Cloud Storage bucket-name が存在している必要があります。
```
gcloud dataproc clusters create PHS_CLUSTER_NAME \
    --region=REGION \
    --single-node \
    --enable-component-gateway \
    --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/phs/*/spark-job-history
             
```
  2. 実行中の永続履歴サーバーを指定してバッチワークロードを送信します。
```
gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    --history-server-cluster=projects/project-id/regions/region/clusters/PHS-cluster-name \
    -- 1000
              
```
- ランタイムバージョン: --version フラグを使用して、ワークロードの Managed Service for Apache Spark ランタイムバージョンを指定します。
```
gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    --version=VERSION
    -- 1000
            
```

API

このセクションでは、Managed Service for Apache Spark batches.create` を使用して、pi の近似値を計算するバッチワークロードを作成する方法について説明します。

リクエストのデータを使用する前に、次のように置き換えます。

project-id: A Google Cloud プロジェクト ID。
region: Managed Service for Apache Spark がワークロードを実行する Compute Engine リージョン。

注:

PROJECT_ID: 実際の Google Cloud プロジェクト ID。プロジェクト ID は、コンソールのダッシュボードの [Project info] セクションに表示されます。 Google Cloud
REGION: セッションリージョン。

HTTP メソッドと URL:

POST https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches

リクエストの本文（JSON）:

{
  "sparkBatch":{
    "args":[
      "1000"
    ],
    "runtimeConfig": {
      "version": "2.3",
    },
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ],
    "mainClass":"org.apache.spark.examples.SparkPi"
  }
}

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches"

PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザーアカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
"name":"projects/project-id/locations/region/batches/batch-id",
  "uuid":",uuid",
  "createTime":"2021-07-22T17:03:46.393957Z",
  "sparkBatch":{
    "mainClass":"org.apache.spark.examples.SparkPi",
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "runtimeInfo":{
    "outputUri":"gs://dataproc-.../driveroutput"
  },
  "state":"SUCCEEDED",
  "stateTime":"2021-07-22T17:06:30.301789Z",
  "creator":"account-email-address",
  "runtimeConfig":{
    "version":"2.3",
    "properties":{
      "spark:spark.executor.instances":"2",
      "spark:spark.driver.cores":"2",
      "spark:spark.executor.cores":"2",
      "spark:spark.app.name":"projects/project-id/locations/region/batches/batch-id"
    }
  },
  "environmentConfig":{
    "peripheralsConfig":{
      "sparkHistoryServerConfig":{
      }
    }
  },
  "operation":"projects/project-id/regions/region/operation-id"
}

ワークロードの費用を見積もる

Managed Service for Apache Spark ワークロードは、データコンピューティングユニット（DCU）とシャッフルストレージリソースを消費します。UsageMetrics

次のステップ

以下の内容について学習します。

Apache Spark バッチ ワークロードを送信する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

始める前に

プロジェクトを設定する

必要に応じて IAM ロールを付与する

ユーザーロール

サービス アカウント ロール

Spark バッチ ワークロードの送信

コンソール

gcloud

API

curl（Linux、macOS、Cloud Shell）

PowerShell（Windows）

ワークロードの費用を見積もる

次のステップ

Apache Spark バッチワークロードを送信する

サービスアカウントロール

Spark バッチワークロードの送信