テンプレートを使用して Spark ジョブを送信する

このページでは、Google API Explorer テンプレートを使用して、 既存の Managed Service for Apache Spark クラスタで簡単な Spark ジョブを実行する方法について説明します。

Managed Service for Apache Spark クラスタにジョブを送信するその他の方法については、以下をご覧ください。

始める前に

Managed Service for Apache Spark ジョブを実行する前に、ジョブを実行する仮想マシン（VM）のクラスタを 1 つ以上作成する必要があります。API Explorer、Google Cloud コンソール、gcloud CLI のgcloud コマンドライン ツール、またはCloud クライアント ライブラリを使用したクイックスタートを使用してクラスタを作成できます。

ジョブを送信する

円周率の近似値を計算するサンプルの Apache Spark ジョブを送信するには、Google API Explorer の [Try this API] テンプレートに入力します。

  1. リクエスト パラメータ:

    1. プロジェクト ID を挿入します。
    2. クラスタが配置されているリージョン を指定します（「us-central1」を必要に応じて置き換えます）。クラスタのリージョンは、コンソールの Managed Service for Apache Spark の[Clusters]ページに表示されます。Google Cloud

  2. リクエストの本文:

    1. job.placement.clusterName: ジョブを実行するクラスタの名前（「example-cluster」を必要に応じて置き換えます）。
    2. job.sparkJob.args:「1000」（ジョブタスクの数）。
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar"。これは、Spark Scala ジョブコードを含む jar がインストールされている Managed Service for Apache Spark クラスタのマスターノード上のローカル ファイルパスです。
    4. job.sparkJob.mainClass:「"org.apache.spark.examples.SparkPi"」。これは、ジョブの円周率計算 Scala アプリケーションのメインメソッドです。

  3. [EXECUTE] をクリックします。API テンプレートを初めて実行する場合、Google アカウントを選択してログインし、Google API Explorer からアカウントへのアクセスを承認するように求められます。リクエストが成功すると、ジョブ送信リクエストが保留中であることが JSON レスポンスに表示されます。

  4. ジョブ出力を確認するには、 [Managed Service for Apache Spark のジョブ] ページを コンソールで開き、一番上（最新）のジョブ ID をクリックします。 Google Cloud 右マージンを超える行を表示するには [行の折り返し] をクリックします。

    ...
Pi is roughly 3.141804711418047
...

クリーンアップ

このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、 次の手順を実施します。

  1. 他のクイックスタートの確認や、他のジョブを実行するためのクラスタが必要ない場合は、API Explorer、Google Cloud コンソール、gcloud CLI の gcloud コマンドライン ツール、または Cloud クライアント ライブラリを使用したクイックスタートを使用してクラスタを削除できます。

次のステップ