Mengirimkan tugas Spark menggunakan template

Halaman ini menunjukkan cara menggunakan template Google APIs Explorer untuk menjalankan tugas Spark sederhana di cluster Managed Service for Apache Spark yang ada.

Untuk cara lain mengirimkan tugas ke cluster Managed Service for Apache Spark, lihat:

Sebelum memulai

Sebelum dapat menjalankan tugas Managed Service for Apache Spark, Anda harus membuat cluster dari satu atau beberapa virtual machine (VM) untuk menjalankannya. Anda dapat menggunakan APIs Explorer, konsolGoogle Cloud , alat command line gcloud gcloud CLI, atau Panduan memulai menggunakan Library Klien Cloud untuk membuat cluster.

Mengirim tugas

Untuk mengirimkan contoh tugas Apache Spark yang menghitung nilai kasar untuk pi, isi dan jalankan template Coba API ini di Google APIs Explorer.

  1. Parameter permintaan:

    1. Masukkan projectId Anda.
    2. Tentukan region tempat cluster Anda berada (konfirmasi atau ganti "us-central1"). Region cluster Anda tercantum di halaman Cluster Managed Service for Apache Spark di konsolGoogle Cloud .

  2. Isi permintaan:

    1. job.placement.clusterName: Nama cluster tempat tugas akan berjalan (konfirmasi atau ganti "example-cluster").
    2. job.sparkJob.args: "1000", jumlah tugas pekerjaan.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Ini adalah jalur file lokal di node master cluster Managed Service for Apache Spark tempat jar yang berisi kode tugas Spark Scala diinstal.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Ini adalah metode utama aplikasi Scala penghitungan pi tugas.

  3. Klik EXECUTE. Saat pertama kali menjalankan template API, Anda mungkin diminta untuk memilih dan login ke Akun Google Anda, lalu mengizinkan Google API Explorer mengakses akun Anda. Jika permintaan berhasil, respons JSON menunjukkan bahwa permintaan pengiriman tugas sedang menunggu keputusan.

  4. Untuk melihat output tugas, buka halaman Managed Service for Apache Spark Jobs di konsol Google Cloud , lalu klik ID Tugas teratas (paling baru). Klik "LINE WRAP" ke AKTIF agar baris yang melebihi margin kanan dapat dilihat.

    ...
Pi is roughly 3.141804711418047
...

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Jika Anda tidak memerlukan cluster untuk menjelajahi panduan memulai lainnya atau menjalankan tugas lain, gunakan APIs Explorer, konsolGoogle Cloud , alat command line gcloud CLI gcloud, atau Cloud Client Libraries untuk menghapus cluster.

Langkah berikutnya