Alur kerja menggunakan Cloud Scheduler

Tujuan:

1. Buat template alur kerja Dataproc yang menjalankan
   tugas Spark PI
2. Buat tugas Cloud Scheduler untuk memulai alur kerja pada waktu tertentu.

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• Dataproc
• Compute Engine
• Cloud Scheduler

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Menyiapkan project

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Membuat peran khusus

1. Buka halaman IAM & Admin → Roles di Google Cloud console.
   1. Klik CREATE ROLE untuk membuka halaman Create Role.
   2. Lengkapi kolom Judul, Deskripsi, ID, Tahap peluncuran. Saran: Gunakan "Dataproc Workflow Template Create" sebagai judul peran.
   3. Klik TAMBAHKAN IZIN,
      1. Di formulir Tambahkan izin, klik Filter, lalu pilih "Izin". Lengkapi filter untuk membaca "Izin: dataproc.workflowTemplates.instantiate".
      2. Klik kotak centang di sebelah kiri izin yang tercantum, lalu klik Tambahkan.
   4. Di halaman Buat Peran, klik TAMBAHKAN IZIN lagi untuk mengulangi sub-langkah sebelumnya guna menambahkan izin "iam.serviceAccounts.actAs" ke peran khusus. Halaman Create Role kini mencantumkan dua izin.
   5. Klik BUAT di halaman Peran Kustom. Peran khusus akan dicantumkan di halaman Peran.

Membuat akun layanan

1. Di konsol Google Cloud , buka halaman Service Accounts.

   Buka Akun Layanan

2. Pilih project Anda.

3. Klik Create Service Account.

4. Di kolom Nama akun layanan, masukkan nama workflow-scheduler. Konsol Google Cloud akan mengisi kolom ID akun layanan berdasarkan nama ini.

5. Opsional: Di kolom Deskripsi akun layanan, masukkan deskripsi akun layanan.

6. Klik Buat dan lanjutkan.

7. Klik kolom Select a role dan pilih peran kustom Dataproc Workflow Template Create yang Anda buat di langkah sebelumnya.

8. Klik Lanjutkan.

9. Di kolom Peran admin akun layanan, masukkan alamat email Akun Google Anda.

10. Klik Selesai untuk menyelesaikan pembuatan akun layanan.

Buat template alur kerja.

Salin dan jalankan perintah yang tercantum di bawah di jendela terminal lokal atau di Cloud Shell untuk membuat dan menentukan template alur kerja.

Catatan:

• Perintah menentukan "us-central1" region. Anda dapat menentukan region yang berbeda atau menghapus flag --region jika sebelumnya Anda telah menjalankan gcloud config set compute/region untuk menetapkan properti region.
• Urutan "-- " (tanda hubung ganda spasi) dalam perintah add-job meneruskan argumen 1000 ke tugas SparkPi, yang menentukan jumlah sampel yang akan digunakan untuk memperkirakan nilai Pi.
1. Buat template alur kerja.

   gcloud dataproc workflow-templates create sparkpi \
       --region=us-central1
   

2. Tambahkan tugas spark ke template alur kerja sparkpi. ID langkah "compute" wajib diisi, dan mengidentifikasi tugas SparkPi yang ditambahkan.

   gcloud dataproc workflow-templates add-job spark \
       --workflow-template=sparkpi \
       --step-id=compute \
       --class=org.apache.spark.examples.SparkPi \
       --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
       --region=us-central1 \
       -- 1000
   

3. Gunakan cluster terkelola, node tunggal untuk menjalankan alur kerja. Dataproc akan membuat cluster, menjalankan alur kerja di cluster tersebut, lalu menghapus cluster saat alur kerja selesai.

   gcloud dataproc workflow-templates set-managed-cluster sparkpi \
       --cluster-name=sparkpi \
       --single-node \
       --region=us-central1
   

4. Klik nama sparkpi di halaman Workflows Dataproc di konsol Google Cloud untuk membuka halaman Workflow template details. Konfirmasi atribut template sparkpi.

Buat tugas Cloud Scheduler

1. Buka halaman Cloud Scheduler di Google Cloud konsol (Anda mungkin perlu memilih project untuk membuka halaman). Klik CREATE JOB.

2. Masukkan atau pilih informasi pekerjaan berikut:

   1. Pilih region: "us-central" atau region lain tempat Anda membuat template alur kerja.
   2. Name: "sparkpi"
   3. Frekuensi: "* * * * *" memilih setiap menit; "0 9 * * 1" memilih setiap hari Senin pukul 9.00. Lihat Menentukan Jadwal Tugas untuk nilai unix-cron lainnya. Catatan: Anda akan dapat mengklik tombol JALANKAN SEKARANG di Tugas Cloud Scheduler di konsol Google Cloud untuk menjalankan dan menguji tugas, terlepas dari frekuensi yang Anda tetapkan untuk tugas.
   4. Zona waktu: Pilih timezone Anda. Ketik "Amerika Serikat" untuk mencantumkan zona waktu AS.
   5. Target: "HTTP"
   6. URL: Sisipkan URL berikut setelah menyisipkan your-project-id. Ganti "us-central1" jika Anda membuat template alur kerja di region lain. URL ini akan memanggil Dataproc workflowTemplates.instantiate API untuk menjalankan template alur kerja sparkpi Anda.

      https://dataproc.googleapis.com/v1/projects/your-project-id/regions/us-central1/workflowTemplates/sparkpi:instantiate?alt=json
      

   7. Metode HTTP:
      1. "POST"
      2. Isi: "{}"
         Jika tugas terjadwal menjalankan alur kerja berparameter, Anda dapat meneruskan parameter ke alur kerja menggunakan payload JSON di Isi:

         {"parameters": {"PARAMETER_NAME": "VALUE"}}
         

   8. Header Auth:
      1. "Tambahkan token OAuth"
      2. Akun layanan: Masukkan service account address dari akun layanan yang Anda buat untuk tutorial ini. Anda dapat menggunakan alamat akun berikut setelah memasukkan your-project-id:

         [e-mail]
         

      3. Cakupan: Anda dapat mengabaikan item ini.
   9. Klik BUAT.

Menguji tugas alur kerja terjadwal

1. Di baris tugas sparkpi di halaman Cloud Scheduler Jobs, klik JALANKAN SEKARANG.

2. Tunggu beberapa menit, lalu buka halaman Workflows Dataproc untuk memverifikasi bahwa alur kerja sparkpi telah selesai.

3. Setelah alur kerja menghapus cluster terkelola, detail tugas akan tetap ada di konsol. Google Cloud Klik tugas compute... yang tercantum di halaman Jobs Dataproc untuk melihat detail tugas alur kerja.

Pembersihan

Alur kerja dalam tutorial ini menghapus cluster terkelolanya saat alur kerja selesai. Dengan mempertahankan alur kerja, Anda dapat menjalankan ulang alur kerja dan tidak dikenai biaya. Anda dapat menghapus resource lain yang dibuat dalam tutorial ini untuk menghindari biaya berulang.

Menghapus project

Perhatian: Penghapusan project memiliki efek berikut:

• Semua isi project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Menghapus template alur kerja

gcloud dataproc workflow-templates delete sparkpi \
    --region=us-central1

Menghapus tugas Cloud Scheduler

Buka halaman Cloud Scheduler Jobs di konsol Google Cloud , centang kotak di sebelah kiri fungsi sparkpi, lalu klik DELETE.

Menghapus akun layanan Anda

Buka halaman IAM & Admin → Service Accounts di konsol Google Cloud , centang kotak di sebelah kiri akun layanan workflow-scheduler..., lalu klik DELETE.

Langkah berikutnya

• Lihat Ringkasan template alur kerja Dataproc.
• Lihat Solusi penjadwalan alur kerja.