Bagian ini menjelaskan Google Cloud opsi yang dapat Anda gunakan untuk menjadwalkan alur kerja.
Template Alur Kerja Dataproc
Template Alur Kerja Managed Service untuk Apache Spark menyediakan mekanisme yang fleksibel dan mudah digunakan untuk mengelola serta menjalankan alur kerja. Template Alur Kerja adalah konfigurasi alur kerja yang dapat digunakan kembali. Template ini menentukan grafik tugas beserta informasi mengenai tempat menjalankan tugas-tugas tersebut.
Cloud Scheduler
Cloud Scheduler adalah penjadwal cron job tingkat perusahaan yang terkelola sepenuhnya. Anda dapat menggunakannya untuk menjadwalkan hampir segala tugas, termasuk tugas batch, big data, dan operasi infrastruktur Cloud. Cloud Scheduler menyediakan penjadwalan berbasis waktu yang sederhana, misalnya, harian atau per jam, tanpa mengharuskan Anda menulis kode.
Kelebihan:
Memungkinkan pembuatan instance template alur kerja berbasis waktu berdasarkan ekspresi cron yang umum
Tidak ada kode yang perlu ditulis
Tutorial: Alur kerja menggunakan Cloud Scheduler
Cloud Functions
Cloud Run Functions adalah solusi komputasi ringan yang dapat Anda gunakan untuk membuat fungsi yang berdiri sendiri dan bertujuan tunggal, yang merespons peristiwa Cloud tanpa perlu mengelola server atau lingkungan runtime. Anda dapat menggunakan Cloud Run Functions untuk meluncurkan Alur Kerja sebagai respons terhadap peristiwa Pub/Sub atau perubahan file di Cloud Storage. Anda dapat menggunakan Cloud Run Functions dengan Cloud Scheduler untuk alur kerja yang memerlukan perhitungan parameter berbasis waktu.
Kelebihan:
Memungkinkan pembuatan instance alur kerja sebagai respons terhadap peristiwa data, seperti file baru di Cloud Storage atau peristiwa Pub/Sub.
Memerlukan coding minimal menggunakan library klien Managed Service untuk Apache Spark Go, Node.js, atau Python
Membuat alur kerja dan parameter alur kerja secara dinamis
Tutorial: Alur kerja menggunakan Cloud Run Functions
Cloud Composer
Managed Airflow adalah layanan Apache Airflow terkelola yang dapat Anda gunakan untuk membuat, menjadwalkan, memantau, dan mengelola alur kerja.
Kelebihan:
Mendukung penjadwalan berbasis waktu dan peristiwa
Panggilan yang disederhanakan ke Managed Service untuk Apache Spark menggunakan Operator
Membuat alur kerja dan parameter alur kerja secara dinamis
Membuat aliran data yang mencakup beberapa Google Cloud produk
Tutorial: Alur kerja menggunakan Managed Service untuk Apache Airflow