Questa sezione descrive le opzioni di Google Cloud che puoi utilizzare per pianificare i workflow.
Modelli di flusso di lavoro Dataproc
I modelli di flusso di lavoro di Managed Service for Apache Spark offrono un meccanismo flessibile e facile da usare per la gestione e l'esecuzione dei flussi di lavoro. Un modello di flusso di lavoro è una configurazione del flusso di lavoro riutilizzabile. Definisce un grafico di job con informazioni sul punto di esecuzione di questi job.
Cloud Scheduler
Cloud Scheduler è un servizio di livello aziendale completamente gestito per la pianificazione di cron job. Consente di pianificare praticamente qualsiasi job, inclusi job batch, job per big data e operazioni dell'infrastruttura cloud. Fornisce una semplice pianificazione basata sul tempo, ad esempio giornaliera o oraria, senza richiedere la scrittura di codice.
Vantaggi:
Consente la creazione di istanze dei modelli di flusso di lavoro in base al tempo in base a espressioni cron familiari
Nessun codice da scrivere
Tutorial: Flusso di lavoro con Cloud Scheduler
Cloud Functions
Cloud Run Functions è una soluzione di calcolo leggera che puoi utilizzare per creare funzioni autonome a uso specifico, che rispondano a eventi Cloud senza la necessità di gestire un ambiente server o di runtime. Puoi utilizzare le funzioni Cloud Run per avviare Workflows in risposta agli eventi Pub/Sub o alle modifiche ai file in Cloud Storage. Puoi utilizzare Cloud Run Functions con Cloud Scheduler per i flussi di lavoro che richiedono il calcolo di parametri basati sul tempo.
Vantaggi:
Consente l'istanza del flusso di lavoro in risposta a eventi di dati, ad esempio nuovi file in Cloud Storage o eventi Pub/Sub.
È richiesta una codifica minima utilizzando le librerie client Managed Service for Apache Spark Go, Node.js o Python.
Generare dinamicamente workflow e parametri del workflow
Tutorial: Workflow con Cloud Run Functions
Cloud Composer
Managed Airflow è un servizio Apache Airflow gestito che puoi utilizzare per creare, pianificare, monitorare e gestire i workflow.
Vantaggi:
Supporta la pianificazione basata su ora ed eventi
Chiamate semplificate a Managed Service for Apache Spark utilizzando gli operatori
Generare dinamicamente workflow e parametri del workflow
Crea flussi di dati che si estendono a più Google Cloud prodotti
Tutorial: Workflow utilizzando Managed Service for Apache Airflow