En esta sección, se describen las opciones que puedes usar para programar flujos de trabajo. Google Cloud
Plantillas de flujo de trabajo de Dataproc
Las plantillas de flujo de trabajo de Managed Service para Apache Spark brindan un mecanismo flexible y fácil de usar para administrar y ejecutar flujos de trabajo. Una plantilla de flujo de trabajo es una configuración reutilizable de flujo de trabajo. Define un grafo de trabajos con información sobre dónde ejecutar esos trabajos.
Cloud Scheduler
Cloud Scheduler es un programador de trabajos cron de nivel empresarial completamente administrado. Te permite programar casi cualquier trabajo, desde trabajos por lotes y de macrodatos hasta operaciones de infraestructura de nube. Proporciona una programación sencilla basada en el tiempo, por ejemplo, diaria o por hora, sin que tengas que escribir código.
Ventajas:
Habilita la creación de instancias de plantillas de flujo de trabajo basadas en el tiempo y en expresiones cron conocidas
No hay que escribir código
Instructivo: Flujo de trabajo con Cloud Scheduler
Cloud Functions
Cloud Run Functions es una solución de procesamiento ligera que puedes usar para crear funciones independientes y de un solo propósito que respondan a eventos de Cloud sin tener que administrar un servidor o un entorno de ejecución. Puedes usar Cloud Run Functions para iniciar Workflows en respuesta a eventos de Pub/Sub o cambios en los archivos en Cloud Storage. Puedes usar Cloud Run Functions con Cloud Scheduler para flujos de trabajo que requieran el cálculo de parámetros basados en el tiempo.
Ventajas:
Habilita la creación de instancias de flujo de trabajo en respuesta a eventos de datos, como archivos nuevos en eventos de Cloud Storage o Pub/Sub.
Genera flujos de trabajo y parámetros de flujo de trabajo de forma dinámica
Instructivo: Flujo de trabajo con Cloud Run Functions
Cloud Composer
Managed Airflow es un servicio administrado de Apache Airflow que puedes usar para crear, programar, supervisar y administrar flujos de trabajo.
Ventajas:
Admite la programación basada en eventos y en el tiempo
Llamadas simplificadas a Managed Service para Apache Spark con operadores
Genera flujos de trabajo y parámetros de flujo de trabajo de forma dinámica
Compila flujos de datos que abarcan varios Google Cloud productos
Instructivo: Flujo de trabajo con Managed Service para Apache Airflow