Ejecuta canalizaciones de datos y de IA, y aprovisiona recursos para ellas con Canalizaciones de organización

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)

En esta página, se describe la relación entre las canalizaciones de organización y Managed Airflow.

Acerca de las canalizaciones de organización

Las canalizaciones de organización son un framework de organización y de implementación automatizada unificado y declarativo optimizado para administrar sin problemas las canalizaciones de datos y de IA en Google Cloud.

Con las canalizaciones de organización, puedes definir tus canalizaciones y sus configuraciones de implementación con un lenguaje específico del dominio (DSL) declarativo basado en YAML. Este framework abstrae la infraestructura subyacente, lo que te permite enfocarte en la lógica de tus flujos de trabajo de datos y de IA, mientras que las canalizaciones de organización controlan la implementación, el control de versiones y la organización.

Acerca de los entornos de Managed Airflow en las canalizaciones de organización

Managed Airflow es el motor de organización que ejecuta tus canalizaciones después de que se implementan. Asignas un entorno de Managed Airflow como parte de una definición de canalización. Este entorno se denomina entorno de ejecutor en las canalizaciones de organización.

Beneficios de las canalizaciones de organización:

  1. Puedes permitir que los equipos de tu organización que no son expertos en Airflow creen y ejecuten sus flujos de trabajo sin escribir DAG ni configurar Airflow. Por ejemplo, puedes ejecutar un notebook en un clúster efímero de Managed Service para Apache Spark y especificar todos los parámetros de programación, recursos y configuración para su ejecución en YAML sin escribir ningún código DAG.

  2. Toda la configuración y la implementación en las canalizaciones de organización se basan en comandos de YAML y de gcloud CLI. Todos los DAG de Airflow se generan automáticamente y no es necesario interactuar con Airflow, los entornos de Managed Airflow ni los buckets de entorno. Puedes desarrollar e implementar tus flujos de trabajo en un repositorio de Git normal en el que se encuentran los archivos de recursos.

  3. Tus definiciones de YAML funcionan en todas las versiones de Airflow. No es necesario que ajustes tu código para los cambios entre las versiones de Airflow ni las diferencias en los paquetes instalados. Por ejemplo, no es necesario migrar tus canalizaciones si pasas de Airflow 2 a Airflow 3.

  4. Las canalizaciones de organización se integran con Google Cloud Data Agent Kit, por lo que puedes usar la creación y la solución de problemas de agentes. Puedes usar el agente para escribir tus canalizaciones, facilitar la implementación y observar el estado de tus canalizaciones con tu IDE o CLI preferido.

Cómo funcionan las canalizaciones de organización

Las canalizaciones de organización admiten una variedad de acciones y Google Cloud servicios, como los siguientes:

  • Ejecutar secuencias de comandos de PySpark en Managed Service para Apache Spark
  • Ejecutar archivos de notebook en Managed Service para Apache Spark
  • Ejecutar consultas de SQL en BigQuery o Managed Service para Apache Spark
  • Ejecutar canalizaciones de procesamiento de datos en Dataform o el framework de dbt
  • Ejecutar secuencias de comandos de Python

Un flujo de trabajo típico para las canalizaciones de organización es el siguiente:

  1. Defines tu canalización como una secuencia de acciones que se deben ejecutar con uno de los Google Cloud servicios.
  2. Defines las configuraciones de recursos para las acciones de tu canalización. Por ejemplo, puedes especificar que una acción en particular se debe ejecutar en un clúster efímero de Managed Service para Apache Spark que tenga una configuración específica.
  3. (Opcional) Defines recursos que se deben aprovisionar automáticamente si aún no existen a través del mecanismo de recursos aprovisionados. Por ejemplo, puedes especificar que se debe crear un clúster estático de Managed Service para Apache Spark en una configuración específica.
  4. Agrega el archivo de definición de canalización con las acciones que deseas ejecutar a un repositorio de Git.
  5. Agrega recursos para acciones de canalización individuales (como archivos de secuencia de comandos o de notebook) a un repositorio de Git.

  6. Implementa tus canalizaciones en tu entorno de Managed Airflow con un comando de gcloud CLI. Las canalizaciones de organización crean automáticamente algunos archivos DAG que ejecutan tu canalización.

    En comparación con los DAG de Airflow independientes, estos DAG se generan automáticamente y no es necesario administrarlos de ninguna manera. Puedes verificar el estado de la ejecución de tu canalización y administrar canalizaciones con comandos de la gcloud CLI.

  7. Tu entorno ejecuta la canalización según un programa.

Supervisa el estado de la canalización

Puedes ver el estado de todas las canalizaciones que se ejecutan en tu entorno y el historial de ejecución de la canalización en la Google Cloud consola y en la Google Cloud CLI. Para obtener más información, consulta Administra canalizaciones de organización.

¿Qué sigue?