Executar pipelines de dados e de IA e provisionar recursos para eles com a Orquestração de Pipelines

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Esta página descreve a relação entre a Orquestração de Pipelines e o Airflow gerenciado.

Sobre a Orquestração de Pipelines

A Orquestração de Pipelines é um framework unificado e declarativo de orquestração e implantação automatizada otimizado para gerenciar pipelines de dados e de IA no Google Cloud.

Com a Orquestração de Pipelines, é possível definir seus pipelines e as configurações de implantação usando uma linguagem específica do domínio (DSL, na sigla em inglês) declarativa baseada em YAML. Esse framework abstrai a infraestrutura subjacente, permitindo que você se concentre na lógica dos fluxos de trabalho de dados e de IA, enquanto a Orquestração de Pipelines processa a implantação, o controle de versões e a orquestração.

Sobre os ambientes do Airflow gerenciado na Orquestração de Pipelines

O Airflow gerenciado é o mecanismo de orquestração que executa seus pipelines após a implantação. Você atribui um ambiente do Airflow gerenciado como parte de uma definição de pipeline. Esse ambiente é chamado de ambiente de execução na Orquestração de Pipelines.

Benefícios da Orquestração de Pipelines:

  1. Você pode capacitar equipes na sua organização que não são especialistas em Airflow para criar e executar fluxos de trabalho sem escrever DAGs ou configurar o Airflow. Por exemplo, é possível executar um notebook em um cluster efêmero do Serviço Gerenciado para Apache Spark e especificar todos os parâmetros de programação, recursos e configuração para a execução em YAML sem escrever nenhum código DAG.

  2. Toda a configuração e implantação na Orquestração de Pipelines é baseada em comandos YAML e da CLI gcloud. Todos os DAGs do Airflow são gerados automaticamente, e não é necessário interagir com o Airflow, os ambientes do Airflow gerenciado ou os buckets de ambiente. É possível desenvolver e implantar fluxos de trabalho em um repositório Git normal em que os arquivos de recursos estão localizados.

  3. As definições YAML funcionam em todas as versões do Airflow. Não é necessário ajustar o código para mudanças entre versões do Airflow ou diferenças nos pacotes instalados. Por exemplo, não é necessário migrar os pipelines se você passar do Airflow 2 para o Airflow 3.

  4. A Orquestração de Pipelines é integrada ao Google Cloud Data Agent Kit, para que você possa usar a criação e a solução de problemas do agente. É possível usar o agente para escrever pipelines, facilitar a implantação e observar o status dos pipelines usando a CLI ou o ambiente de desenvolvimento integrado (IDE) de sua preferência.

Como a Orquestração de Pipelines funciona

A Orquestração de Pipelines oferece suporte a várias ações e Google Cloud serviços, como:

  • Execução de scripts PySpark no Serviço Gerenciado para Apache Spark.
  • Execução de arquivos de notebook no Serviço Gerenciado para Apache Spark.
  • Execução de consultas SQL no BigQuery ou no Serviço Gerenciado para Apache Spark.
  • Execução de pipelines de processamento de dados no framework Dataform ou dbt.
  • Execução de scripts Python.

Um fluxo de trabalho típico para a Orquestração de Pipelines é:

  1. Você define o pipeline como uma sequência de ações que precisam ser executadas usando um dos Google Cloud serviços.
  2. Você define as configurações de recursos para as ações do pipeline. Por exemplo, é possível especificar que uma ação específica precisa ser executada em um cluster efêmero do Serviço Gerenciado para Apache Spark que tenha uma configuração específica.
  3. (Opcional) Você define recursos que precisam ser provisionados automaticamente se eles ainda não existirem pelo mecanismo de recursos provisionados. Por exemplo, é possível especificar que um cluster estático do Serviço Gerenciado para Apache Spark em uma configuração específica precisa ser criado.
  4. Você adiciona o arquivo de definição de pipeline com as ações que quer executar a um repositório Git.
  5. Você adiciona recursos para ações de pipeline individuais (como arquivos de script ou notebook) a um repositório Git.

  6. Você implanta os pipelines no ambiente do Airflow gerenciado com um comando da CLI gcloud. A Orquestração de Pipelines cria automaticamente alguns arquivos DAG que executam o pipeline.

    Em comparação com os DAGs do Airflow independentes, esses DAGs são gerados automaticamente e não precisam ser gerenciados de forma alguma. É possível verificar o status da execução do pipeline e gerenciar pipelines com comandos da CLI gcloud.

  7. O ambiente executa o pipeline de acordo com uma programação.

Monitorar o status do pipeline

É possível conferir o status de todos os pipelines executados no ambiente e o histórico de execução do pipeline no Google Cloud console e na Google Cloud CLI. Para mais informações, consulte Gerenciar pipelines de orquestração.

A seguir