Criar ambientes de execução

Visualizar

Este produto está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Nesta página, descrevemos o processo de criação de ambientes de execução que vão executar seus pipelines de orquestração.

Sobre ambientes de execução

Cada ambiente de implantação precisa ter um ambiente de execução. O Airflow Gerenciado é o mecanismo de orquestração que executa seus pipelines depois que eles são implantados. Um ambiente de execução é um ambiente do Airflow Gerenciado que você atribuiu ao ambiente de implantação.

Antes de começar

• No momento, o único executor disponível para Orquestração de Pipelines no Google Cloud é o Serviço Gerenciado para Apache Airflow. Todas as cotas e os limites do sistema do Airflow Gerenciado são aplicáveis. Consulte os preços do Airflow Gerenciado para mais informações sobre os custos de um ambiente de execução.

• A Orquestração de Pipelines pode ser executada em ambientes de execução do Airflow Gerenciado (Geração 3) e (Geração 2). No Airflow gerenciado (Geração 3), é possível usar o Airflow 3 e o Airflow 2.

• Os pacotes do Orquestração de Pipelines vêm pré-instalados no Airflow Gerenciado a partir das seguintes versões:

  • composer-3-airflow-3.1.7-build.5
  • composer-3-airflow-2.11.1-build.1, composer-3-airflow-2.10.5-build.34 e composer-3-airflow-2.9.3-build.54
  • composer-2.16.11-airflow-2.11.1, composer-2.16.11-airflow-2.10.5

  Se você usa uma versão anterior do Airflow Gerenciado, é possível instalar o pacote orchestration-pipelines do PyPI manualmente.

• O tempo aproximado para criar um ambiente do Airflow Gerenciado é de 25 minutos.

• É possível criar ambientes gerenciados do Airflow no console, CLI gcloud e no Terraform.Google Cloud Este guia demonstra apenas comandos da CLI gcloud. Para instruções e exemplos de outras abordagens, consulte Criar ambientes na documentação do Airflow Gerenciado.

• A configuração padrão fornecida neste guia cria um ambiente do Airflow Gerenciado com IP público. O Airflow Gerenciado oferece muito mais opções de configuração de rede e segurança. Para mais informações sobre diferentes maneiras de configurar um ambiente de execução, consulte Criar ambientes na documentação do Airflow Gerenciado.

Revisar os papéis necessários do IAM

Para ter as permissões necessárias para criar ambientes de execução no seu projeto, peça ao administrador para conceder a você os seguintes papéis:

• Administrador de objetos do armazenamento e do ambiente (composer.environmentAndStorageObjectAdmin) e Usuário da conta de serviço (iam.serviceAccountUser) para criar e gerenciar ambientes no Serviço Gerenciado para Apache Airflow e gerenciar objetos em buckets associados a esses ambientes. Para mais informações sobre essas funções de usuário, consulte Conceder papéis aos usuários na documentação do Serviço Gerenciado para Apache Airflow.

Ativar a API Composer e as APIs para ações

1. Ative a API Cloud Composer. Para conferir a lista completa de serviços usados pelo Airflow Gerenciado, consulte Serviços exigidos pelo Airflow Gerenciado.
2. Ative as APIs dos serviços Google Cloud que você quer usar, como a API Dataproc.

Crie uma conta de serviço para o ambiente do runner e conceda a ela papéis do IAM.

A conta de serviço do ambiente de execução é usada para criar um novo ambiente do Serviço Gerenciado para Apache Airflow e executar todos os pipelines de orquestração implantados nele.

Peça para o administrador fazer o seguinte:

1. Crie uma conta de serviço conforme descrito na documentação do Identity and Access Management.

2. Conceda a ela o papel Worker do Composer (composer.worker). Esse papel fornece o conjunto de permissões necessárias na maioria dos casos.

   Para acessar outros recursos no seu projeto Google Cloud , conceda permissões extras a essa conta de serviço. Adicione permissões extras a essa conta de serviço somente quando necessário para a operação do pipeline de orquestração.

3. Se você quiser usar um ambiente do Airflow Gerenciado (Geração 2), siga as instruções em Conceder as permissões necessárias à conta de serviço do Airflow Gerenciado para conceder permissões extras.

4. Conceda as permissões necessárias para seu pipeline. Todas as tarefas de orquestração em um pipeline serão executadas pela conta de serviço do ambiente de execução. Portanto, você precisa conceder manualmente todas as permissões necessárias nessa conta de serviço.

   Por exemplo, se o pipeline usar uma ação executada em um cluster efêmero do Serviço Gerenciado para Apache Spark, a conta de serviço do ambiente de execução precisará ter permissões para criar e excluir um cluster do Serviço Gerenciado para Apache Spark, além de acionar e gerenciar jobs do Serviço Gerenciado para Apache Spark. Além disso, a API Dataproc precisa estar ativada.

Criar um ambiente do Serviço gerenciado para Apache Airflow

Importante: algumas ações nas primeiras versões de prévia da Orquestração de Pipelines podem exigir mais recursos de memória e CPU. Se você encontrar problemas com a análise ou execução do pipeline, considere aumentar os recursos do Worker e do processador de DAG para 4 vCPUs, 8 GB de memória e os recursos do Scheduler para 2 vCPUs, 8 GB de memória. Você sempre pode ajustar a configuração de recursos do ambiente de execução depois.

Crie um ambiente do Serviço gerenciado para Apache Airflow com as seguintes considerações.

• Nome do ambiente: qualquer nome. Você vai usar esse nome mais tarde para [implantar][op-deploy] seus pipelines. Exemplo: example-runner.
• Versão da imagem: versão do Serviço Gerenciado para Apache Airflow e Airflow a ser usada. Na CLI gcloud, é possível usar um alias que aponta para a versão padrão, por exemplo, composer-3-airflow-3 ou composer-2-airflow-2.
• Local: qualquer local. Exemplo: us-central1.
• Conta de serviço: conta de serviço que você criou para este ambiente.

Exemplo de comando da CLI gcloud:

gcloud composer environments create example-runner \
  --location us-central1 \
  --image-version composer-3-airflow-3 \
  --service-account "[e-mail]"

Exemplo de configuração recomendada de cargas de trabalho para a prévia (é possível aumentar ou diminuir a escala depois):

gcloud composer environments create example-runner \
  --location us-central1 \
  --image-version composer-3-airflow-3 \
  --service-account "[e-mail]" \
  --scheduler-cpu 2 \
  --scheduler-memory 8GB \
  --dag-processor-cpu 4 \
  --dag-processor-memory 8GB \
  --worker-cpu 4 \
  --worker-memory 8GB

A criação de um ambiente de Airflow Gerenciado leva aproximadamente 25 minutos.

(Opcional) Instalar o pacote Orquestração de Pipelines do PyPI

A Orquestração de Pipelines depende do pacote orchestration-pipelines do PyPI. Por padrão, o ambiente do runner já tem esse pacote pré-instalado.

Se você usa uma versão anterior do Airflow Gerenciado que não tem esse pacote pré-instalado ou quer instalar uma versão diferente, instale esse pacote do PyPI.

Importante: recomendamos evitar a especificação de requisitos estritos (==). Isso pode causar conflitos de pacotes porque a versão é fixada em uma única opção. Em vez disso, use requisitos de versão não estritos (>=).

Exemplo:

gcloud composer environments update example-runner \
    --location us-central1 \
    --update-pypi-package "orchestration-pipelines>=0.11.1"

Para mais informações sobre como instalar pacotes do PyPI no ambiente do runner e exemplos de como fazer isso no Google Cloud console e no Terraform, consulte Instalar dependências do Python na documentação do Serviço Gerenciado para Apache Airflow.

A seguir

• Adicione o ambiente do executor à [configuração de implantação][op-deploy].