Ativar e desativar o Airflow Gerenciado

Airflow gerenciado (geração 3) | Airflow gerenciado (geração 2) | Airflow gerenciado (geração 1 legada)

Nesta página, explicamos como ativar e desativar o serviço gerenciado para Apache Airflow no seu projeto do Google Cloud .

Para informações sobre o gerenciamento de serviços no Google Cloud, consulte Como ativar e desativar serviços.

Para uma lista de serviços exigidos pelo Airflow Gerenciado nas configurações do VPC Service Controls, consulte Configurar o VPC Service Controls.

Requisitos para serviços exigidos pelo Serviço Gerenciado para Apache Airflow

Nesta seção, descrevemos os serviços exigidos pelo Airflow Gerenciado (2ª geração). Em alguns casos, os administradores da organização ou do projeto podem restringir quais serviços do Google podem ser usados nos projetos.

Os seguintes serviços são exigidos pelo Airflow Gerenciado (Geração 2):

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com
  • cloudkms.googleapis.com, se você estiver usando chaves do Cloud KMS ou CMEK
  • secretmanager.googleapis.com, se você estiver usando o Secret Manager como um back-end de secrets

  • artifactregistry.googleapis.com

  • cloudbuild.googleapis.com

  • container.googleapis.com

  • (Somente nas versões 2.0.* do Airflow Gerenciado) deploymentmanager.googleapis.com

Os serviços do Google, como o Cloud DNS ou o IAM, já são permitidos por padrão na maioria dos projetos.

Ativar o serviço Airflow Gerenciado

Nesta seção, descrevemos como ativar o serviço Airflow Gerenciado no projeto do Google Cloud .

Antes de ativar o serviço

Ativar a API Cloud Composer

Console

Ative a API Cloud Composer:

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar a API

gcloud

Ative a composer.googleapis.com API:

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão por meio do papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão por meio do papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

gcloud services enable composer.googleapis.com

API

Use o método services.enable para ativar a API composer.googleapis.com.

Terraform

Use o recurso google_project_service para configurar a API composer.googleapis.com.

Ativar dependências do Airflow gerenciado (2ª geração)

Para ativar todas as dependências exigidas pelo Airflow Gerenciado (2ª geração), ative o grupo de serviços services/composer.googleapis.com/groups/dependencies@composer2 com o seguinte comando da Google Cloud CLI:

gcloud

Execute o comando gcloud beta services enable:

gcloud beta services enable composer.googleapis.com \
    --group dependencies@composer2

Como alternativa, é possível ativar manualmente as dependências adicionais exigidas pelo Airflow Gerenciado (2ª geração), por exemplo, pelo console do Google Cloud ou pelo Terraform:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com

Ativar os serviços exigidos pelos DAGs

Além dos serviços exigidos pelo Airflow Gerenciado, ative todos os serviços usados pelos DAGs, por exemplo:

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

Encontre os nomes *.googleapis.com dos serviços nas páginas de API vinculadas à página do APIs Explorer.

Desativar o serviço Airflow Gerenciado

Nesta seção, descrevemos como desativar o serviço do Airflow gerenciado no projeto do Google Cloud .

Antes de desativar o serviço

  • Para desativar o serviço do Airflow Gerenciado, é preciso ter as permissões corretas do Identity and Access Management. Para saber mais sobre os requisitos do IAM para o Service Usage, consulte a página Controle de acesso do Service Usage.

  • Verifique se todos os ambientes do Airflow Gerenciado no projeto foram excluídos. A desativação da API exclui de forma irreversível as partes do projeto de locatário dos ambientes do Airflow gerenciado, e esses ambientes se tornam inutilizáveis.

  • Para evitar cobranças extras, conclua os passos a seguir para cada ambiente antes de desativar a API Cloud Composer:

    1. Pause os DAGs.
    2. Se necessário, exporte os dados do ambiente, como DAGs do bucket do ambiente.
    3. Exclua o ambiente, incluindo os recursos que não são excluídos automaticamente.

Desativar a API Cloud Composer

Para desativar o serviço Airflow Gerenciado:

Console

  1. No console do Google Cloud , acesse a página da API Cloud Composer.

    Acessar a API Cloud Composer

  2. Clique em Gerenciar.

  3. Clique em Desativar API.

gcloud

Execute o comando gcloud services disable:

gcloud services disable composer.googleapis.com

API

Use o método services.disable para desativar a API composer.googleapis.com.

Terraform

Remova a configuração da API composer.googleapis.com. Normalmente, você usa o recurso google_project_service para configurar os serviços do Google Cloud .

Descontinuação de serviços que não são necessários para o Airflow gerenciado (geração 3)

Estamos desativando as APIs que não são necessárias para o Airflow Gerenciado (Geração 3).

As seguintes dependências de API ainda não foram separadas e estão programadas para serem separadas da API Cloud Composer no futuro:

  • sqladmin.googleapis.com
  • pubsub.googleapis.com

As seguintes APIs passaram a ser totalmente removíveis. A desativação dessas APIs não causará a desativação da API Cloud Composer:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com

Todas as APIs listadas como desvinculadas não são mais ativadas automaticamente quando você ativa a API Cloud Composer. Para criar ambientes do Airflow Gerenciado (2ª geração) em novos projetos, ative o grupo de APIs separadas, além da API Cloud Composer.

Os ambientes atuais do Airflow Gerenciado (3ª geração) e do Airflow Gerenciado (2ª geração) em projetos em que a API Cloud Composer já está ativada não são afetados por essa mudança. Faça o seguinte:

  • Se o projeto tiver apenas ambientes do Airflow Gerenciado (3ª geração), será possível desativar manualmente as APIs separadas.

  • Se o projeto tiver ambientes do Airflow Gerenciado (2ª geração), recomendamos manter essas APIs ativadas, porque desativá-las pode causar mau funcionamento do ambiente.

  • Se você usa scripts de automação para provisionar ambientes do Airflow Gerenciado (2ª geração), verifique se as APIs listadas estão ativadas, além da API Cloud Composer. É possível ativá-las manualmente ou com um comando da CLI gcloud.

A seguir