Ativar e desativar o Airflow Gerenciado

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Nesta página, explicamos como ativar e desativar o Serviço gerenciado para Apache Airflow no seu projeto Google Cloud .

Para informações sobre o gerenciamento de serviços no Google Cloud, consulte Como ativar e desativar serviços.

Para conferir uma lista dos serviços exigidos pelo Airflow Gerenciado em configurações do VPC Service Controls, consulte Configurar o VPC Service Controls.

Ativar o serviço do Airflow Gerenciado

Nesta seção, descrevemos como ativar o serviço Airflow Gerenciado no seu projeto Google Cloud .

Antes de começar

• Para ativar o serviço Airflow Gerenciado, você precisa ter as permissões de Identity and Access Management corretas. Para saber mais sobre os requisitos do IAM para o Service Usage, consulte a página "Service Usage" para Controle de acesso.

• Verifique se o faturamento está ativado no projeto.

Ativar a API Cloud Composer

Console

Ative a API Cloud Composer:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

Ativar a API

gcloud

Ative a composer.googleapis.com API:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

gcloud services enable composer.googleapis.com

API

Use o método services.enable para ativar a API composer.googleapis.com.

Terraform

Use o recurso google_project_service para configurar a API composer.googleapis.com.

Importante: se você desativar a API BigQuery, seu ambiente do Airflow Gerenciado vai parar de funcionar. Isso acontece porque o Google Kubernetes Engine depende do BigQuery, e o serviço gerenciado para Apache Airflow herda essa dependência da API Kubernetes Engine.

Ativar dependências do Airflow gerenciado (Geração 2)

Observação: para saber por que essas APIs precisam ser ativadas separadamente, consulte Próxima descontinuação de serviços que não são necessários pelo Airflow Gerenciado (Geração 3).

Para ativar todas as dependências exigidas pelo Airflow Gerenciado (Geração 2), ative o grupo de serviços services/composer.googleapis.com/groups/dependencies@composer2 com o seguinte comando da Google Cloud CLI:

gcloud

Execute o comando gcloud beta services enable:

gcloud beta services enable composer.googleapis.com \
    --group dependencies@composer2

Como alternativa, é possível ativar manualmente as dependências extras exigidas pelo Airflow Gerenciado (Geração 2), por exemplo, pelo console Google Cloud ou pelo Terraform:

• artifactregistry.googleapis.com
• cloudbuild.googleapis.com
• container.googleapis.com
• pubsub.googleapis.com
• sqladmin.googleapis.com

Desativar o serviço do Airflow gerenciado

Nesta seção, descrevemos como desativar o serviço Airflow Gerenciado no seu projeto Google Cloud .

Antes de começar

Aviso: não é possível recuperar ambientes no projeto depois de desativar a API Cloud Composer. Depois que a API for desativada, você ainda terá acesso aos dados armazenados nos buckets do ambiente, mas os ambientes em si não poderão mais ser usados.

• Para desativar o serviço Airflow Gerenciado, você precisa ter as permissões de Identity and Access Management corretas. Para saber mais sobre os requisitos do IAM para o Service Usage, consulte a página do Service Usage para Controle de acesso.

• Verifique se todos os ambientes do Airflow gerenciado no seu projeto foram excluídos. Desativar a API exclui de forma irreversível as partes do projeto de locatário de ambientes do Airflow gerenciado, e esses ambientes se tornam inutilizáveis.

• Para evitar cobranças extras, conclua os passos a seguir para cada ambiente antes de desativar a API Cloud Composer:

  1. Pause os DAGs.
  2. Se necessário, exporte os dados do ambiente, como DAGs do bucket dele.
  3. Exclua seu ambiente, incluindo os recursos que não são excluídos automaticamente.

Desativar a API Cloud Composer

Para desativar o serviço Airflow Gerenciado:

Console

1. No console do Google Cloud , acesse a página da API Cloud Composer.

   Acessar a API Cloud Composer

2. Clique em Gerenciar.

3. Clique em Desativar API.

gcloud

Execute o comando gcloud services disable:

gcloud services disable composer.googleapis.com

API

Use o método services.disable para desativar a API composer.googleapis.com.

Terraform

Remova a configuração da API composer.googleapis.com. Normalmente, o recurso google_project_service é usado para configurar os serviços do Google Cloud .

Serviços exigidos pelo Serviço gerenciado para Apache Airflow

Descontinuação futura:estamos planejando descontinuar as APIs que não são necessárias para o Airflow gerenciado (Geração 3)

Esta seção descreve os serviços necessários para o Airflow Gerenciado. Em alguns casos, os administradores da organização ou do projeto podem restringir quais Serviços do Google podem ser usados nos projetos.

Os seguintes serviços são necessários para o Airflow Gerenciado:

• artifactregistry.googleapis.com
• cloudbuild.googleapis.com
• composer.googleapis.com
• compute.googleapis.com

• container.googleapis.com

• logging.googleapis.com

• cloudkms.googleapis.com, se você estiver usando chaves do Cloud KMS ou da CMEK

• monitoring.googleapis.com

• pubsub.googleapis.com

• storage.googleapis.com

• secretmanager.googleapis.com, se você estiver usando o Secret Manager como um back-end secreto

• cloudresourcemanager.googleapis.com

• servicedirectory.googleapis.com

Os serviços do Google, como o Cloud DNS ou o IAM, já são permitidos por padrão na maioria dos projetos.

Além disso, permita o uso de todos os serviços usados pelos seus DAGs, por exemplo:

• bigquery.googleapis.com
• dataflow.googleapis.com
• datacatalog.googleapis.com

Você pode encontrar os nomes *.googleapis.com dos serviços nas páginas de API vinculadas à página do API Explorer.

Suspensão de uso de serviços que não são necessários para o Airflow gerenciado (Geração 3)

Estamos planejando desativar gradualmente as APIs que não são necessárias para o Airflow gerenciado (Geração 3):

• A partir de 27 de fevereiro de 2026, as seguintes APIs vão se tornar totalmente separáveis. A desativação dessas APIs não causa a desativação da API Cloud Composer.

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com

• A partir de 27 de maio de 2026, essas APIs não serão mais ativadas automaticamente quando você ativar a API Cloud Composer. Para criar ambientes do Managed Airflow (geração 2) em novos projetos, é necessário ativar o grupo de APIs separadas além da API Cloud Composer.

Os ambientes gerenciados do Airflow (geração 3) e do Airflow (geração 2) em projetos em que a API Cloud Composer já está ativada não serão afetados. Você pode fazer o seguinte:

• Depois de 27 de fevereiro de 2026, se o projeto tiver apenas ambientes do Airflow Gerenciado (Geração 3), será possível desativar manualmente as APIs separadas.

• Depois de 27 de fevereiro de 2026, se o projeto tiver ambientes do Airflow Gerenciado (Geração 2), recomendamos manter essas APIs ativadas, porque a desativação pode causar mau funcionamento do ambiente.

• Depois de 27 de maio de 2026, se você usar scripts de automação para provisionar ambientes do Managed Airflow (Gen 2), verifique se as APIs listadas estão ativadas, além da API Cloud Composer. É possível ativá-los manualmente ou ativar o grupo de serviços com dependências do Airflow Gerenciado (Geração 2) usando um comando da Google Cloud CLI.

A seguir

• Criar ambientes
• Controle de acesso