Airflow gerenciado (geração 3) | Airflow gerenciado (geração 2) | Airflow gerenciado (geração 1 legada)
Nesta página, explicamos como ativar e desativar o serviço gerenciado para Apache Airflow no seu projeto do Google Cloud .
Para informações sobre o gerenciamento de serviços no Google Cloud, consulte Como ativar e desativar serviços.
Para uma lista de serviços exigidos pelo Airflow Gerenciado nas configurações do VPC Service Controls, consulte Configurar o VPC Service Controls.
Requisitos para serviços exigidos pelo Serviço Gerenciado para Apache Airflow
Nesta seção, descrevemos os serviços exigidos pelo Airflow Gerenciado (2ª geração). Em alguns casos, os administradores da organização ou do projeto podem restringir quais serviços do Google podem ser usados nos projetos.
Os seguintes serviços são exigidos pelo Airflow Gerenciado (Geração 2):
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
- cloudkms.googleapis.com, se você estiver usando chaves do Cloud KMS ou CMEK
secretmanager.googleapis.com, se você estiver usando o Secret Manager como um back-end de secrets
artifactregistry.googleapis.com
cloudbuild.googleapis.com
container.googleapis.com
(Somente nas versões 2.0.* do Airflow Gerenciado) deploymentmanager.googleapis.com
Os serviços do Google, como o Cloud DNS ou o IAM, já são permitidos por padrão na maioria dos projetos.
Ativar o serviço Airflow Gerenciado
Nesta seção, descrevemos como ativar o serviço Airflow Gerenciado no projeto do Google Cloud .
Antes de ativar o serviço
Para ativar o serviço do Airflow Gerenciado, é preciso ter as permissões corretas do Identity and Access Management, que estão disponíveis no papel de administrador do Service Usage.
Verifique se o faturamento está ativado no projeto.
Ativar a API Cloud Composer
Console
Ative a API Cloud Composer:
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você
criou o projeto, provavelmente já tem essa permissão pelo
papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo
papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin).
Saiba como conceder papéis.
gcloud
Ative a composer.googleapis.com API:
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você
criou o projeto, provavelmente já tem essa permissão por meio do
papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão por meio do
papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin).
Saiba como conceder papéis.
gcloud services enable composer.googleapis.com
API
Use o método services.enable para ativar
a API composer.googleapis.com.
Terraform
Use o recurso google_project_service
para configurar a API composer.googleapis.com.
Ativar dependências do Airflow gerenciado (2ª geração)
Para ativar todas as dependências exigidas pelo Airflow Gerenciado (2ª geração), ative o grupo de serviços services/composer.googleapis.com/groups/dependencies@composer2 com o seguinte comando da Google Cloud CLI:
gcloud
Execute o comando gcloud beta services enable:
gcloud beta services enable composer.googleapis.com \
--group dependencies@composer2
Como alternativa, é possível ativar manualmente as dependências adicionais exigidas pelo Airflow Gerenciado (2ª geração), por exemplo, pelo console do Google Cloud ou pelo Terraform:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
Ativar os serviços exigidos pelos DAGs
Além dos serviços exigidos pelo Airflow Gerenciado, ative todos os serviços usados pelos DAGs, por exemplo:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Encontre os nomes *.googleapis.com dos serviços nas páginas de API vinculadas à página do APIs Explorer.
Desativar o serviço Airflow Gerenciado
Nesta seção, descrevemos como desativar o serviço do Airflow gerenciado no projeto do Google Cloud .
Antes de desativar o serviço
Para desativar o serviço do Airflow Gerenciado, é preciso ter as permissões corretas do Identity and Access Management. Para saber mais sobre os requisitos do IAM para o Service Usage, consulte a página Controle de acesso do Service Usage.
Verifique se todos os ambientes do Airflow Gerenciado no projeto foram excluídos. A desativação da API exclui de forma irreversível as partes do projeto de locatário dos ambientes do Airflow gerenciado, e esses ambientes se tornam inutilizáveis.
Para evitar cobranças extras, conclua os passos a seguir para cada ambiente antes de desativar a API Cloud Composer:
- Pause os DAGs.
- Se necessário, exporte os dados do ambiente, como DAGs do bucket do ambiente.
- Exclua o ambiente, incluindo os recursos que não são excluídos automaticamente.
Desativar a API Cloud Composer
Para desativar o serviço Airflow Gerenciado:
Console
No console do Google Cloud , acesse a página da API Cloud Composer.
Clique em Gerenciar.
Clique em Desativar API.
gcloud
Execute o comando gcloud services disable:
gcloud services disable composer.googleapis.com
API
Use o método services.disable para desativar
a API composer.googleapis.com.
Terraform
Remova a configuração da API composer.googleapis.com. Normalmente,
você usa o recurso google_project_service
para configurar os serviços do Google Cloud .
Descontinuação de serviços que não são necessários para o Airflow gerenciado (geração 3)
Estamos desativando as APIs que não são necessárias para o Airflow Gerenciado (Geração 3).
As seguintes dependências de API ainda não foram separadas e estão programadas para serem separadas da API Cloud Composer no futuro:
- sqladmin.googleapis.com
- pubsub.googleapis.com
As seguintes APIs passaram a ser totalmente removíveis. A desativação dessas APIs não causará a desativação da API Cloud Composer:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
Todas as APIs listadas como desvinculadas não são mais ativadas automaticamente quando você ativa a API Cloud Composer. Para criar ambientes do Airflow Gerenciado (2ª geração) em novos projetos, ative o grupo de APIs separadas, além da API Cloud Composer.
Os ambientes atuais do Airflow Gerenciado (3ª geração) e do Airflow Gerenciado (2ª geração) em projetos em que a API Cloud Composer já está ativada não são afetados por essa mudança. Faça o seguinte:
Se o projeto tiver apenas ambientes do Airflow Gerenciado (3ª geração), será possível desativar manualmente as APIs separadas.
Se o projeto tiver ambientes do Airflow Gerenciado (2ª geração), recomendamos manter essas APIs ativadas, porque desativá-las pode causar mau funcionamento do ambiente.
Se você usa scripts de automação para provisionar ambientes do Airflow Gerenciado (2ª geração), verifique se as APIs listadas estão ativadas, além da API Cloud Composer. É possível ativá-las manualmente ou com um comando da CLI gcloud.