Ativar e desativar o Airflow Gerenciado

Airflow gerenciado (geração 3) | Airflow gerenciado (geração 2) | Airflow gerenciado (geração 1 legada)

Esta página explica como ativar e desativar o serviço do Serviço Gerenciado para Apache Airflow no seu Google Cloud projeto.

Para informações sobre o gerenciamento de serviços no Google Cloud Google Cloud, consulte Como ativar e desativar serviços.

Para uma lista de serviços exigidos pelo Airflow gerenciado nas configurações do VPC Service Controls, consulte Configurar o VPC Service Controls.

Serviços exigidos pelo Serviço Gerenciado para Apache Airflow

Em breve: estamos descontinuando as APIs que não são exigidas pelo Airflow gerenciado (geração 3).

Esta seção descreve os serviços exigidos pelo Airflow gerenciado (geração 1 legada). Em alguns casos, os administradores da organização ou do projeto podem restringir quais serviços do Google podem ser usados nos projetos.

Os seguintes serviços são exigidos pelo Airflow gerenciado (geração 1 legada):

• composer.googleapis.com
• compute.googleapis.com
• logging.googleapis.com
• monitoring.googleapis.com
• storage.googleapis.com
• cloudresourcemanager.googleapis.com
• servicedirectory.googleapis.com
• cloudkms.googleapis.com, se você estiver usando chaves do Cloud KMS ou CMEK

• secretmanager.googleapis.com, se você estiver usando o Secret Manager como um back-end secreto

• deploymentmanager.googleapis.com

Os serviços do Google, como o Cloud DNS ou o IAM, já são permitidos por padrão na maioria dos projetos.

Ativar o serviço do Airflow gerenciado

Esta seção descreve como ativar o serviço do Airflow gerenciado no seu Google Cloud projeto.

Antes de ativar o serviço

• Para ativar o serviço do Airflow gerenciado, você precisa ter as permissões de Identity and Access Management corretas. Para saber mais sobre os requisitos do IAM para o Service Usage, consulte a página "Service Usage" para Controle de acesso.

• Verifique se o faturamento está ativado no projeto.

Ativar a API Cloud Composer

Console

Ative a API Cloud Composer:

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar a API

gcloud

Ative a API composer.googleapis.com:

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

gcloud services enable composer.googleapis.com

API

Use o método services.enable para ativar a API composer.googleapis.com.

Terraform

Use o google_project_service recurso para configurar a API composer.googleapis.com.

Importante: Se você desativar a API BigQuery, o ambiente do Airflow gerenciado vai parar de funcionar. Isso acontece porque o Google Kubernetes Engine depende do BigQuery e o Serviço Gerenciado para Apache Airflow herda essa dependência da API Kubernetes Engine.

Ativar serviços exigidos pelos DAGs

Além dos serviços exigidos pelo Airflow gerenciado, ative todos os serviços usados pelos DAGs, por exemplo:

• bigquery.googleapis.com
• dataflow.googleapis.com
• datacatalog.googleapis.com

É possível encontrar os nomes *.googleapis.com dos serviços nas páginas da API vinculadas à página do API Explorer.

Desativar o serviço do Airflow gerenciado

Esta seção descreve como desativar o serviço do Airflow gerenciado no seu Google Cloud projeto.

Antes de desativar o serviço

Aviso: não é possível recuperar ambientes no projeto depois de desativar a API Cloud Composer. Depois que a API for desativada, você ainda terá acesso aos dados armazenados nos buckets do ambiente, mas os ambientes em si não poderão mais ser usados.

• Para desativar o serviço do Airflow gerenciado, você precisa ter as permissões de Identity and Access Management corretas. Para saber mais sobre os requisitos do IAM para o Service Usage, consulte a página "Service Usage" para Controle de acesso.

• Verifique se todos os ambientes do Airflow gerenciado no projeto foram excluídos. Desativar a API exclui de forma irreversível as partes do projeto de locatário de ambientes do Airflow gerenciado, e esses ambientes se tornam inutilizáveis.

• Para evitar cobranças extras, conclua os passos a seguir para cada ambiente antes de desativar a API Composer do Cloud Composer:

  1. Pause os DAGs.
  2. Se necessário, exporte os dados do ambiente, como DAGs do bucket do ambiente.
  3. Exclua o ambiente, incluindo os recursos que não são excluídos automaticamente.

Desativar a API Cloud Composer

Para desativar o serviço do Airflow gerenciado:

Console

1. No Google Cloud console, acesse a página API Cloud Composer.

   Acessar a API Cloud Composer

2. Clique em Gerenciar.

3. Clique em Desativar API.

gcloud

Execute o comando gcloud services disable:

gcloud services disable composer.googleapis.com

API

Use o método services.disable para desativar a API composer.googleapis.com.

Terraform

Remova a configuração da API composer.googleapis.com. Normalmente, você usa o google_project_service recurso para configurar Google Cloud serviços.

Descontinuação de serviços que não são exigidos pelo Airflow gerenciado (geração 3)

Estamos descontinuando as APIs que não são exigidas pelo Airflow gerenciado (geração 3).

As seguintes dependências de API ainda não foram desvinculadas e estão programadas para serem desvinculadas da API Cloud Composer no futuro:

• sqladmin.googleapis.com

As seguintes APIs se tornaram totalmente desvinculáveis. A desativação dessas APIs não causa a desativação da API Cloud Composer:

Cuidado: a desativação dessas APIs fará com que os ambientes do Airflow gerenciado (geração 2) e do Airflow gerenciado (geração 1 legada) parem de funcionar e se tornem irrecuperáveis.

• artifactregistry.googleapis.com
• cloudbuild.googleapis.com
• container.googleapis.com
• pubsub.googleapis.com

Todas as APIs listadas como desvinculadas não são mais ativadas automaticamente quando você ativa a API Cloud Composer. Para criar ambientes do Airflow gerenciado (geração 2) em novos projetos, ative o grupo de APIs desvinculadas além da API Cloud Composer.

Os ambientes do Airflow Gerenciado (geração 3) e do Airflow Gerenciado (geração 2) em projetos em que a API Composer do Cloud Composer já está ativada não são afetados por essa mudança. Faça o seguinte:

• Se o projeto tiver apenas ambientes do Airflow gerenciado (geração 3), você poderá desativar manualmente as APIs desvinculadas.

• Se o projeto tiver ambientes do Airflow gerenciado (geração 2), recomendamos manter essas APIs ativadas, porque a desativação delas pode levar a um mau funcionamento do ambiente.

• Se você usa scripts de automação para provisionar ambientes do Airflow gerenciado (geração 2), verifique se as APIs listadas estão ativadas, além da API Cloud Composer. É possível ativá-las manualmente ou com um comando da CLI gcloud.

A seguir

• Criar ambientes
• Controle de acesso