Para aproveitar ainda mais o sucesso e a crescente preferência dos clientes por soluções de código aberto, o Cloud Composer está evoluindo para se tornar o Serviço gerenciado para Apache Airflow. Essa mudança de nome melhora o entendimento do cliente sobre nosso portfólio e reforça nosso compromisso de ser o ecossistema de nuvem mais aberto.

O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Configurar ambientes com a política "Restringir o uso de endpoints"

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Nesta página, explicamos como criar ambientes do Airflow gerenciado quando a política da organização "Restringir o uso de endpoints" é aplicada.

A política da organização constraints/gcp.restrictEndpointUsage restringe quais endpoints da API do Google podem ser usados para acessar recursos. Isso permite que as organizações apliquem o uso de endpoints locais ou regionais, por exemplo, para atender aos requisitos de que os dados permaneçam em determinadas áreas geográficas.

Sobre a política de uso de endpoints restritos no Airflow Gerenciado

Ao criar um ambiente do Airflow gerenciado em um projeto em que a política "Restringir o uso de endpoints" nega o acesso a endpoints globais para serviços como a API Cloud Storage, a API Cloud Logging, a API Pub/Sub ou a API Data Lineage, o Airflow gerenciado configura os componentes internos do ambiente para usar os endpoints regionais (REPs, na sigla em inglês) correspondentes para esses serviços.

Os endpoints específicos que um ambiente usa são determinados pela política "Restringir o uso de endpoints" somente durante a criação do ambiente. Esses endpoints não mudam mesmo que a política seja reconfigurada mais tarde.

Restringir serviços exigidos por ambientes do Airflow gerenciado

Quando a política de uso de endpoints restringe alguns dos serviços exigidos pelo Airflow Gerenciado, as seguintes limitações se aplicam:

Registros de tarefas do Airflow na interface do Airflow

A interface do Airflow depende do endpoint global do Cloud Logging (logging.googleapis.com) para mostrar os registros de tarefas. Se você negar logging.googleapis.com na política "Restringir o uso de endpoints", os registros de tarefas não vão estar disponíveis na interface do Airflow.

Essa limitação se aplica apenas à interface do Airflow. Ainda será possível visualizar os registros de tarefas na interface do DAG e os registros de worker do Airflow no Google Cloud console e no Cloud Logging.
Métricas de ambiente

O Airflow gerenciado usa endpoints globais para o Cloud Monitoring (monitoring.googleapis.com) porque algumas APIs do Monitoring não oferecem suporte total a endpoints regionais. Restringir monitoring.googleapis.com pode afetar algumas métricas de ambiente.
Operadores do Airflow nos seus DAGs

Os operadores do Airflow que se conectam a um endpoint global negado pela política de uso de endpoints restritos vão falhar. Verifique se todos os operadores do Airflow nos seus DAGs estão configurados para usar endpoints regionais, caso o operador ofereça suporte a eles.
Chaves de criptografia gerenciadas pelo cliente (CMEK)

O uso de chaves de criptografia gerenciadas pelo cliente não é compatível com a política de uso de endpoints restritos.

Antes de começar

Os ambientes com a política "Restringir o uso de endpoints" são compatíveis com as versões 2.16.7 e mais recentes do Airflow gerenciado (Geração 2).

Configurar a política de uso de endpoints restritos

Para mais informações e exemplos de como configurar a política "Restringir o uso de endpoints" para negar o acesso a endpoints globais específicos, consulte Restringir o uso de endpoints.

Criar um ambiente de IP público com a política de uso de endpoints restritos

Os ambientes do Airflow gerenciado de IP público não exigem configuração adicional. Faça o seguinte:

Verifique se os serviços que você quer regionalizar têm endpoints regionais disponíveis nas regiões selecionadas.
Verifique se a política "Restringir o uso de endpoints" já está configurada e nega endpoints globais para os serviços que você pretende regionalizar.
Crie um ambiente do Airflow gerenciado.

O ambiente vai usar endpoints regionais de acordo com a política de uso de endpoints restrito.

Criar um ambiente de IP particular com a política de uso de endpoints restritos

Para criar um ambiente com a política "Restringir o uso de endpoints" na configuração de IP particular, configure sua rede VPC para resolver e rotear o tráfego para os endpoints regionais (REPs) necessários usando o Private Service Connect e o Cloud DNS.

Para criar um ambiente de IP particular com a política de uso de endpoints restritos:

Verifique se os serviços que você quer regionalizar têm endpoints regionais disponíveis nas regiões selecionadas.
Verifique se a política "Restringir o uso de endpoints" já está configurada e nega endpoints globais para os serviços que você pretende regionalizar.
Verifique se você já tem uma rede VPC e uma sub-rede que quer usar para o ambiente de IP particular.
Repita as etapas de configuração de rede para cada um dos seguintes serviços que são restritos pela política "Restringir o uso de endpoints":
- storage.googleapis.com
- logging.googleapis.com
- pubsub.googleapis.com
- datalineage.googleapis.com
- Endpoints da API do Google para todos os outros serviços usados nos seus DAGs.

Configurar rede de IP particular para um serviço restrito com a política

Aplique as etapas a seguir aos endpoints regionais (REPs) correspondentes para qualquer serviço do Google no seu projeto em que o acesso aos endpoints globais seja restrito.

É necessário criar endpoints do Private Service Connect para segmentar variações regionais desses serviços, especificando a região do ambiente do Airflow gerenciado. Por exemplo, se o ambiente estiver localizado em us-central1, você vai segmentar o storage.us-central1.rep.googleapis.com REP para o Cloud Storage.

Para mais informações sobre como usar endpoints do Private Service Connect para se conectar a endpoints regionais de APIs do Google compatíveis, consulte Acessar APIs regionais do Google por endpoints.

Criar um endpoint do Private Service Connect

No Google Cloud console do, acesse a Private Service Connect página.

Acessar Private Service Connect
Clique em Conectar endpoint.
Configure um endpoint do Private Service Connect da seguinte maneira:
- Destino: selecione APIs do Google.
- Detalhes do destino:
  1. Escopo: selecione Regional.
  2. Região: selecione a região do ambiente do Airflow gerenciado.
  3. Serviço de destino: selecione o serviço que você está configurando. Isso seleciona um REP na região selecionada.
  Exemplo:
  
  Se o ambiente estiver localizado em us-central1 e você estiver configurando Cloud Storage, selecione Iowa (us-central1) e Cloud Storage (storage.us-central1.rep.googleapis.com).
- Detalhes do endpoint:
  1. Nome do endpoint: um nome para o endpoint.
    
    Exemplo: psc-storage-endpoint-us-central1.
  2. Rede e sub-rede: selecione a rede VPC e a sub-rede do ambiente do Airflow gerenciado.
  3. Endereço IP: escolha um endereço IP atual ou clique em Criar endereço IP para reservar um novo endereço IP interno estático da sub-rede selecionada.
    
    Dê um nome descritivo a esse endereço IP. Você vai usar esse endereço IP mais tarde para configurar um registro DNS.
    
    Exemplo: psc-storage-us-central1.
Clique em Adicionar endpoint.

Criar uma zona de DNS particular

No Google Cloud console do, acesse a páginaCloud DNS.

Acessar o Cloud DNS
Clique em Criar zona.
Em Tipo de zona, selecione Private.
Especifique a seguinte configuração:
- Nome da zona: um nome para a zona.
  
  Exemplo: storage-us-central1
- Nome DNS: um nome DNS. Inclua o ponto final.
  
  Exemplo: storage.us-central1.rep.googleapis.com.
- Redes: selecione a rede VPC do ambiente do Airflow gerenciado.
Clique em Criar.

Adicionar um registro DNS na zona de DNS criada

No Google Cloud console do, acesse a páginaCloud DNS.

Acessar o Cloud DNS
Clique no nome da zona que você criou.
Clique em Adicionar padrão.
Configure o registro DNS da seguinte maneira:
- Nome DNS: especifique o subdomínio da zona de DNS.
  
  Exemplo: storage.us-central1.rep.googleapis.com
- Tipo de registro de recurso: selecione A.
- Endereço IPv4: selecione o endereço IP que você atribuiu ao endpoint do Private Service Connect.
Clique em Criar.

Criar um ambiente do Airflow gerenciado de IP particular

Depois de configurar todos os serviços que serão usados pelo ambiente, prossiga para criar um ambiente de IP particular na rede VPC e na sub-rede selecionadas.