Configurar ambientes com a política "Restringir o uso de endpoints"

Airflow gerenciado (geração 3) | Airflow gerenciado (geração 2) | Airflow gerenciado (geração 1 legada)

Nesta página, explicamos como criar ambientes do Airflow Gerenciado quando a política da organização Restringir o uso de endpoints é aplicada.

A política da organização constraints/gcp.restrictEndpointUsage restringe quais endpoints da API do Google podem ser usados para acessar recursos. Isso permite que as organizações apliquem o uso de endpoints locais ou regionais, por exemplo, para atender aos requisitos de permanência dos dados em determinadas áreas geográficas.

Sobre a política de uso de endpoints restritos no Airflow Gerenciado

Quando você cria um ambiente do Airflow Gerenciado em um projeto em que a política de restrição de uso de endpoints nega acesso a endpoints globais para serviços como a API Cloud Storage, a API Cloud Logging, a API Pub/Sub ou a API Data Lineage, o Airflow Gerenciado configura os componentes internos do ambiente para usar os endpoints regionais (REPs) correspondentes para esses serviços.

Os endpoints específicos que um ambiente usa são determinados pela política de uso de endpoints restritos somente durante a criação do ambiente. Esses endpoints não mudam, mesmo que a política seja reconfigurada posteriormente.

Como restringir os serviços exigidos pelos ambientes do Airflow Gerenciado

Quando a política de uso de endpoints restringe alguns dos requisitos para serviços exigidos pelo Airflow Gerenciado, as seguintes limitações se aplicam:

  • Registros de tarefas do Airflow na interface do Airflow

    A interface do Airflow depende do endpoint global do Cloud Logging (logging.googleapis.com) para exibir registros de tarefas. Se você negar logging.googleapis.com na política Restringir o uso de endpoints, os registros de tarefas não estarão disponíveis na interface do Airflow.

    Essa limitação se aplica apenas à interface do Airflow. Ainda será possível visualizar registros de tarefas na interface do DAG e registros de workers do Airflow no console do Google Cloud e no Cloud Logging.

  • Métricas de ambiente

    O Airflow gerenciado usa endpoints globais para o Cloud Monitoring (monitoring.googleapis.com) porque algumas APIs do Monitoring não são totalmente compatíveis com endpoints regionais. Restringir o monitoring.googleapis.com pode afetar algumas métricas do ambiente.

  • Operadores do Airflow nos DAGs

    Os operadores do Airflow que se conectam a um endpoint global negado pela política de uso de endpoint restrito vão falhar. Verifique se todos os operadores do Airflow nos DAGs estão configurados para usar endpoints regionais, se o operador for compatível.

  • Chaves de criptografia gerenciadas pelo cliente (CMEK)

    O uso de chaves de criptografia gerenciadas pelo cliente não é compatível com a política de restrição de uso de endpoints.

Antes de começar

Configurar a política de uso de endpoints restritos

Para mais informações e exemplos de como configurar a política de uso de endpoints para negar acesso a endpoints globais específicos, consulte Restringir o uso de endpoints.

Criar um ambiente de IP público com a política de uso restrito de endpoints

Os ambientes de IP público do Airflow gerenciado não exigem nenhuma configuração adicional. Faça o seguinte:

  1. Verifique se os serviços que você quer regionalizar têm endpoints regionais disponíveis nas regiões selecionadas.

  2. Verifique se a política de restrição de uso de endpoints já está configurada e nega endpoints globais para os serviços que você pretende regionalizar.

  3. Crie um ambiente do Airflow Gerenciado.

    O ambiente vai usar endpoints regionais de acordo com a política de uso de endpoints restritos.

Criar um ambiente de IP privado com a política de uso de endpoint restrito

Para criar um ambiente com a política Restringir o Uso de Endpoints na configuração de IP privado, configure sua rede VPC para resolver e rotear o tráfego para os endpoints regionais (REPs) necessários usando o Private Service Connect e o Cloud DNS.

Para criar um ambiente de IP privado com a política de uso restrito de endpoint:

  1. Verifique se os serviços que você quer regionalizar têm endpoints regionais disponíveis nas regiões selecionadas.

  2. Verifique se a política de restrição de uso de endpoints já está configurada e nega endpoints globais para os serviços que você pretende regionalizar.

  3. Verifique se você já tem uma rede VPC e uma sub-rede que quer usar no ambiente de IP privado.

  4. Repita as etapas de configuração de rede para cada um dos seguintes serviços que são restritos pela política de uso de endpoint:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Endpoints de API do Google para todos os outros serviços usados nos DAGs.

Configurar a rede de IP privado para um serviço restrito com a política

Siga as etapas abaixo para os endpoints regionais (REPs, na sigla em inglês) correspondentes de todos os Serviços do Google no seu projeto em que o acesso aos endpoints globais é restrito.

É necessário criar endpoints do Private Service Connect para segmentar variações regionais desses serviços, especificando a região do seu ambiente do Airflow Gerenciado. Por exemplo, se o ambiente estiver localizado em us-central1, você vai segmentar o REP storage.us-central1.rep.googleapis.com para o Cloud Storage.

Para mais informações sobre como usar endpoints do Private Service Connect para se conectar a endpoints regionais de APIs do Google compatíveis, consulte Acessar APIs regionais do Google por endpoints.

Criar um endpoint do Private Service Connect

  1. No console do Google Cloud , acesse a página Private Service Connect.

    Acessar a página "Private Service Connect"

  2. Clique em Conectar endpoint.

  3. Configure um endpoint do Private Service Connect da seguinte maneira:

    • Destino: selecione APIs do Google.

    • Detalhes do destino:

      1. Escopo: selecione Regional.
      2. Região: selecione a região do seu ambiente do Airflow Gerenciado.
      3. Serviço de destino: selecione o serviço que você está configurando. Isso seleciona um REP na região selecionada.

      Exemplo:

      Se o ambiente estiver localizado em us-central1 e você estiver configurando o Cloud Storage, selecione Iowa (us-central1) e Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Detalhes do endpoint:

      1. Nome do endpoint: um nome para o endpoint.

        Exemplo: psc-storage-endpoint-us-central1.

      2. Rede e sub-rede: selecione a rede VPC e a sub-rede do seu ambiente do Airflow Gerenciado.

      3. Endereço IP: escolha um endereço IP atual ou clique em Criar endereço IP para reservar um novo endereço IP interno estático da sub-rede selecionada.

        Dê um nome descritivo a esse endereço IP. Você vai usar esse endereço IP mais tarde para configurar um registro DNS.

        Exemplo: psc-storage-us-central1.

  4. Clique em Adicionar endpoint.

Criar uma zona de DNS particular

  1. No console do Google Cloud , acesse a página Cloud DNS.

    Acessar Cloud DNS

  2. Clique em Criar zona.

  3. Em Tipo de zona, selecione Private.

  4. Especifique a seguinte configuração:

    • Nome da zona: um nome para a zona.

      Exemplo: storage-us-central1

    • Nome do DNS: um nome do DNS. Inclua o ponto final.

      Exemplo: storage.us-central1.rep.googleapis.com.

    • Redes: selecione a rede VPC para seu ambiente do Airflow Gerenciado.

  5. Clique em Criar.

Adicionar um registro DNS na zona de DNS criada

  1. No console do Google Cloud , acesse a página Cloud DNS.

    Acessar Cloud DNS

  2. Clique no nome da zona que você criou.

  3. Clique em Adicionar padrão.

  4. Configure o registro DNS da seguinte maneira:

    • Nome do DNS: especifique o subdomínio da zona de DNS.

      Exemplo: storage.us-central1.rep.googleapis.com

    • Tipo de registro de recurso: selecione A.

    • Endereço IPv4: selecione o endereço IP que você atribuiu ao endpoint do Private Service Connect.

  5. Clique em Criar.

Criar um ambiente do Airflow Gerenciado com IP privado

Depois de configurar todos os serviços que serão usados pelo ambiente, crie um ambiente de IP privado na rede VPC e na sub-rede selecionadas.

A seguir