Configura entornos con la política de uso de extremo restringido

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)

En esta página, se explica cómo crear entornos de Managed Airflow cuando se aplica la política de la organización de Restrict Endpoint Usage.

La política de la organización constraints/gcp.restrictEndpointUsage restringe qué extremos de la API de Google se pueden usar para acceder a los recursos. Esto permite que las organizaciones apliquen el uso de extremos de ubicación o regionales, por ejemplo, para satisfacer los requisitos de que los datos permanezcan dentro de ciertas áreas geográficas.

Acerca de la política de uso de extremos restringidos en Managed Airflow

Cuando creas un entorno de Managed Airflow en un proyecto en el que la política de Restrict Endpoint Usage deniega el acceso a los extremos globales para servicios como la API de Cloud Storage, la API de Cloud Logging, la API de Pub/Sub o la API de Data Lineage, Managed Airflow configura los componentes internos del entorno para usar los extremos regionales (REP) correspondientes para estos servicios.

La política de uso de Restrict Endpoint Usage determina los extremos específicos que usa un entorno solo durante la creación del entorno. Estos extremos no cambian, incluso si la política se vuelve a configurar más adelante.

Restringe los servicios que requieren los entornos de Managed Airflow

Cuando la política de uso de Restrict Endpoint restringe algunos de los servicios que requiere Managed Airflow, se aplican las siguientes limitaciones:

  • Registros de tareas de Airflow en la IU de Airflow

    La IU de Airflow se basa en el extremo global de Cloud Logging (logging.googleapis.com) para mostrar los registros de tareas. Si deniegas logging.googleapis.com en tu política de Restrict Endpoint Usage, los registros de tareas no estarán disponibles en la IU de Airflow.

    Esta limitación solo se aplica a la IU de Airflow. Aun así, podrás ver los registros de tareas en la IU de DAG y los registros de trabajadores de Airflow en la Google Cloud consola y Cloud Logging.

  • Métricas de entorno

    Managed Airflow usa extremos globales para Cloud Monitoring (monitoring.googleapis.com) porque algunas APIs de Monitoring no admiten por completo los extremos regionales. Restringir monitoring.googleapis.com podría afectar algunas métricas del entorno.

  • Operadores de Airflow en tus DAG

    Los operadores de Airflow que se conectan a un extremo global denegado por la política de Restrict Endpoint Usage fallarán. Asegúrate de que todos los operadores de Airflow en tus DAG estén configurados para usar extremos regionales, si el operador lo admite.

  • Claves de encriptación administradas por el cliente (CMEK)

    El uso de claves de encriptación administradas por el cliente no es compatible con la política de Restrict Endpoint Usage.

Antes de comenzar

  • Los entornos con la política de Restrict Endpoint Usage se admiten en Managed Airflow (2ª gen.) versiones 2.16.7 y posteriores.

Configura la política de uso de endpoints restringidos

Para obtener más información y ejemplos sobre cómo configurar la política de uso de Restrict Endpoint para denegar el acceso a extremos globales específicos, consulta Restringe el uso de extremos.

Crea un entorno de IP pública con la política de uso de Restrict Endpoint

Los entornos de Managed Airflow de IP pública no requieren ninguna configuración adicional. Puedes hacer lo siguiente:

  1. Verifica que los servicios que deseas regionalizar tengan extremos regionales disponibles en las regiones seleccionadas.

  2. Asegúrate de que la política de Restrict Endpoint Usage ya esté configurada y deniegue los extremos globales para los servicios que deseas regionalizar.

  3. Crea un entorno de Managed Airflow nuevo.

    El entorno usará extremos regionales según la política de Restrict Endpoint Usage.

Crea un entorno de IP privada con la política de uso de Restrict Endpoint

Para crear un entorno con la política de Restrict Endpoint Usage en la configuración de IP privada, debes configurar tu red de VPC para resolver y enrutar el tráfico a los extremos regionales (REP) requeridos con Private Service Connect y Cloud DNS.

Para crear un entorno de IP privada con la política de uso de Restrict Endpoint Usage, haz lo siguiente:

  1. Verifica que los servicios que deseas regionalizar tengan extremos regionales disponibles en las regiones seleccionadas.

  2. Asegúrate de que la política de Restrict Endpoint Usage ya esté configurada y deniegue los extremos globales para los servicios que deseas regionalizar.

  3. Asegúrate de que ya tengas una red de VPC y una subred que deseas usar para tu entorno de IP privada.

  4. Repite los pasos de configuración de red para cada uno de los siguientes servicios que están restringidos por la política de uso de Restrict Endpoint Usage:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Extremos de la API de Google para todos los demás servicios que se usan en tus DAG

Configura las redes de IP privada para un servicio restringido con la política

Aplica los siguientes pasos a los extremos regionales (REP) correspondientes para cualquier servicio de Google en tu proyecto en el que se restrinja el acceso a sus extremos globales.

Debes crear extremos de Private Service Connect para orientar las variaciones regionales de estos servicios y especificar la región de tu entorno de Managed Airflow. Por ejemplo, si tu entorno se encuentra en us-central1, debes orientar el storage.us-central1.rep.googleapis.com REP para Cloud Storage.

Para obtener más información sobre cómo usar extremos de Private Service Connect para conectarte a extremos regionales de las APIs de Google compatibles, consulta Accede a las APIs regionales de Google a través de extremos.

Crear un extremo de Private Service Connect

  1. En la Google Cloud consola de, ve a la página Private Service Connect.

    Ir a Private Service Connect

  2. Haz clic en Conectar extremo.

  3. Configura un extremo de Private Service Connect de la siguiente manera:

    • Destino: Selecciona APIs de Google.

    • Detalles del destino:

      1. Alcance: Selecciona Regional.
      2. Región: Selecciona la región de tu entorno de Managed Airflow.
      3. Servicio de destino: Selecciona el servicio que estás configurando. Esto selecciona un REP en la región seleccionada.

      Ejemplo:

      Si tu entorno se encuentra en us-central1 y estás configurando Cloud Storage, selecciona Iowa (us-central1) y Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Detalles del extremo:

      1. Nombre del extremo: Un nombre para el extremo.

        Ejemplo: psc-storage-endpoint-us-central1.

      2. Red y subred: Selecciona la red de VPC y la subred de tu entorno de Managed Airflow.

      3. Dirección IP: Elige una dirección IP existente o haz clic en Crear dirección IP para reservar una dirección IP interna estática nueva de la subred seleccionada.

        Asigna un nombre descriptivo a esta dirección IP. Usarás esta dirección IP más adelante para configurar un registro DNS.

        Ejemplo: psc-storage-us-central1.

  4. Haz clic en Agregar extremo.

Crea una zona de DNS privado

  1. En la Google Cloud consola de, ve a la página de Cloud DNS.

    Ir a Cloud DNS

  2. Haz clic en Crear zona.

  3. En Tipo de zona, selecciona Private.

  4. Especifica la siguiente configuración:

    • Nombre de la zona: Un nombre para la zona.

      Ejemplo: storage-us-central1

    • Nombre de DNS: Un nombre de DNS. Incluye el punto final.

      Ejemplo: storage.us-central1.rep.googleapis.com.

    • Redes: Selecciona la red de VPC para tu entorno de Managed Airflow.

  5. Haz clic en Crear.

Agrega un registro DNS en la zona de DNS creada

  1. En la Google Cloud consola de, ve a la página de Cloud DNS.

    Ir a Cloud DNS

  2. Haz clic en el nombre de la zona que creaste.

  3. Haz clic en Agregar estándar.

  4. Configura el registro DNS de la siguiente manera:

    • Nombre de DNS: Especifica el subdominio de la zona DNS.

      Ejemplo: storage.us-central1.rep.googleapis.com

    • Tipo de registro de recursos: Selecciona A.

    • Dirección IPv4: Selecciona la dirección IP que asignaste al extremo de Private Service Connect.

  5. Haz clic en Crear.

Crea un entorno de Managed Airflow de IP privada

Después de configurar todos los servicios que usará tu entorno, continúa para crear un entorno de IP privada en la red de VPC y la subred seleccionadas.

¿Qué sigue?