Configura entornos con la política de uso de extremo restringido

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)

En esta página, se explica cómo crear entornos de Managed Airflow cuando se aplica la política de la organización Restringir el uso de extremos.

La política de la organización constraints/gcp.restrictEndpointUsage restringe qué endpoints de API de Google se pueden usar para acceder a los recursos. Esto permite que las organizaciones apliquen el uso de extremos de ubicación o regionales, por ejemplo, para satisfacer los requisitos de que los datos permanezcan dentro de ciertas áreas geográficas.

Acerca de la política de uso de extremos restringidos en Managed Airflow

Cuando creas un entorno de Managed Airflow en un proyecto en el que la política Restringir el uso de extremos deniega el acceso a los extremos globales para servicios como la API de Cloud Storage, la API de Cloud Logging, la API de Pub/Sub o la API de Data Lineage, Managed Airflow configura los componentes internos del entorno para que usen los extremos regionales (REP) correspondientes para estos servicios.

Los extremos específicos que usa un entorno se determinan con la política Restringir el uso de extremos solo durante la creación del entorno. Estos extremos no cambian, incluso si la política se vuelve a configurar más adelante.

Restringe los servicios que requieren los entornos de Managed Airflow

Cuando la política de uso de extremos restringe algunos de los servicios que requiere Managed Airflow, se aplican las siguientes limitaciones:

  • Registros de tareas de Airflow en la IU de Airflow

    La IU de Airflow se basa en el extremo global de Cloud Logging (logging.googleapis.com) para mostrar los registros de tareas. Si rechazas logging.googleapis.com en tu política Restringir el uso de extremos, los registros de tareas no estarán disponibles en la IU de Airflow.

    Esta limitación solo se aplica a la IU de Airflow. Aún podrás ver los registros de tareas en la IU de DAG y los registros de trabajadores de Airflow en la consola de Google Cloud y Cloud Logging.

  • Métricas de entorno

    Managed Airflow usa extremos globales para Cloud Monitoring (monitoring.googleapis.com) porque algunas APIs de Monitoring no admiten por completo los extremos regionales. Restringir monitoring.googleapis.com podría afectar algunas métricas del entorno.

  • Operadores de Airflow en tus DAG

    Los operadores de Airflow que se conecten a un extremo global rechazado por la política de uso de extremos restringidos fallarán. Asegúrate de que todos los operadores de Airflow en tus DAG estén configurados para usar extremos regionales, si el operador lo admite.

  • Claves de encriptación administradas por el cliente (CMEK)

    El uso de claves de encriptación administradas por el cliente no se admite junto con la política Restringir el uso de extremos.

Antes de comenzar

Configura la política Restringir el uso de extremos

Para obtener más información y ejemplos de cómo configurar la política de uso de extremos restringidos para denegar el acceso a extremos globales específicos, consulta Restringe el uso de extremos.

Crea un entorno de IP pública con la política de uso Restringir el uso de extremos

Los entornos de Managed Airflow con IP pública no requieren ninguna configuración adicional. Haz lo siguiente:

  1. Verifica que los servicios que deseas regionalizar tengan extremos regionales disponibles en las regiones seleccionadas.

  2. Asegúrate de que la política de uso de extremos restringidos ya esté configurada y rechace los extremos globales para los servicios que deseas regionalizar.

  3. Crea un entorno de Managed Airflow nuevo.

    El entorno usará extremos regionales según la política de restricción de uso de extremos.

Crea un entorno de IP privada con la Política de uso de extremos restringido

Para crear un entorno con la política Restringir el uso de extremos en la configuración de IP privada, debes configurar tu red de VPC para resolver y enrutar el tráfico a los extremos regionales (REP) requeridos con Private Service Connect y Cloud DNS.

Para crear un entorno de IP privada con la política Restringir el uso de extremos, haz lo siguiente:

  1. Verifica que los servicios que deseas regionalizar tengan extremos regionales disponibles en las regiones seleccionadas.

  2. Asegúrate de que la política de uso de extremos restringidos ya esté configurada y rechace los extremos globales para los servicios que deseas regionalizar.

  3. Asegúrate de que ya tienes una red y una subred de VPC que quieras usar para tu entorno de IP privada.

  4. Repite los pasos de configuración de redes para cada uno de los siguientes servicios que están restringidos por la política de uso de extremos:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Extremos de la API de Google para todos los demás servicios que se usan en tus DAG.

Configura las redes de IP privada para un servicio restringido con la política

Aplica los siguientes pasos a los extremos regionales (REP) correspondientes para cualquier servicio de Google en tu proyecto en el que el acceso a sus extremos globales esté restringido.

Debes crear extremos de Private Service Connect para orientar las variaciones regionales de estos servicios y especificar la región de tu entorno de Managed Airflow. Por ejemplo, si tu entorno se encuentra en us-central1, debes orientar el REP storage.us-central1.rep.googleapis.com para Cloud Storage.

Para obtener más información sobre cómo usar los extremos de Private Service Connect para conectarte a extremos regionales de las APIs de Google compatibles, consulta Accede a las APIs de Google regionales a través de extremos.

Crear un extremo de Private Service Connect

  1. En la consola de Google Cloud , ve a la página Private Service Connect.

    Ir a Private Service Connect

  2. Haz clic en Conectar extremo.

  3. Configura un extremo de Private Service Connect de la siguiente manera:

    • Destino: Selecciona APIs de Google.

    • Detalles del destino:

      1. Alcance: Selecciona Regional.
      2. Región: Selecciona la región de tu entorno de Managed Airflow.
      3. Servicio de destino: Selecciona el servicio que estás configurando. Esto selecciona un REP en la región seleccionada.

      Ejemplo:

      Si tu entorno se encuentra en us-central1 y estás configurando Cloud Storage, selecciona Iowa (us-central1) y Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Detalles del extremo:

      1. Nombre del extremo: Es un nombre para el extremo.

        Ejemplo: psc-storage-endpoint-us-central1.

      2. Red y subred: Selecciona la red de VPC y la subred de tu entorno de Managed Airflow.

      3. Dirección IP: Elige una dirección IP existente o haz clic en Crear dirección IP para reservar una dirección IP interna estática nueva de la subred seleccionada.

        Asigna un nombre descriptivo a esta dirección IP. Usarás esta dirección IP más adelante para configurar un registro DNS.

        Ejemplo: psc-storage-us-central1.

  4. Haz clic en Agregar extremo.

Crea una zona del DNS privado

  1. En la consola de Google Cloud , ve a la página Cloud DNS.

    Ve a Cloud DNS

  2. Haz clic en Crear zona.

  3. En Tipo de zona, selecciona Private.

  4. Especifica la siguiente configuración:

    • Nombre de la zona: Es un nombre para la zona.

      Ejemplo: storage-us-central1

    • Nombre de DNS: Es un nombre de DNS. Incluye el punto final.

      Ejemplo: storage.us-central1.rep.googleapis.com.

    • Redes: Selecciona la red de VPC para tu entorno de Managed Airflow.

  5. Haz clic en Crear.

Agrega un registro DNS en la zona del DNS creada

  1. En la consola de Google Cloud , ve a la página Cloud DNS.

    Ve a Cloud DNS

  2. Haz clic en el nombre de la zona que creaste.

  3. Haz clic en Agregar estándar.

  4. Configura el registro DNS de la siguiente manera:

    • Nombre de DNS: Especifica el subdominio de la zona del DNS.

      Ejemplo: storage.us-central1.rep.googleapis.com

    • Tipo de registro de recursos: Selecciona A.

    • Dirección IPv4: Selecciona la dirección IP que asignaste al extremo de Private Service Connect.

  5. Haz clic en Crear.

Crea un entorno de Managed Airflow con IP privada

Después de configurar todos los servicios que usará tu entorno, procede a crear un entorno de IP privada en la red y subred de VPC seleccionadas.

¿Qué sigue?