Configurar los Controles del servicio de VPC

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Los Controles del servicio de VPC permiten que las organizaciones definan un perímetro alrededor de los recursos deGoogle Cloud para mitigar los riesgos de robo de datos.

Los entornos de Managed Airflow se pueden implementar dentro de un perímetro de servicio. Cuando configuras tu entorno con los Controles del servicio de VPC, puedes mantener la privacidad de los datos sensibles mientras aprovechas las capacidades de organización de flujos de trabajo completamente administradas de Managed Airflow.

La compatibilidad con los Controles del servicio de VPC para Managed Airflow significa lo siguiente:

• Ahora se puede seleccionar Managed Airflow como un servicio protegido dentro del perímetro de los Controles del servicio de VPC.
• Todos los recursos subyacentes que usa Managed Airflow se configuran para admitir la arquitectura de los Controles del servicio de VPC y seguir sus reglas.

Implementar entornos de Managed Airflow con los Controles del servicio de VPC te proporciona lo siguiente:

• Reducción del riesgo de robo de datos
• Protección contra la exposición de datos debido a controles de acceso mal configurados
• Reducción del riesgo de que usuarios maliciosos copien datos a recursos no autorizados deGoogle Cloud , o ante atacantes externos que acceden a recursos deGoogle Cloud desde Internet.

Acerca de los Controles del servicio de VPC en Managed Airflow

• Todas las restricciones de red de los Controles del servicio de VPC también se aplican a tus entornos de Managed Airflow. Consulta la documentación de los Controles del servicio de VPC para obtener más información.

• Si un entorno de Managed Airflow está protegido por un perímetro, se restringe el acceso a los repositorios públicos de PyPI. Consulta Instala paquetes de PyPI en los Controles del servicio de VPC para obtener más información.

• Si tu entorno usa redes de IP privadas, todo el tráfico interno se enruta a tu red de VPC, excepto el tráfico a las APIs, los servicios y los dominios de Google que están disponibles para los entornos de IP privadas a través del Acceso privado a Google.

• Según cómo configures tu red de VPC, un entorno de IP privada puede obtener acceso a Internet a través de tu red de VPC.

• Airflow administrado no admite el uso de identidades de terceros en las reglas de entrada y salida para permitir las operaciones de la IU de Apache Airflow. Sin embargo, puedes usar el tipo de identidad ANY_IDENTITY en las reglas de entrada y salida para permitir el acceso a todas las identidades, incluidas las identidades de terceros. Para obtener más información sobre el tipo de identidad ANY_IDENTITY, consulta Reglas de entrada y salida.

• En el modo de Controles del servicio de VPC, el acceso al servidor web está protegido por el perímetro y se bloquea el acceso desde fuera del perímetro. Para permitir el acceso desde fuera del perímetro de servicio, configura los niveles de acceso o las reglas de entrada y salida según sea necesario. Además, puedes restringir el acceso al servidor web a rangos de IP específicos.

Crea entornos en un perímetro

Sigue estos pasos para implementar Managed Airflow dentro de un perímetro:

1. Habilita la API de Access Context Manager y la API de Cloud Composer para tu proyecto. Consulta Habilita API para obtener referencia.

2. Asegúrate de que tu perímetro de servicio tenga los siguientes servicios accesibles de VPC. De lo contrario, es posible que no se cree tu entorno:

   • API de Cloud Composer (composer.googleapis.com)
   • API de Compute Engine (compute.googleapis.com)
   • API de Kubernetes Engine (container.googleapis.com)
   • API de Container Registry (containerregistry.googleapis.com)
   • API de Artifact Registry (artifactregistry.googleapis.com)
   • API de Cloud Storage (storage.googleapis.com)
   • API de Cloud SQL Admin (sqladmin.googleapis.com)
   • API de Cloud Logging (logging.googleapis.com)
   • API de Cloud Monitoring (monitoring.googleapis.com)
   • API de Cloud Pub/Sub (pubsub.googleapis.com)
   • API del servicio de token de seguridad (sts.googleapis.com)
   • API de Cloud Resource Manager (cloudresourcemanager.googleapis.com)
   • API de Directorio de servicios (servicedirectory.googleapis.com)
   • API de Cloud Key Management Service (cloudkms.googleapis.com), si usas claves de Cloud KMS o CMEK
   • API de Secret Manager (secretmanager.googleapis.com), si usas Secret Manager como backend de secretos
   Advertencia: En la versión 2.0.* de Managed Airflow, si incluyes la API de Cloud Identity-Aware Proxy (iap.googleapis.com) o la API de Identity-Aware Proxy TCP (iaptunnel.googleapis.com) en tu perímetro, no se podrán crear entornos de Managed Airflow. Para solucionar este problema, consulta La creación del entorno falla en proyectos con APIs de Identity-Aware Proxy agregadas al perímetro de los Controles del servicio de VPC.

3. Crea un entorno de Managed Airflow nuevo:

   • La IP privada debe estar habilitada. Ten en cuenta que esta configuración debe establecerse durante la creación del entorno.

   • Recuerda configurar el acceso al servidor web de Airflow. Para mejorar la protección, solo permite el acceso al servidor web desde rangos de IP específicos. Para obtener más información, consulta Configura el acceso a la red del servidor web.

4. De forma predeterminada, solo se permite el acceso a la IU y la API de Airflow desde el perímetro de seguridad. Si quieres que esté disponible fuera del perímetro de seguridad, configura niveles de acceso o reglas de entrada y salida.

Agrega un entorno existente al perímetro

Puedes agregar el proyecto que contiene tu entorno a un perímetro si se cumplen las siguientes condiciones:

• Ya creaste o configuraste el perímetro como se describe en la sección anterior.
• Tus entornos usan IP privada.

Instala paquetes de PyPI en los Controles del servicio de VPC

En la configuración predeterminada de los Controles del servicio de VPC, Managed Airflow solo admite la instalación de paquetes de PyPI desde repositorios privados a los que se puede acceder desde el espacio de direcciones IP internas de la red de VPC.

De forma predeterminada, todos los entornos de Managed Airflow dentro de un perímetro de Controles del servicio de VPC no tienen acceso a los repositorios públicos de PyPI.

Instala desde un repositorio privado

La configuración recomendada es configurar un repositorio privado de PyPI:

1. Propágalo con los paquetes aprobados que usa tu organización y, luego, configura Managed Airflow para instalar dependencias de Python desde un repositorio privado.

2. Otorga permisos adicionales para instalar paquetes desde repositorios privados a la cuenta de servicio de tu entorno, como se describe en Control de acceso.

Instala desde un repositorio público

Precaución: Cuando uses esta configuración, asegúrate de comprender los riesgos de usar repositorios externos. Asegúrate de confiar en el contenido y la integridad de los repositorios externos, ya que estas conexiones podrían usarse como vectores de robo de datos.

Repositorio remoto

Este es el enfoque recomendado para instalar paquetes desde un repositorio público.

Para instalar paquetes de PyPI desde repositorios fuera del espacio de IP privada, sigue estos pasos:

1. Crea un repositorio remoto de Artifact Registry.
2. Otorga a este repositorio acceso a las fuentes upstream.
3. Configura Airflow para instalar paquetes desde un repositorio de Artifact Registry.
4. Otorga permisos adicionales para instalar paquetes desde repositorios de Artifact Registry en la cuenta de servicio de tu entorno, como se describe en Control de acceso.

Conexiones externas

Para instalar paquetes de PyPI desde repositorios fuera del espacio de IP privada, sigue estos pasos:

1. Configura Cloud NAT para permitir que Managed Airflow se ejecute en el espacio de IP privada y se conecte con repositorios externos de PyPI.

2. Configura tus reglas de firewall para permitir conexiones salientes desde el clúster de Composer al repositorio.

Configura la conectividad a los servicios y las APIs de Google

En una configuración de Controles del servicio de VPC, para controlar el tráfico de red, configura el acceso a las APIs y los servicios de Google a través de restricted.googleapis.com. Este dominio bloquea el acceso a las APIs y los servicios de Google que no son compatibles con los Controles del servicio de VPC.

Los entornos de Managed Airflow usan los siguientes dominios:

• *.googleapis.com se usa para acceder a otros servicios de Google.

• *.composer.cloud.google.com se usa para que el servidor web de Airflow de tu entorno sea accesible. Esta regla se debe aplicar antes de crear un entorno.

  • Como alternativa, puedes crear una regla para una región específica. Para ello, usa REGION.composer.cloud.google.com. Reemplaza REGION por la región en la que se encuentra el entorno, por ejemplo, us-central1.

• (Opcional) Se usa *.composer.googleusercontent.com cuando se accede al servidor web de Airflow de tu entorno. Esta regla solo es necesaria si accedes al servidor web de Airflow desde una instancia que se ejecuta en la red de VPC y no es necesaria en otros casos. Un caso de uso común para esta regla es cuando deseas llamar a la API de REST de Airflow desde la red de VPC.

  Nota: Si tu entorno usa Controles del servicio de VPC y se permite que un usuario acceda al perímetro desde fuera de la red de VPC, no se requiere esta regla para acceder a la IU de Airflow.
  • Como alternativa, puedes crear una regla para un entorno específico. Para ello, usa ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com. Reemplaza ENVIRONMENT_WEB_SERVER_NAME por la parte única de la URL de la IU de Airflow de tu entorno, por ejemplo, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

• *.pkg.dev se usa para obtener imágenes del entorno, por ejemplo, cuando se crea o actualiza un entorno.

• *.gcr.io GKE requiere conectividad con el dominio de Container Registry, independientemente de la versión de Managed Airflow.

Nota: Si no configuras reglas de DNS para las APIs y los servicios de Google, se resolverán con la opción de dominio para los dominios predeterminados.

Configura la conectividad con el extremo restricted.googleapis.com.

Dominio	Nombre de DNS	Registro CNAME	Registro A
*.googleapis.com	googleapis.com.	Nombre de DNS: *.googleapis.com. Tipo de registro de recurso: CNAME Nombre canónico: googleapis.com.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.composer.cloud.google.com	composer.cloud.google.com.	Nombre de DNS: *.composer.cloud.google.com. Tipo de registro de recurso: CNAME Nombre canónico: composer.cloud.google.com.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.composer.googleusercontent.com (opcional; consulta la descripción)	composer.googleusercontent.com.	Nombre de DNS: *.composer.googleusercontent.com. Tipo de registro de recurso: CNAME Nombre canónico: composer.googleusercontent.com.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	Nombre de DNS: *.pkg.dev. Tipo de registro de recurso: CNAME Nombre canónico: pkg.dev.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	Nombre de DNS: *.gcr.io. Tipo de registro de recurso: CNAME Nombre canónico: gcr.io.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Para crear una regla de DNS, haz lo siguiente:

1. Crea una zona de DNS nueva y usa Nombre de DNS como el nombre de DNS de esta zona.

   Ejemplo: pkg.dev.

2. Agrega un conjunto de registros para el registro CNAME.

   Ejemplo:

   • Nombre de DNS: *.pkg.dev.
   • Tipo de registro de recursos: CNAME
   • Nombre canónico: pkg.dev.

3. Agrega un conjunto de registros con el registro A:

   Ejemplo:

   • Tipo de registro de recursos: A
   • Direcciones IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Para obtener más información, consulta Configura una conectividad privada a los servicios y las APIs de Google.

Configura reglas de firewall

Si tu proyecto tiene reglas de firewall no predeterminadas, como reglas que anulan las reglas de firewall implícitas o modifican las reglas propagadas previamente en la red predeterminada, verifica que estén configuradas las siguientes reglas de firewall.

Por ejemplo, es posible que Managed Airflow no pueda crear un entorno si tienes una regla de firewall que rechaza todo el tráfico de salida. Para evitar problemas, define reglas allow selectivas que sigan la lista y tengan mayor prioridad que la regla deny global.

Importante: Según cómo se configuren las reglas de firewall en tu proyecto, la siguiente lista de reglas podría ser redundante. Por ejemplo, si tus reglas de firewall bloquean solo la entrada, no necesitas las reglas de salida que se indican.

Configura tu red de VPC para permitir el tráfico desde tu entorno:

• Consulta Cómo usar reglas de firewall para aprender a verificar, agregar y actualizar las reglas de tu red de VPC.
• Usa la Herramienta de conectividad para validar la conectividad entre los rangos de IP.
• Puedes usar etiquetas de redes para limitar aún más el acceso. Puedes establecer estas etiquetas cuando creas un entorno.

Descripción	Dirección	Acción	Origen o destino	Protocolos	Puertos
DNS Configura como se describe en Compatibilidad con los Controles del servicio de VPC para Cloud DNS	-	-	-	-	-
Servicios y APIs de Google	Salida	Permitir	Direcciones IPv4 de restricted.googleapis.com que usas para los servicios y las APIs de Google.	TCP	443
Nodos del clúster del entorno	Salida	Permitir	Rango de direcciones IP principal de la subred del entorno	TCP, UDP	todos
Pods del clúster del entorno	Salida	Permitir	Rango de direcciones IP secundario para los Pods en la subred del entorno	TCP, UDP	todos
Plano de control del clúster del entorno	Salida	Permitir	Rango de IP del plano de control de GKE	TCP, UDP	todos
(Si tu entorno usa Private Service Connect) Subred de conexión	Salida	Permitir	Rango de subred de conexión de Managed Airflow	TCP	3306, 3307, 19090
(Si tu entorno usa intercambios de tráfico entre VPC) Red de arrendatario	Salida	Permitir	Rango de IP de la red de usuarios de Managed Airflow	TCP	3306, 3307, 19090

Precaución: El servicio de GKE crea automáticamente varias reglas de firewall de entrada y salida para que el clúster de tu entorno funcione correctamente (como las reglas de entrada y salida para las Google Cloud verificaciones de estado). Consulta la página Reglas de firewall de GKE para obtener más información y no borres ni bloquees las reglas de firewall creadas por los servicios de GKE. Es posible que veas que tu entorno se comunica con el rango de IP de 34.126.0.0/18, que es un rango de IP del Acceso privado a Google. Este tráfico pertenece al servicio de GKE que usa el clúster del entorno.

Para obtener los rangos de IP del clúster de entorno, haz lo siguiente:

• Los rangos de direcciones de Pod, Service y plano de control están disponibles en la página Clústeres del clúster de tu entorno:

  1. En la consola de Google Cloud , ve a la página Entornos.

     Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

  3. Ve a la pestaña Configuración del entorno.

  4. Sigue el vínculo Ver detalles del clúster.

• Puedes ver el rango de IP de la red del arrendatario de Managed Airflow del entorno en la pestaña Configuración del entorno.

• Puedes ver el ID de la subred del entorno y el ID de la subred de conexión de Managed Airflow en la pestaña Configuración del entorno. Para obtener los rangos de IP de una subred, ve a la página Redes de VPC y haz clic en el nombre de la red para ver los detalles:

  Ir a Redes de VPC

Registros de los Controles del servicio de VPC

Cuando solucionas problemas relacionados con la creación de entornos, puedes analizar los registros de auditoría que generan los Controles del servicio de VPC.

Además de otros mensajes de registro, puedes consultar los registros para obtener información sobre las cuentas de servicio [e-mail] y [e-mail] que configuran los componentes de tus entornos.

El servicio de Managed Airflow usa la cuenta de servicio [e-mail] para administrar los componentes del proyecto de usuario de tus entornos.

La cuenta de servicio [e-mail], también conocida como cuenta de servicio del agente de servicio de Composer, administra los componentes del entorno en los proyectos host y de servicio.

¿Qué sigue?

• Crea entornos
• Instala paquetes de PyPI