Configurar herramientas de redes de IP privada

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)

En esta página, se proporciona información sobre cómo configurar las redes de tu proyecto de Google Cloud para entornos de IP privada.

En los entornos de IP privada, Managed Airflow asigna solo direcciones IP privadas (RFC 1918) a las VMs administradas de Google Kubernetes Engine y Cloud SQL en tu entorno.

Como opción, también puedes usar direcciones IP públicas reutilizadas de forma privada y el agente de enmascaramiento de IP para guardar el espacio de direcciones IP y usar direcciones que no sean RFC 1918.

Para obtener información sobre cómo conectarse a los recursos de tu entorno, consulta IP privada.

Entornos con Private Service Connect y de intercambio de tráfico entre VPC

De forma predeterminada, Managed Airflow (2ª gen.) usa Private Service Connect para que tus entornos de IP privada se comuniquen de forma interna sin el uso de intercambios de tráfico entre VPC, a menos que especifiques lo contrario cuando crees tu entorno.

Te recomendamos que uses entornos con Private Service Connect si no tienes un requisito específico para usar entornos con intercambios de tráfico entre VPC.

Antes de comenzar

• Asegúrate de tener los permisos de cuenta de servicio y usuario adecuados para crear un entorno.
• Verifica que no se hayan definido políticas de la organización incompatibles en tu proyecto.

Verifica los requisitos de red

Verifica que la red de VPC de tu proyecto cumpla con los siguientes requisitos:

• Asegúrate de que no haya conflictos de bloqueo de IP privada. Si tu red de VPC y sus pares de VPC establecidos tienen bloques de IP que se superponen con la red de VPC en el proyecto de usuario administrado por Google, Managed Airflow no puede crear tu entorno. Consulta la tabla de rangos de IP predeterminados para conocer los valores predeterminados que se usan en cada región.

• Asegúrate de que haya suficientes rangos de IP secundarios para los Pods y Services de GKE de Managed Airflow. GKE busca rangos de IP secundarias para el alias de IP. Si GKE no puede encontrar un rango, Managed Airflow no puede crear tu entorno.

• Asegúrate de que la cantidad de rangos secundarios en tu subred no sea superior a 30. Ten en cuenta lo siguiente:

  • El clúster de GKE para tu entorno de IP privada crea dos rangos secundarios en la subred. Puedes crear varias subredes en la misma región para la misma red de VPC.
  • La cantidad máxima de rangos secundarios admitidos es 30. Cada entorno de IP privada requiere dos rangos secundarios para los Pods y Services de GKE de Managed Airflow.

• Asegúrate de que la red de tu proyecto pueda admitir el límite de la cantidad máxima de conexiones a una sola red de VPC. La cantidad máxima de entornos de IP privada que puedes crear depende de la cantidad de conexiones de intercambio de tráfico de VPC existentes en tu red de VPC.

  • Cada entorno de IP privada con PSC usa un intercambio de tráfico entre VPC por entorno. Este intercambio de tráfico entre VPC lo crea el clúster de GKE de tu entorno, y los clústeres de GKE pueden reutilizar esta conexión. En el caso de los entornos de IP privada con PSC, cada ubicación puede admitir un máximo de 75 clústeres privados.

  • Cada entorno de IP privada con intercambios de tráfico de VPC usa, como máximo, dos intercambios de tráfico de VPC por entorno. Managed Airflow crea un intercambio de tráfico entre VPC para la red del proyecto de usuario. El segundo intercambio de tráfico lo crea el clúster de GKE de tu entorno, y los clústeres de GKE pueden reutilizar esta conexión.

Elige una red, subred y rangos de red

Elige los rangos de red para tu entorno de IP privada (o usa los predeterminados). Usarás estos rangos de red más adelante cuando crees un entorno de IP privada.

Para crear un entorno de IP privada, debes tener la siguiente información:

• El ID de tu red de VPC
• El ID de tu subred de VPC
• Dos rangos de IP secundarios en la subred de VPC:
  • Rango de IP secundario para Pods
  • Rango de IP secundario para servicios

• Rangos de IP para los componentes del entorno:

  Si tu entorno usa Private Service Connect, haz lo siguiente:

  • Rango de IP del plano de control de GKE. Es el rango de IP para el plano de control de GKE.

    Si especificas el rango de IP del plano de GKE para un entorno, GKE crea una subred nueva en este rango para aprovisionar la dirección IP para la comunicación con el plano de control de GKE. De lo contrario, usa la subred especificada en el rango de subred de conexión de Managed Airflow.

  • Subred de conexión de Managed Airflow. Es el rango de IP de la subred de conexión de Managed Airflow. Solo puedes especificar un rango de dos direcciones IP. Varios entornos de tu proyecto pueden usar este rango. De forma predeterminada, este rango es la subred del entorno (ID de subred de VPC).

  Si tu entorno usa intercambios de tráfico de VPC, haz lo siguiente:

  • Rango de IP del plano de control de GKE. Es el rango de IP para el plano de control de GKE.
  • Rango de IP para la red de usuarios de Managed Airflow. Rango de IP para la red de usuarios de Managed Airflow. Esta red aloja el componente de proxy de SQL de tu entorno.

  • Rango de IP de Cloud SQL Es el rango de IP para la instancia de Cloud SQL.

    Precaución: El rango 172.17.0.0/16 está reservado en Cloud SQL.

Consulta la tabla de rangos de IP predeterminados para conocer los valores predeterminados que se usan en cada región.

Rangos de IP predeterminados

Entornos con Private Service Connect

Nota: Si usas un rango de IP personalizado para el plano de control de GKE, verifica que no se superponga con el rango de los extremos de PSC (subred de conexión de Managed Airflow).

Región	Rango de IP del plano de control de GKE
africa-south1	172.16.64.0/23
asia-east1	172.16.42.0/23
asia-east2	172.16.0.0/23
asia-northeast1	172.16.2.0/23
asia-northeast2	172.16.32.0/23
asia-northeast3	172.16.30.0/23
asia-south1	172.16.4.0/23
asia-south2	172.16.50.0/23
asia-southeast1	172.16.40.0/23
asia-southeast2	172.16.44.0/23
australia-southeast1	172.16.6.0/23
australia-southeast2	172.16.56.0/23
europe-central2	172.16.36.0/23
europe-north1	172.16.48.0/23
europe-southwest1	172.16.58.0/23
europe-west1	172.16.8.0/23
europe-west10	172.16.62.0/23
europe-west12	172.16.62.0/23
europe-west2	172.16.10.0/23
europe-west3	172.16.12.0/23
europe-west4	172.16.42.0/23
europe-west6	172.16.14.0/23
europe-west8	172.16.60.0/23
europe-west9	172.16.46.0/23
me-central1	172.16.58.0/23
me-central2	172.16.64.0/23
me-west1	172.16.54.0/23
northamerica-northeast1	172.16.16.0/23
northamerica-northeast2	172.16.46.0/23
northamerica-south1	172.16.68.0/23
southamerica-east1	172.16.18.0/23
southamerica-west1	172.16.58.0/23
us-central1	172.16.20.0/23
us-east1	172.16.22.0/23
us-east4	172.16.24.0/23
us-east5	172.16.52.0/23
us-south1	172.16.56.0/23
us-west1	172.16.38.0/23
us-west2	172.16.34.0/23
us-west3	172.16.26.0/23
us-west4	172.16.28.0/23

Entornos con intercambios de tráfico entre VPC

Región	Rango de IP del plano de control de GKE	Rango de IP de la red de usuarios de Managed Airflow	Rango de IP de Cloud SQL
africa-south1	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
asia-east1	172.16.42.0/23	172.31.255.0/24	10.0.0.0/12
asia-east2	172.16.0.0/23	172.31.255.0/24	10.0.0.0/12
asia-northeast1	172.16.2.0/23	172.31.254.0/24	10.0.0.0/12
asia-northeast2	172.16.32.0/23	172.31.239.0/24	10.0.0.0/12
asia-northeast3	172.16.30.0/23	172.31.240.0/24	10.0.0.0/12
asia-south1	172.16.4.0/23	172.31.253.0/24	10.0.0.0/12
asia-south2	172.16.50.0/23	172.31.230.0/24	10.0.0.0/12
asia-southeast1	172.16.40.0/23	172.31.235.0/24	10.0.0.0/12
asia-southeast2	172.16.44.0/23	172.31.233.0/24	10.0.0.0/12
australia-southeast1	172.16.6.0/23	172.31.252.0/24	10.0.0.0/12
australia-southeast2	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
europe-central2	172.16.36.0/23	172.31.237.0/24	10.0.0.0/12
europe-north1	172.16.48.0/23	172.31.231.0/24	10.0.0.0/12
europe-southwest1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
europe-west1	172.16.8.0/23	172.31.251.0/24	10.0.0.0/12
europe-west10	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west12	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west2	172.16.10.0/23	172.31.250.0/24	10.0.0.0/12
europe-west3	172.16.12.0/23	172.31.249.0/24	10.0.0.0/12
europe-west4	172.16.42.0/23	172.31.234.0/24	10.0.0.0/12
europe-west6	172.16.14.0/23	172.31.248.0/24	10.0.0.0/12
europe-west8	172.16.60.0/23	172.31.225.0/24	10.0.0.0/12
europe-west9	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
me-central1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
me-central2	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
me-west1	172.16.54.0/23	172.31.228.0/24	10.0.0.0/12
northamerica-northeast1	172.16.16.0/23	172.31.247.0/24	10.0.0.0/12
northamerica-northeast2	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
northamerica-south1	172.16.68.0/23	172.31.221.0/24	10.0.0.0/12
southamerica-east1	172.16.18.0/23	172.31.246.0/24	10.0.0.0/12
southamerica-west1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
us-central1	172.16.20.0/23	172.31.245.0/24	10.0.0.0/12
us-east1	172.16.22.0/23	172.31.244.0/24	10.0.0.0/12
us-east4	172.16.24.0/23	172.31.243.0/24	10.0.0.0/12
us-east5	172.16.52.0/23	172.31.229.0/24	10.0.0.0/12
us-south1	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
us-west1	172.16.38.0/23	172.31.236.0/24	10.0.0.0/12
us-west2	172.16.34.0/23	172.31.238.0/24	10.0.0.0/12
us-west3	172.16.26.0/23	172.31.242.0/24	10.0.0.0/12
us-west4	172.16.28.0/23	172.31.241.0/24	10.0.0.0/12

Configura la conectividad a las APIs y los servicios de Google (opcional)

Como opción, puedes enrutar todo el tráfico a las APIs y los servicios de Google a través de varias direcciones IP que pertenecen al dominio private.googleapis.com. En esta configuración, tu entorno accede a las APIs y los servicios de Google a través de direcciones IP que solo se pueden enrutar desde Google Cloud.

Si tu entorno de IP privada también usa los Controles del servicio de VPC, usa las instrucciones para entornos con Controles del servicio de VPC en su lugar.

Los entornos de Managed Airflow usan los siguientes dominios:

• *.googleapis.com se usa para acceder a otros servicios de Google.

• *.composer.cloud.google.com se usa para que se pueda acceder al servidor web de Airflow de tu entorno. Esta regla se debe aplicar antes de crear un entorno.

  • Como alternativa, puedes crear una regla para una región específica. Para hacerlo, usa REGION.composer.cloud.google.com. Reemplaza REGION por la región en la que se encuentra el entorno, por ejemplo, us-central1.

• (Opcional) *.composer.googleusercontent.com se usa cuando se accede al servidor web de Airflow de tu entorno. Esta regla solo es necesaria si accedes al servidor web de Airflow desde una instancia que se ejecuta en la red de VPC y no es necesaria en ningún otro caso. Una situación común para esta regla es cuando deseas llamar a la API de REST de Airflow desde la red de VPC.

  • Como alternativa, puedes crear una regla para un entorno específico. Para hacerlo, usa ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Reemplaza ENVIRONMENT_WEB_SERVER_NAME por la parte única de la URL de la IU de Airflow de tu entorno, por ejemplo, bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

• *.pkg.dev se usa para obtener imágenes de entorno, como cuando se crea o actualiza un entorno.

• *.gcr.io GKE requiere conectividad al dominio de Container Registry, independientemente de la versión de Managed Airflow.

Nota: Si no configuras reglas de DNS para las APIs y los servicios de Google, se resuelven con la opción de dominio para los dominios predeterminados.

Configura la conectividad con el extremo private.googleapis.com.

Dominio	Nombre de DNS	Registro CNAME	Registro A
*.googleapis.com	googleapis.com.	Nombre de DNS: *.googleapis.com. Tipo de registro de recurso: CNAME Nombre canónico: googleapis.com.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com	composer.cloud.google.com.	Nombre de DNS: *.composer.cloud.google.com. Tipo de registro de recurso: CNAME Nombre canónico: composer.cloud.google.com.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com (opcional, consulta la descripción)	composer.googleusercontent.com.	Nombre de DNS: *.composer.googleusercontent.com. Tipo de registro de recurso: CNAME Nombre canónico: composer.googleusercontent.com.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev	pkg.dev.	Nombre de DNS: *.pkg.dev. Tipo de registro de recurso: CNAME Nombre canónico: pkg.dev.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io	gcr.io.	Nombre de DNS: *.gcr.io. Tipo de registro de recurso: CNAME Nombre canónico: gcr.io.	Tipo de registro de recurso: A Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para crear una regla de DNS, sigue estos pasos:

1. Crea una zona del DNS nueva y usa el nombre de DNS como el nombre de DNS de esta zona.

   Ejemplo: pkg.dev.

2. Agrega un conjunto de registros para el registro CNAME.

   Ejemplo:

   • Nombre de DNS: *.pkg.dev.
   • Tipo de registro de recursos: CNAME
   • Nombre canónico: pkg.dev.

3. Agrega un conjunto de registros para el registro A:

   Ejemplo:

   • Tipo de registro de recursos: A
   • Direcciones IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Para obtener más información, consulta Configura la conectividad privada a los servicios y las APIs de Google.

Configura reglas de firewall (opcional)

Realiza este paso solo si tu proyecto tiene reglas de firewall no predeterminadas, como reglas que anulan las reglas de firewall implícitas o modifican las reglas prepropagadas en la red predeterminada.

Por ejemplo, es posible que Managed Airflow no pueda crear un entorno si tienes una regla de firewall que rechaza todo el tráfico de salida. Para evitar problemas, define reglas allow selectivas que sigan la lista y tengan una prioridad más alta que la regla deny global.

Importante: Según cómo se configuren las reglas de firewall en tu proyecto, la siguiente lista de reglas podría ser redundante. Por ejemplo, si tus reglas de firewall bloquean solo la entrada, no necesitas las reglas de salida que se indican.

Configura tu red de VPC para permitir el tráfico desde tu entorno:

• Consulta Usa reglas de firewall para aprender a verificar, agregar y actualizar reglas para tu red de VPC.
• Usa la herramienta de conectividad para validar la conectividad entre los rangos de IP.
• Puedes usar etiquetas de red para limitar aún más el acceso. Puedes establecer estas etiquetas cuando creas un entorno.

Descripción	Dirección	Acción	Origen o destino	Protocolos	Puertos
DNS	Salida	Permitir	Cualquier destino (0.0.0.0/0) o direcciones IP del servidor DNS	TCP, UDP	53
Servicios y APIs de Google	Salida	Permitir	Es el rango de direcciones IP del dominio que elegiste para las APIs y los servicios de Google. Consulta Direcciones IP para dominios predeterminados si usas los valores predeterminados.	TCP	443
Nodos del clúster del entorno	Salida	Permitir	Rango de direcciones IP principal de la subred del entorno	TCP, UDP	todos
Pods del clúster del entorno	Salida	Permitir	Rango de direcciones IP secundario para Pods en la subred del entorno	TCP, UDP	todos
Plano de control del clúster del entorno	Salida	Permitir	Rango de IP del plano de control de GKE	TCP, UDP	todos
(Si tu entorno usa Private Service Connect) Subred de conexión	Salida	Permitir	Rango de subred de conexión de Managed Airflow	TCP	3306, 3307, 19090
(Si tu entorno usa intercambios de tráfico de VPC) Red de usuario	Salida	Permitir	Rango de IP de la red de usuarios de Managed Airflow	TCP	3306, 3307, 19090

Precaución: El servicio de GKE crea automáticamente varias reglas de firewall de entrada y salida para que el clúster de tu entorno funcione correctamente (como las reglas de entrada y salida para las verificaciones de estado de Google Cloud ). Consulta la página Reglas de firewall de GKE para obtener más información y no borres ni bloquees las reglas de firewall creadas por los servicios de GKE. Es posible que veas que tu entorno se comunica con el rango de IP 34.126.0.0/18, que es un rango de IP del Acceso privado a Google. Este tráfico pertenece al servicio de GKE que usa el clúster del entorno.

Para obtener los rangos de IP del clúster del entorno, haz lo siguiente:

• Los rangos de direcciones de Pods, Services y del plano de control están disponibles en la página Clústeres del clúster de tu entorno:

  1. En la consola de Google Cloud , ve a la página Entornos.

     Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

  3. Ve a la pestaña Configuración del entorno.

  4. Sigue el vínculo para ver los detalles del clúster.

• Puedes ver el rango de IP de la red de usuario de Managed Airflow del entorno en la pestaña Configuración del entorno.

• Puedes ver el ID de la subred del entorno y el ID de la subred de conexión de Managed Airflow en la pestaña Configuración del entorno. Para obtener los rangos de IP de una subred, ve a la página Redes de VPC y haz clic en el nombre de la red para ver los detalles:

  Ir a Redes de VPC

Configura las variables del servidor proxy

Importante: El enrutamiento con variables de proxy se realiza según el criterio del mejor esfuerzo. No hay garantía de que todas las solicitudes pasen por el proxy. En su lugar, te recomendamos que enrutes el tráfico creando tu entorno en una red de VPC y configurando reglas de enrutamiento de tráfico en esta red.

Puedes establecer las variables de entorno http_proxy y https_proxy en tu entorno. Los clientes web que se ejecutan en contenedores del clúster de tu entorno usan estas variables estándar de Linux para enrutar el tráfico a través de los proxies especificados.

De forma predeterminada, la variable NO_PROXY se establece en una lista de dominios de Google, la dirección IP del servidor de metadatos de Compute Engine del clúster del entorno y localhost para que se excluyan del proxy:

.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost

Esta configuración permite crear un entorno con variables de entorno http_proxy y https_proxy establecidas en los casos en que el proxy no está configurado para controlar el tráfico a los servicios de Google.

¿Qué sigue?

• Conecta un entorno a una red de VPC
• Configura el acceso a Internet cuando instales paquetes de PyPI