Solución de problemas de creación de entornos

Airflow administrado (gen. 3) | Airflow administrado (gen. 2) | Airflow administrado (gen. 1 heredada)

En esta página, se proporciona información para solucionar problemas que podrían surgir durante la creación de entornos de Airflow administrado.

Para obtener información sobre la solución de problemas relacionados con la actualización de los entornos, consulta Solución de problemas de actualizaciones y entornos de actualización.

Cuando se crean entornos de Airflow administrado, la mayoría de los problemas ocurren debido a los siguientes motivos:

• Problemas de permisos de la cuenta de servicio

• Firewall, información de enrutamiento o DNS incorrecto

• Problemas relacionados con la red Por ejemplo, configuración de VPC no válida, conflictos de direcciones IP o rangos de IP de red que son demasiado reducidos.

• Problemas relacionados con la cuota

• Políticas de la organización incompatibles

No tienes permisos suficientes para crear un entorno

Nota: Puedes validar que los permisos que configuraste sean correctos con la secuencia de comandos de validación de permisos de IAM. El script valida los permisos para la configuración de VPC compartida y no compartida.

Si Managed Airflow no puede crear un entorno porque tu cuenta no tiene los permisos suficientes, se mostrarán los siguientes mensajes de error:

ERROR: (gcloud.composer.environments.create) PERMISSION_DENIED: The caller
does not have permission

o

ERROR: (gcloud.composer.environments.create) PERMISSION_DENIED: User not
authorized to act as service account <service-account-name>.
The user must be granted iam.serviceAccounts.actAs permission, included in
Owner, Editor, Service Account User role. See https://cloud.google.com/iam/docs
/understanding-service-accounts for additional details.

Solución: Asigna roles a tu cuenta y a la cuenta de servicio de tu entorno como se describe en Control de acceso.

• En Managed Airflow (gen. 2), asegúrate de que la cuenta de servicio de Agente de servicio de Cloud Composer ([e-mail]) tenga asignado el rol de Extensión del agente de servicio de la API de Cloud Composer v2.

• Asegúrate de que el agente de servicio de las APIs de Google ([e-mail]) tenga asignado el rol de Editor.

• En la configuración de la VPC compartida, sigue las instrucciones para configurar la VPC compartida.

La cuenta de servicio del entorno no tiene permisos suficientes.

Cuando creas un entorno de Airflow administrado, especificas una cuenta de servicio que ejecuta los nodos del clúster de GKE del entorno. Si esta cuenta de servicio no tiene suficientes permisos para la operación solicitada, Airflow administrado genera el siguiente error:

Errors in: [Web server]; Error messages:
  Creation of airflow web server version failed. This may be an intermittent
  issue of the App Engine service. You may retry the operation later.
{"ResourceType":"appengine.v1.version","ResourceErrorCode":"504","ResourceError
Message":"Your deployment has failed to become healthy in the allotted time
and therefore was rolled back. If you believe this was an error, try adjusting
the 'app_start_timeout_sec' setting in the 'readiness_check' section."}

Solución: Asigna roles a tu cuenta y a la cuenta de servicio de tu entorno como se describe en Control de acceso.

Advertencias sobre la falta de roles de IAM en las cuentas de servicio

Cuando falla la creación de un entorno, Managed Airflow genera el siguiente mensaje de advertencia después de que se produjo un error: The issue may be caused by missing IAM roles in the following Service Accounts ....

Este mensaje de advertencia destaca las posibles causas del error. Airflow administrado verifica los roles requeridos en las cuentas de servicio de tu proyecto y, si estos roles no están presentes, genera este mensaje de advertencia.

Nota: Esta verificación solo se aplica al proyecto en el que creas el entorno. En el caso de la configuración de VPC compartida, Managed Airflow no realiza esta verificación en el proyecto host. Para habilitar esta verificación en la VPC compartida, la cuenta del agente de servicio de Managed Airflow del proyecto de servicio debe tener permiso para ver los roles en el proyecto host. Para permitirlo, otorga el rol de visualizador de roles (roles/iam.roleViewer) a la cuenta del agente de servicio de Airflow administrado desde el proyecto de servicio a nivel del proyecto host.

Solución: Verifica que las cuentas de servicio mencionadas en el mensaje de advertencia tengan los roles necesarios. Para obtener más información sobre los roles y los permisos en Managed Airflow, consulta Control de acceso.

En algunos casos, puedes ignorar esta advertencia. Managed Airflow no verifica los permisos individuales asignados a los roles. Por ejemplo, si usas roles de IAM personalizados, es posible que la cuenta de servicio mencionada en el mensaje de advertencia ya tenga todos los permisos requeridos. En este caso, puedes ignorar la advertencia.

No existe una red de VPC seleccionada para el entorno

Puedes especificar una red de VPC y una subred para tu entorno de Airflow administrado cuando lo crees. Si no especificas una red de VPC, el servicio de Airflow administrado selecciona la VPC default y la subred default para la región y zona del entorno.

Si la red y la subred de VPC especificadas no existen, Airflow administrado genera el siguiente error:

Errors in: [GKE cluster]; Error messages:
        {"ResourceType":"gcp-types/container-v1:projects.locations.clusters","R
        esourceErrorCode":"400","ResourceErrorMessage":{"code":400,"message":"P
        roject \"<your composer project>\" has no network named \"non-existing-
        vpc\".","status":"INVALID_ARGUMENT","statusMessage":"Bad
        Request","requestPath":"https://container.googleapis.com/
        v1/projects/<your composer
        project>/locations/<zone>/clusters","httpMethod":"POST"}}

Solución:

• En Managed Airflow (gen. 2), puedes crear entornos que usen Private Service Connect en lugar de redes de VPC.
• Antes de crear un entorno, asegúrate de que la red de VPC y la subred de tu entorno nuevo existan.

Configuración de red incorrecta

La creación de entornos de Managed Service for Apache Airflow requiere una configuración de red o DNS adecuada. Sigue estas instrucciones para configurar la conectividad a las APIs y los servicios de Google:

• Instrucciones para la conectividad de IP privada

• Instrucciones de conectividad de los Controles del servicio de VPC

Si configuras entornos de Managed Service para Apache Airflow en el modo de VPC compartida, también debes seguir las instrucciones de la VPC compartida.

Un entorno de Managed Service para Apache Airflow usa una subred para los nodos del clúster y rangos de IP para los Pods y los Services. Para garantizar la comunicación con estos y otros rangos de IP, sigue estas instrucciones para configurar las reglas de firewall:

• Instrucciones del firewall de IP privada

• Instrucciones del firewall de los Controles del servicio de VPC

También puedes verificar si hay entradas de registro en las categorías de configuración GCE Networking y Subnetwork seleccionadas en Cloud Logging para ver si se informaron errores durante la creación del entorno: Cloud Logging

Problemas de cuotas encontrados cuando se crean entornos en redes a gran escala

Cuando creas entornos de Managed Service para Apache Airflow en redes a gran escala, puedes encontrar las siguientes limitaciones de cuota:

• Se alcanza la cantidad máxima de intercambios de tráfico de VPC por red de VPC.
• Se alcanza la cantidad máxima de rangos de IP de subred principales y secundarios.
• Se alcanza la cantidad máxima de reglas de reenvío en el grupo de intercambio de tráfico para el balanceo de cargas TCP/UDP interno.

Solución:

• En Managed Airflow (gen. 2), puedes crear entornos que usen Private Service Connect en lugar de redes de VPC.
• En Managed Airflow (1ª gen. heredada), aplica el enfoque recomendado para Managed Airflow en redes a gran escala.

Políticas de la organización incompatibles

Las siguientes políticas deben configurarse de forma correcta para que los entornos de Airflow administrado se puedan crear correctamente.

Importante: En esta página, solo se enumeran las políticas de la organización incompatibles con Managed Airflow y cómo se deben configurar. Para obtener instrucciones detalladas sobre cómo configurar cada política, consulta Restricciones de las políticas de la organización en la documentación de Resource Manager.

Política de la organización	Managed Airflow (3ª gen.)	Managed Airflow (2ª gen.)	Managed Airflow (1ª gen. heredada)
compute.disableSerialPortLogging	(se permite cualquier valor)	Debe inhabilitarse	Inhabilitado para las versiones anteriores a la 1.13.0; de lo contrario, cualquier valor
compute.requireOsLogin	(se permite cualquier valor)	(se permite cualquier valor)	Debe inhabilitarse
compute.vmCanIpForward	(se permite cualquier valor)	(se permite cualquier valor)	Se debe permitir (obligatorio para los clústeres de GKE propiedad de Airflow administrado) cuando el modo nativo de la VPC (con alias de IP) no está configurado
compute.vmExternalIpAccess	(se permite cualquier valor)	Se debe permitir en entornos de IP públicas	Se debe permitir en entornos de IP públicas
compute.restrictVpcPeering	Se puede aplicar	No se puede aplicar	No se puede aplicar
compute.disablePrivateServiceConnectCreationForConsumers	(se permite cualquier valor)	No se pueden rechazar SERVICE_PRODUCERS para entornos de IP pública y privada. No afecta los entornos existentes, que pueden operar cuando esta política está habilitada.	No se pueden rechazar los SERVICE_PRODUCERS para los entornos de IP privada. No afecta los entornos existentes, que pueden operar cuando esta política está habilitada.
compute.restrictPrivateServiceConnectProducer	Cuando esté activo, agrega a la lista de entidades permitidas la organización de google.com	Cuando esté activo, agrega a la lista de entidades permitidas la organización de google.com	(se permite cualquier valor)

Políticas de límite de acceso de las principales incompatibles

Las políticas de límite de acceso de las principales configuradas en tu organización se pueden configurar de manera que bloqueen algunas de las operaciones de tu entorno o impidan la creación de entornos nuevos.

Si este es el caso, es posible que veas la siguiente línea en los mensajes de error:

Operations on resource are denied due to an IAM Principal Access Boundary Policy.

Los componentes de tu entorno se encuentran en un proyecto de usuario y un proyecto de cliente. El proyecto de usuario está administrado por Google y no pertenece a la organización en la que se encuentra el entorno. La cuenta de servicio de tu entorno debe tener permisos para realizar operaciones en el proyecto del arrendatario.

Solución:

• Agrega una expresión de condición a la vinculación de la política para excluir la cuenta de servicio del entorno de la política. Para ver un ejemplo de cómo excluir una principal para que no se le aplique la política, consulta Vinculaciones de políticas condicionales para las políticas de límite de acceso de las principales en la documentación de Identity and Access Management.

Restricción de los servicios que se usan dentro de la organización o el proyecto

Los administradores de la organización o del proyecto pueden restringir qué servicios de Google se pueden usar en sus proyectos con la restricción de política de la organización gcp.restrictServiceUsage.

Cuando uses esta política de la organización, es importante permitir todos los servicios que requiere Managed Airflow.

Mensaje de error 400: No se pudo implementar el servidor web de Airflow.

Este error puede deberse a un error en la creación del clúster de GKE del entorno IP privado debido a la superposición de rangos de IP.

Solución: Verifica los registros de cualquier falla en el clúster del entorno y resuelve el problema según el mensaje de error de GKE.

Cloud Build no puede compilar imágenes de entorno de compilación

Se aplica a: Managed Airflow (2ª gen.) y Managed Airflow (1ª gen. heredada).

Si la cuenta de servicio de Cloud Build ([e-mail]) no tiene el rol de cuenta de servicio de Cloud Build (roles/cloudbuild.builds.builder) en tu proyecto, los intentos de crear o actualizar un entorno podrían fallar con errores relacionados con los permisos.

Por ejemplo, es posible que veas el mensaje denied: Permission "artifactregistry.repositories.uploadArtifacts" denied seguido de ERROR: failed to push because we ran out of retries en los registros de Cloud Build.

Para resolver este problema, asegúrate de que la cuenta de servicio de Cloud Build tenga el rol de Cuenta de servicio de Cloud Build.

¿Qué sigue?

• Crear entornos
• Solución de problemas de actualizaciones y mejoras de entornos
• Control de acceso