Résoudre les problèmes de création d'environnement

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)

Cette page fournit des informations de dépannage pour les problèmes que vous pouvez rencontrer lors de la création d'environnements Managed Airflow.

Pour en savoir plus sur la mise à jour et la mise à niveau des environnements, consultez la page Dépannage des mises à jour et des mises à niveau d'environnement.

Lorsque les environnements Managed Airflow sont créés, la majorité des problèmes se produisent pour les raisons suivantes :

  • Problèmes d'autorisation de compte de service.

  • Informations incorrectes de pare-feu, de DNS ou de routage.

  • Problèmes réseau. Par exemple, une configuration VPC non valide, des conflits d'adresses IP ou des plages d'adresses IP réseau trop restrictives.

  • Problèmes liés aux quotas.

  • Règles d'administration incompatibles.

Autorisations insuffisantes pour créer un environnement

Si Managed Airflow ne peut pas créer d'environnement car votre compte ne dispose pas des autorisations nécessaires, les messages d'erreur suivants s'affichent :

ERROR: (gcloud.composer.environments.create) PERMISSION_DENIED: The caller
does not have permission

ou

ERROR: (gcloud.composer.environments.create) PERMISSION_DENIED: User not
authorized to act as service account <service-account-name>.
The user must be granted iam.serviceAccounts.actAs permission, included in
Owner, Editor, Service Account User role. See https://cloud.google.com/iam/docs
/understanding-service-accounts for additional details.

Solution : Attribuez des rôles à votre compte et au compte de service de votre environnement, comme décrit dans la section Contrôle des accès.

  • Dans Managed Airflow (2e génération), assurez-vous que le rôle Extension de l'agent de service de l'API Cloud Composer v2 est attribué au compte de service Agent de service Cloud Composer (service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com)

  • Assurez-vous que le rôle Éditeur est attribué à l'agent de service des API Google (PROJECT_NUMBER@cloudservices.gserviceaccount.com)

  • Dans la configuration VPC partagé, suivez les instructions de la section Configurer un VPC partagé.

Le compte de service de l'environnement ne dispose pas des autorisations nécessaires

Lors de la création d'un environnement Managed Airflow, vous spécifiez un compte de service qui exécute les nœuds de cluster GKE de l'environnement. Si ce compte de service ne dispose pas des autorisations nécessaires pour l'opération demandée, Managed Airflow génère l'erreur suivante :

Errors in: [Web server]; Error messages:
  Creation of airflow web server version failed. This may be an intermittent
  issue of the App Engine service. You may retry the operation later.
{"ResourceType":"appengine.v1.version","ResourceErrorCode":"504","ResourceError
Message":"Your deployment has failed to become healthy in the allotted time
and therefore was rolled back. If you believe this was an error, try adjusting
the 'app_start_timeout_sec' setting in the 'readiness_check' section."}

Solution : Attribuez des rôles à votre compte et au compte de service de votre environnement, comme décrit dans la section Contrôle des accès.

Avertissements concernant les rôles IAM manquants dans les comptes de service

Lorsqu'une création d'environnement échoue, Managed Airflow génère le message d'avertissement suivant après une erreur : The issue may be caused by missing IAM roles in the following Service Accounts ....

Ce message d'avertissement met en évidence les causes possibles de l'erreur. Managed Airflow recherche les rôles requis dans les comptes de service de votre projet. S'ils ne sont pas présents, il génère ce message d'avertissement.

Solution : Vérifiez que les comptes de service mentionnés dans le message d'avertissement disposent des rôles requis. Pour en savoir plus sur les rôles et les autorisations dans Managed Airflow, consultez la section Contrôle des accès.

Dans certains cas, vous pouvez ignorer cet avertissement. Managed Airflow ne vérifie pas les autorisations individuelles attribuées aux rôles. Par exemple, si vous utilisez des rôles IAM personnalisés, il est possible que le compte de service mentionné dans le message d'avertissement dispose déjà de toutes les autorisations requises. Dans ce cas, vous pouvez ignorer cet avertissement.

Règles d'administration incompatibles

Les règles suivantes doivent être configurées de manière appropriée pour que les environnements Managed Airflow puissent être créés avec succès.

Règles d'administration Managed Airflow (3e génération) Managed Airflow (2e génération) Managed Airflow (1re génération héritée)
compute.disableSerialPortLogging Toutes les valeurs sont autorisées Doit être désactivé Désactivé pour les versions antérieures à 1.13.0. Sinon, n'importe quelle valeur.
compute.requireOsLogin Toutes les valeurs sont autorisées Toutes les valeurs sont autorisées Doit être désactivé
compute.vmCanIpForward Toutes les valeurs sont autorisées Toutes les valeurs sont autorisées Doit être autorisé (obligatoire pour les clusters GKE appartenant à Managed Airflow) lorsque le mode VPC natif (utilisation d'une adresse IP d'alias) n'est pas configuré
compute.vmExternalIpAccess Toutes les valeurs sont autorisées Doit être autorisé pour les environnements d'adresse IP publique Doit être autorisé pour les environnements d'adresse IP publique
compute.restrictVpcPeering Peut être appliqué Ne peut pas être appliqué Ne peut pas être appliqué
compute.disablePrivateServiceConnectCreationForConsumers Toutes les valeurs sont autorisées Ne peut pas interdire SERVICE_PRODUCERS pour les environnements d'adresse IP privée et publique. N'affecte pas les environnements existants, qui peuvent fonctionner lorsque cette règle est activée. Ne peut pas interdire SERVICE_PRODUCERS pour les environnements d'adresse IP privée. N'affecte pas les environnements existants, qui peuvent fonctionner lorsque cette règle est activée.
compute.restrictPrivateServiceConnectProducer Lorsqu'elle est active, autorise l'organisation google.com Lorsqu'elle est active, autorise l'organisation google.com Toutes les valeurs sont autorisées

Stratégies de limite d'accès des comptes principaux incompatibles

Les stratégies de limite d'accès des comptes principaux configurées dans votre organisation peuvent être configurées de manière à bloquer certaines opérations de votre environnement ou à empêcher la création de nouveaux environnements.

Dans ce cas, la ligne suivante peut s'afficher dans les messages d'erreur :

Operations on resource are denied due to an IAM Principal Access Boundary Policy.

Les composants de votre environnement sont situés dans un locataire et un projet client. Le projet locataire est géré par Google et n'appartient pas à l'organisation dans laquelle se trouve l'environnement. Le compte de service de votre environnement doit disposer des autorisations nécessaires pour effectuer des opérations dans le projet locataire.

Solution:

Restreindre les services utilisés dans une organisation ou un projet

Les administrateurs d'organisation ou de projet peuvent limiter les services Google qui peuvent être utilisés dans leurs projets à l'aide de la gcp.restrictServiceUsage contrainte de règle d'administration.

Lorsque vous utilisez cette règle d'administration, il est important d'autoriser tous les services requis par Managed Airflow.

Étape suivante