Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (ancienne 1re génération)
Cette page explique comment activer et désactiver le service Managed Service pour Apache Airflow dans votre projet Google Cloud .
Pour en savoir plus sur la gestion des services sur Google Cloud, consultez Activer et désactiver des services.
Pour obtenir la liste des services requis par Managed Airflow dans les configurations VPC Service Controls, consultez Configurer VPC Service Controls.
Services requis par Managed Service pour Apache Airflow
Cette section décrit les services requis par Managed Airflow (ancienne génération 1). Dans certains cas, les administrateurs d'organisation ou de projet peuvent limiter les services Google pouvant être utilisés dans leurs projets.
Les services suivants sont requis par Managed Airflow (ancienne génération 1) :
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
- cloudkms.googleapis.com, si vous utilisez des clés Cloud KMS ou CMEK
secretmanager.googleapis.com, si vous utilisez Secret Manager comme backend de secret
deploymentmanager.googleapis.com
Les services Google tels que Cloud DNS ou IAM sont déjà autorisés par défaut dans la plupart des projets.
Activer le service Managed Airflow
Cette section explique comment activer le service Managed Airflow dans votre projet Google Cloud .
Avant d'activer le service
Pour activer le service Managed Airflow, vous devez disposer des autorisations Identity and Access Management appropriées, qui sont disponibles dans le rôle Administrateur Service Usage.
Assurez-vous que la facturation est activée dans votre projet.
Activer l'API Cloud Composer
Console
Activez l'API Cloud Composer :
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.
gcloud
Activez l'API composer.googleapis.com :
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.
gcloud services enable composer.googleapis.com
API
Utilisez la méthode services.enable pour activer l'API composer.googleapis.com.
Terraform
Utilisez la ressource google_project_service pour configurer l'API composer.googleapis.com.
Activer les services requis par vos DAG
En plus des services requis par Managed Airflow, activez tous les services utilisés par vos DAG, par exemple :
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Vous trouverez les noms *.googleapis.com des services sur les pages d'API accessibles depuis la page APIs Explorer.
Désactiver le service Managed Airflow
Cette section explique comment désactiver le service Managed Airflow dans votre projet Google Cloud .
Avant de désactiver le service
Pour désactiver le service Managed Airflow, vous devez disposer des autorisations Identity and Access Management appropriées. Pour en savoir plus sur les exigences IAM pour Service Usage, consultez la page Service Usage sur le contrôle des accès.
Assurez-vous que tous les environnements Managed Airflow de votre projet sont supprimés. La désactivation de l'API supprime de manière irréversible les parties du projet locataire des environnements Managed Airflow, et ces environnements deviennent inutilisables.
Pour éviter des frais supplémentaires, effectuez les étapes ci-après pour chaque environnement avant de désactiver l'API Cloud Composer :
- Mettez les DAG en pause.
- Si nécessaire, exportez les données de l'environnement, telles que les DAG, à partir du bucket de l'environnement.
- Supprimez votre environnement, y compris les ressources qui ne sont pas supprimées automatiquement.
Désactiver l'API Cloud Composer
Pour désactiver le service Managed Airflow :
Console
Dans la console Google Cloud , accédez à la page API Cloud Composer.
Cliquez sur Gérer.
Cliquez sur Désactiver l'API.
gcloud
Exécutez la commande gcloud services disable :
gcloud services disable composer.googleapis.com
API
Utilisez la méthode services.disable pour désactiver l'API composer.googleapis.com.
Terraform
Supprimez la configuration de l'API composer.googleapis.com. Vous utilisez généralement la ressource google_project_service pour configurer les services Google Cloud .
Abandon des services qui ne sont pas requis par Managed Airflow (3e génération)
Nous supprimons progressivement les API qui ne sont pas requises par Managed Airflow (3e génération).
Les dépendances d'API suivantes ne sont pas encore dissociées et devraient l'être de l'API Cloud Composer à l'avenir :
- sqladmin.googleapis.com
- pubsub.googleapis.com
Les API suivantes sont devenues entièrement détachables. La désactivation de ces API n'entraîne pas la désactivation de l'API Cloud Composer :
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
Toutes les API listées comme dissociées ne sont plus activées automatiquement lorsque vous activez l'API Cloud Composer. Pour créer des environnements Managed Airflow (Gen 2) dans de nouveaux projets, activez le groupe d'API dissociées en plus de l'API Cloud Composer.
Les environnements Managed Airflow (Gen 3) et Managed Airflow (Gen 2) existants dans les projets où l'API Cloud Composer est déjà activée ne sont pas affectés par ce changement. Vous pouvez procéder comme suit :
Si votre projet ne comporte que des environnements Managed Airflow (Gen 3), vous pouvez désactiver manuellement les API dissociées.
Si votre projet comporte des environnements Managed Airflow (2e génération), nous vous recommandons de laisser ces API activées, car leur désactivation peut entraîner un dysfonctionnement de l'environnement.
Si vous utilisez des scripts d'automatisation pour provisionner des environnements Managed Airflow (Gen 2), assurez-vous que les API listées sont activées en plus de l'API Cloud Composer. Vous pouvez les activer manuellement ou avec une commande gcloud CLI.