Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)
Cette page explique comment activer et désactiver le service Managed Service pour Apache Airflow dans votre Google Cloud projet.
Pour en savoir plus sur la gestion des services dans Google Cloud, consultez Activer et désactiver des services.
Pour obtenir la liste des services requis par Managed Airflow dans les configurations VPC Service Controls, consultez Configurer VPC Service Controls.
Services requis par Managed Service pour Apache Airflow
Cette section décrit les services requis par Managed Airflow (2e génération). Dans certains cas, les administrateurs d'organisation ou de projet peuvent limiter les services Google qui peuvent être utilisés dans leurs projets.
Les services suivants sont requis par Managed Airflow (2e génération) :
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com, si vous utilisez des clés Cloud KMS ou CMEK
secretmanager.googleapis.com, si vous utilisez Secret Manager comme backend secret
artifactregistry.googleapis.com
cloudbuild.googleapis.com
container.googleapis.com
pubsub.googleapis.com
(Uniquement dans les versions 2.0.* de Managed Airflow) deploymentmanager.googleapis.com
Les services Google tels que Cloud DNS ou IAM sont déjà autorisés par défaut dans la plupart des projets.
Activer le service Managed Airflow
Cette section explique comment activer le service Managed Airflow dans votre Google Cloud projet.
Avant d'activer le service
Pour activer le service Managed Airflow, vous devez disposer des autorisations Identity and Access Management appropriées. Pour en savoir plus sur les exigences Cloud IAM pour Service Usage, consultez la page Service Usage pour Contrôle des accès.
Assurez-vous que la facturation est activée dans votre projet.
Activer l'API Cloud Composer
Console
Activez l'API Cloud Composer :
Rôles requis pour activer les API
Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous
avez créé le projet, vous disposez probablement déjà de cette autorisation via le
rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le
rôle Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin).
Découvrez comment attribuer des rôles.
gcloud
Activez l'API composer.googleapis.com :
Rôles requis pour activer les API
Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous
avez créé le projet, vous disposez probablement déjà de cette autorisation via le
rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le
rôle Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin).
Découvrez comment attribuer des rôles.
gcloud services enable composer.googleapis.com
API
Utilisez la méthode services.enable pour activer
l'API composer.googleapis.com.
Terraform
Utilisez la google_project_service
ressource pour configurer l'API composer.googleapis.com.
Activer les dépendances de Managed Airflow (2e génération)
Pour activer toutes les dépendances requises par Managed Airflow (2e génération), vous pouvez activer le groupe de services services/composer.googleapis.com/groups/dependencies@composer2 avec la commande Google Cloud CLI suivante :
gcloud
Exécutez la gcloud beta services enable commande :
gcloud beta services enable composer.googleapis.com \
--group dependencies@composer2
Vous pouvez également activer manuellement les dépendances supplémentaires requises par Managed Airflow (2e génération), par exemple via la Google Cloud console ou Terraform :
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
Activer les services requis par vos DAG
En plus des services requis par Managed Airflow, activez tous les services utilisés par vos DAG, par exemple :
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Vous trouverez les noms *.googleapis.com des services sur les pages d'API liées à la page API Explorer.
Désactiver le service Managed Airflow
Cette section explique comment désactiver le service Managed Airflow dans votre Google Cloud projet.
Avant de désactiver le service
Pour désactiver le service Managed Airflow, vous devez disposer des autorisations Identity and Access Management appropriées. Pour en savoir plus sur les exigences Cloud IAM pour Service Usage, consultez la page Service Usage pour Contrôle des accès.
Assurez-vous que tous les environnements Managed Airflow de votre projet sont supprimés. La désactivation de l'API supprime de manière irréversible les parties de projet locataire des environnements Managed Airflow, et ces environnements deviennent inutilisables.
Pour éviter des frais supplémentaires, effectuez les étapes ci-après pour chaque environnement avant de désactiver l'API Cloud Composer :
- Mettez en veille les DAG.
- Si nécessaire, exportez les données de l'environnement, telles que les DAG du bucket de l'environnement.
- Supprimez votre environnement, y compris les ressources qui ne sont pas supprimées automatiquement.
Désactiver l'API Cloud Composer
Pour désactiver le service Managed Airflow :
Console
Dans la Google Cloud console, accédez à la page API Cloud Composer.
Cliquez sur Gérer.
Cliquez sur Désactiver l'API.
gcloud
Exécutez la commande gcloud services disable :
gcloud services disable composer.googleapis.com
API
Utilisez la services.disable méthode pour désactiver
l'API composer.googleapis.com.
Terraform
Supprimez la configuration de l'API composer.googleapis.com. Vous utilisez généralement la google_project_service
ressource pour configurer les Google Cloud services.
Abandon des services qui ne sont pas requis par Managed Airflow (3e génération)
Nous allons progressivement abandonner les API qui ne sont pas requises par Managed Airflow (3e génération).
Les dépendances d'API suivantes ne sont pas encore dissociées et devraient l'être de l'API Cloud Composer à l'avenir :
- sqladmin.googleapis.com
Les API suivantes sont désormais entièrement dissociables. La désactivation de ces API n'entraînera pas la désactivation de l'API Cloud Composer :
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
Toutes les API listées comme dissociées ne sont plus activées automatiquement lorsque vous activez l'API Cloud Composer. Pour créer des environnements Managed Airflow (2e génération) dans de nouveaux projets, activez le groupe d'API dissociées en plus de l'API Cloud Composer.
Les environnements Managed Airflow (3e génération) et Managed Airflow (2e génération) existants dans les projets où l'API Cloud Composer est déjà activée ne sont pas affectés par cette modification. Vous pouvez procéder comme suit :
Si votre projet ne comporte que des environnements Managed Airflow (3e génération), vous pouvez désactiver manuellement les API dissociées.
Si votre projet comporte des environnements Managed Airflow (2e génération), nous vous recommandons de laisser ces API activées, car leur désactivation pourrait entraîner un dysfonctionnement de l'environnement.
Si vous utilisez des scripts d'automatisation pour provisionner des environnements Managed Airflow (2e génération), assurez-vous que les API listées sont activées en plus de l'API Cloud Composer. Vous pouvez les activer manuellement ou à l'aide d'une commande gcloud CLI.