Configurer Secret Manager pour votre environnement

Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (1re génération héritée)

Cette page explique comment utiliser Secret Manager pour stocker en toute sécurité des connexions et des secrets Airflow.

Configurer Secret Manager pour votre environnement

Cette section explique comment configurer Secret Manager afin de pouvoir l'utiliser avec votre environnement Airflow géré.

Activer l'API Secret Manager

Console

Activer l'API Secret Manager

Rôles requis pour activer les API

Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

Activer l'API

gcloud

Activer l'API Secret Manager :

Rôles requis pour activer les API

Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l' serviceusage.services.enable autorisation. Découvrez comment attribuer des rôles.

gcloud services enable secretmanager.googleapis.com

Configurer le contrôle des accès

Vous devez configurer le contrôle des accès afin qu'Airflow puisse accéder aux secrets stockés dans Secret Manager.

Pour ce faire, le compte de service qui accède aux secrets doit disposer d'un rôle doté de l'autorisation secretmanager.versions.access. Par exemple, le rôle Accesseur de secrets de Secret Manager inclut cette autorisation.

Vous pouvez attribuer ce rôle au niveau Secret, Projet, Dossier ou Organisation.

Utilisez l'une des options suivantes :

• (Recommandé) Attribuez ce rôle au compte de service de votre environnement.

• Ignorez le compte de service sous lequel Airflow accède à Secret Manager.

  Attention : Cette méthode est moins conseillée, car elle nécessite le stockage des identifiants du compte de service dans un fichier, ce qui augmente le risque qu'ils soient compromis.
  1. Attribuez ce rôle à un compte de service.
  2. Définissez le paramètre gcp_key_path de l' backend_kwargs option de configuration Airflow de sorte qu'il pointe vers un fichier JSON comprenant les identifiants du compte de service.

Activer et configurer le backend de Secret Manager

1. Ignorez l'option de configuration Airflow suivante :

   Section	Clé	Valeur
   secrets	backend	airflow.providers.google.cloud.secrets.secret_manager.CloudSecretManagerBackend

   Attention : N'utilisez pas airflow.contrib.secrets.gcp_secrets_manager.CloudSecretsManagerBackend , car cette valeur ne vous permet pas d'afficher les journaux dans l'UI Airflow.

2. (Airflow 2.10.2 et versions ultérieures) Assurez-vous que l'option de configuration Airflow [secrets]backends_order spécifie un ordre de recherche de secrets qui contient un backend de secrets custom dans celui-ci. La valeur par défaut de cette option contient déjà cette valeur.

   Section	Clé	Valeur
   secrets	backends_order	(par défaut) custom,environment_variable,metastore

3. Ajoutez des paramètres facultatifs en remplaçant l'option de configuration Airflow suivante :

   Section	Clé	Valeur
   secrets	backend_kwargs	Consultez la description suivante.

   La valeur backend_kwargs est la représentation JSON de l' backend_kwargs objet avec les champs suivants :

   • connections_prefix: préfixe du nom du secret à lire pour obtenir les connexions. La valeur par défaut est airflow-connections.
   • variables_prefix: préfixe du nom du secret à lire pour obtenir des variables. La valeur par défaut est airflow-variables.
   • gcp_key_path : chemin d'accès au fichier JSON des identifiants (s'il n'est pas fourni, le compte de service par défaut est utilisé). Google Cloud
   • gcp_keyfile_dict: Google Cloud dictionnaire JSON des identifiants. Mutuellement exclusif avec gcp_key_path.
   • sep: séparateur utilisé pour concaténer les éléments connections_prefix et conn_id. La valeur par défaut est -.
   • project_id: Google Cloud ID de projet dans lequel les secrets sont stockés.

   Par exemple, la valeur de backend_kwargs peut être : {"project_id": "<project id>", "connections_prefix":"example-connections", "variables_prefix":"example-variables", "sep":"-"}.

   Remarque : L'option Keyfile Secret Name (in GCP Secret Manager) de la connexion Airflow n'est compatible que lorsque Secret Manager et Airflow géré se trouvent dans le même Google Cloud projet.

Ajouter des connexions et des variables dans Secret Manager

Créez des secrets en suivant les étapes décrites dans Créer des secrets et des versions.

Variables

• Elles doivent utiliser le format [variables_prefix][sep][variable_name].
• La valeur par défaut de [variables_prefix] est airflow-variables.
• Le séparateur par défaut [sep] est -.

Par exemple, si le nom de la variable est example-var, le nom du secret est airflow-variables-example-var.

Remarque : Si vous souhaitez utiliser des valeurs différentes pour [variables_prefix], [connection_prefix] ou [sep], utilisez les paramètres facultatifs, comme décrit plus loin dans la section Activer et configurer le backend de Secret Manager.

Noms de connexion

• Ils doivent utiliser le format [connection_prefix][sep][connection_name].
• La valeur par défaut de [connection_prefix] est airflow-connections.
• Le séparateur par défaut [sep] est -.

Par exemple, si le nom de la connexion est exampleConnection, le nom du secret est airflow-connections-exampleConnection.

Valeurs de connexion

• Elles doivent utiliser la représentation d'URI. Par exemple, postgresql://login:secret@examplehost:9000.

• L'URI doit être encodé au format URL (encodé en pourcentage). Par exemple, un mot de passe contenant un symbole d'espace doit être encodé au format URL comme suit : postgresql://login:secret%20password@examplehost:9000.

Airflow dispose d'une méthode pratique pour générer des URI de connexion. Un exemple d'encodage d'une URL complexe avec des extras JSON est disponible dans la documentation Airflow.

Utiliser Secret Manager avec Airflow géré

Lors de la récupération de variables et de connexions, Airflow géré vérifie d'abord Secret Manager. Si la variable ou la connexion demandée est introuvable, Airflow géré vérifie ensuite les variables d'environnement et la base de données Airflow.

**Remarque** : Pour des raisons de sécurité, les variables et les connexions de Secret Manager ne sont pas visibles dans l'UI Airflow.

Lire des variables à l'aide de la modélisation Jinja

Vous pouvez utiliser Secret Manager pour lire les variables avec la modélisation Jinja pour les champs d'opérateurs modélisés (résolus au moment de l'exécution).

Pour le secret airflow-variables-secret_filename :

file_name = '{{var.value.secret_filename}}'

Lire des variables à l'aide d'opérateurs personnalisés et de rappels

Vous pouvez également utiliser Secret Manager pour lire les variables dans les opérateurs personnalisés ou les méthodes de rappel des opérateurs. La lecture de variables depuis des DAG peut nuire aux performances. Par conséquent, utilisez des modèles Jinja si vous souhaitez utiliser des variables dans vos DAG.

Par exemple, pour le secret airflow-variables-secret_filename :

from airflow.models.variable import Variable
file_name = Variable.get('secret_filename')

Lire les connexions

À moins que vous n'écriviez un opérateur personnalisé, vous avez rarement besoin d'accéder directement aux connexions. La plupart des hooks obtiennent le nom de connexion en tant que paramètre d'instanciation et doivent récupérer automatiquement les connexions à partir du backend de Secret Manager lorsque les tâches sont exécutées.

Il peut être utile de lire directement les connexions lorsque vous écrivez votre propre hook.

Par exemple, pour la connexion airflow-connections-exampleConnection :

from airflow.hooks.base_hook import BaseHook
exampleConnection = BaseHook.get_connection('exampleConnection')

BaseHook.get_connection renvoie un objet Connection. Il est possible d'obtenir la représentation de la chaîne URI d'une connexion comme suit :

exampleConnectionUri = BaseHook.get_connection('exampleConnection').get_uri()

Étape suivante

• Remplacer les options de configuration Airflow
• Accéder à l'API REST Airflow