Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (ancienne 1re génération)
Cette page décrit différents mécanismes de contrôle des accès pour l'UI Airflow et l'UI DAG. Vous pouvez utiliser ces mécanismes, en plus du contrôle des accès fourni par IAM, pour séparer les utilisateurs dans l'UI Airflow et l'UI DAG de votre environnement.
Présentation du contrôle des accès à l'UI Airflow dans Managed Airflow
L'accès à l'UI Airflow et à l'UI DAG, ainsi que la visibilité des données et des opérations dans ces UI, sont contrôlés à deux niveaux dans Managed Airflow :
L'accès à l'UI Airflow et à l'UI DAG dans Managed Airflow est contrôlé par IAM.
Si un compte ne dispose pas d'un rôle permettant d'afficher les environnements Managed Airflow dans votre projet, l'UI Airflow et l'UI DAG ne sont pas disponibles.
IAM ne fournit aucun contrôle d'autorisation précis supplémentaire dans l'interface utilisateur Airflow ou l'interface utilisateur DAG.
Le modèle de contrôle des accès d'Apache Airflow permet de réduire la visibilité dans l'UI d'Airflow et l'UI des DAG en fonction du rôle de l'utilisateur.
Le contrôle des accès Apache Airflow est une fonctionnalité d'Airflow, avec son propre modèle d'utilisateurs, de rôles et d'autorisations, qui est différent d'IAM.
Le contrôle des accès d'Apache Airflow utilise des autorisations basées sur les ressources. Tous les utilisateurs Airflow disposant d'un rôle Airflow spécifique obtiennent les autorisations de ce rôle. Par exemple, les utilisateurs Airflow disposant d'un rôle avec l'autorisation can delete on Connections peuvent supprimer des connexions sur la page "Connexions" de l'UI Airflow.
Vous pouvez également attribuer des autorisations au niveau du DAG pour des DAG individuels. Par exemple, pour que seuls les utilisateurs disposant d'un rôle Airflow spécifique puissent voir un certain DAG dans l'UI Airflow. Dans Managed Airflow, vous pouvez attribuer automatiquement des autorisations au niveau du DAG, en fonction du sous-dossier dans lequel se trouve le fichier DAG dans le bucket de l'environnement.
Avant de commencer
L'interface utilisateur d'Airflow avec contrôle des accès est disponible pour les versions de Managed Airflow 1.13.4 ou ultérieures et les versions d'Airflow 1.10.10 et ultérieures. L'environnement doit également exécuter Python 3.
L'enregistrement des rôles par dossier est disponible dans Managed Airflow 1.18.12 et versions ultérieures dans Airflow 2, et dans Managed Airflow 1.13.4 et versions ultérieures dans Airflow 1.
Activer le contrôle des accès à l'interface utilisateur d'Airflow
Airflow 2
L'interface utilisateur d'Airflow avec contrôle des accès est toujours activée dans Airflow 2.
Airflow 1
Pour activer l'interface utilisateur Airflow avec le contrôle des accès, remplacez l'option de configuration Airflow suivante :
| Section | Clé | Valeur |
|---|---|---|
webserver |
rbac |
True |
Vous pouvez le faire pour un environnement existant ou lors de la création d'un environnement.
Avec cette configuration, votre environnement exécute l'UI Airflow avec contrôle des accès au lieu de l'UI Airflow classique.
Gérer les rôles Airflow et les paramètres de contrôle des accès
Les utilisateurs disposant du rôle d'administrateur (ou équivalent) peuvent afficher et modifier les paramètres de contrôle des accès dans l'interface utilisateur d'Airflow.
Dans l'interface utilisateur d'Airflow, vous pouvez configurer les paramètres de contrôle des accès depuis le menu Security (Sécurité). Pour en savoir plus sur le modèle de contrôle des accès Airflow, les autorisations disponibles et les rôles par défaut, consultez la documentation sur le contrôle des accès à l'interface utilisateur Airflow.
Airflow 1 traite le rôle "Utilisateur" comme un modèle pour tous les rôles personnalisés. Airflow copie en permanence les autorisations du rôle "User" vers tous les rôles personnalisés, à l'exception des autorisations pour all_dags.
Airflow gère sa propre liste d'utilisateurs. Les utilisateurs disposant du rôle d'administrateur (ou équivalent) peuvent afficher la liste des utilisateurs qui ont ouvert l'UI Airflow d'un environnement et qui ont été enregistrés dans Airflow. Cette liste inclut également les utilisateurs préenregistrés manuellement par un administrateur, comme décrit dans la section suivante.
Enregistrer des utilisateurs dans l'UI Airflow
Les nouveaux utilisateurs sont automatiquement enregistrés lorsqu'ils ouvrent l'UI Airflow d'un environnement Managed Airflow pour la première fois.
Lors de l'enregistrement, les utilisateurs se voient attribuer le rôle spécifié dans l'option de configuration Airflow [webserver]rbac_user_registration_role. Vous pouvez contrôler le rôle des utilisateurs nouvellement enregistrés en remplaçant cette option de configuration Airflow par une autre valeur.
Si aucun rôle n'est spécifié, le rôle d'enregistrement par défaut est Op dans les environnements avec Airflow 2 et 3.
Dans les environnements Airflow 1.10.*, le rôle d'enregistrement par défaut est Admin.
Les étapes suivantes sont recommandées pour créer une configuration de rôle de base pour l'interface utilisateur Airflow :
Airflow 2
Les administrateurs de l'environnement ouvrent l'UI Airflow pour l'environnement nouvellement créé.
Attribuer le rôle
Adminaux comptes administrateur. Le rôle par défaut pour les nouveaux comptes estOp. Pour attribuer le rôleAdmin, exécutez la commande CLI Airflow suivante avec gcloud CLI :gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r AdminRemplacez :
ENVIRONMENT_NAMEpar le nom de l'environnement.LOCATIONpar la région où se trouve l'environnement.USER_EMAILpar l'adresse e-mail d'un compte utilisateur.
Les administrateurs peuvent désormais configurer le contrôle des accès pour les nouveaux utilisateurs, ce qui inclut l'attribution du rôle
Adminà d'autres utilisateurs.
Airflow 1
Les administrateurs de l'environnement ouvrent l'UI Airflow pour l'environnement nouvellement créé, où ils sont automatiquement enregistrés avec le rôle
Admin.Remplacez l'option de configuration Airflow suivante par le rôle requis pour les nouveaux utilisateurs. Par exemple,
User.Section Clé Valeur webserverrbac_user_registration_roleUserou autre rôle non administrateurLes administrateurs peuvent désormais configurer le contrôle des accès à l'UI Airflow pour les nouveaux utilisateurs, y compris en attribuant le rôle
Adminà d'autres utilisateurs.
Préenregistrer des utilisateurs
Les utilisateurs sont automatiquement enregistrés avec les ID numériques des comptes utilisateur Google (et non les adresses e-mail) comme noms d'utilisateur. Vous pouvez également préenregistrer manuellement un utilisateur et lui attribuer un rôle en ajoutant un enregistrement utilisateur dont le champ "username" est défini sur l'adresse e-mail principale de l'utilisateur. Lorsqu'un utilisateur dont l'adresse e-mail correspond à un enregistrement d'utilisateur préenregistré se connecte à l'UI Airflow pour la première fois, son nom d'utilisateur est remplacé par l'ID utilisateur actuellement (au moment de la première connexion) identifié par son adresse e-mail. La relation entre les identités Google (adresses e-mail) et les comptes utilisateur (ID utilisateur) n'est pas fixe. Les groupes Google ne peuvent pas être préenregistrés.
Pour préenregistrer des utilisateurs, vous pouvez utiliser l'UI Airflow ou exécuter une commande de la CLI Airflow via la Google Cloud CLI.
Pour préenregistrer un utilisateur avec un rôle personnalisé via Google Cloud CLI, exécutez la commande Airflow CLI suivante :
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
Remplacez les éléments suivants :
ENVIRONMENT_NAME: nom de l'environnementLOCATION: région où se trouve l'environnement.ROLE: rôle Airflow pour l'utilisateur, par exempleOpUSER_EMAIL: adresse e-mail de l'utilisateur.FIRST_NAMEetLAST_NAME: prénom et nom de l'utilisateur
Exemple :
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
Supprimer des utilisateurs
La suppression d'un utilisateur d'Airflow ne révoque pas l'accès de cet utilisateur, car il est automatiquement enregistré à nouveau lors de son prochain accès à l'UI Airflow. Pour révoquer l'accès à l'ensemble de l'UI Airflow, supprimez l'autorisation composer.environments.get de leur stratégie d'autorisation pour votre projet.
Vous pouvez également modifier le rôle de l'utilisateur en "Public", ce qui conserve l'enregistrement de l'utilisateur, mais supprime toutes les autorisations pour l'UI Airflow.
Configurer automatiquement les autorisations au niveau du DAG
La fonctionnalité d'enregistrement des rôles par dossier crée automatiquement un rôle Airflow personnalisé pour chaque sous-dossier directement dans le dossier /dags et accorde à ce rôle un accès au niveau du DAG à tous les DAG dont le fichier source est stocké dans ce sous-dossier respectif. Cela simplifie la gestion des rôles Airflow personnalisés et de leur accès aux DAG.
Fonctionnement de l'enregistrement des rôles par dossier
L'enregistrement des rôles par dossier est un moyen automatisé de configurer les rôles et leurs autorisations au niveau du DAG. Par conséquent, elle peut entraîner des conflits avec d'autres mécanismes Airflow qui accordent des autorisations au niveau du DAG :
- Attribuer manuellement des autorisations de DAG à des rôles
- Attribuer des DAG à des rôles via la propriété
access_controldans un DAG.
Pour éviter de tels conflits, l'activation de l'enregistrement des rôles par dossier modifie également le comportement de ces mécanismes.
Dans Airflow 1, la possibilité d'utiliser ces mécanismes est désactivée lorsque l'enregistrement des rôles par dossier est activé. Toute la gestion des autorisations au niveau du DAG s'effectue uniquement via l'enregistrement des rôles par dossier.
Dans Airflow 2 et 3 :
- Vous pouvez accorder l'accès aux DAG à des rôles via la propriété
access_controldéfinie dans le code source du DAG. - L'attribution manuelle d'autorisations de DAG (via l'UI Airflow ou la gcloud CLI) peut entraîner des conflits. Par exemple, si vous accordez manuellement des autorisations au niveau du DAG à un rôle par dossier, ces autorisations peuvent être supprimées ou écrasées lorsque le processeur de DAG synchronise un DAG. Nous vous recommandons de ne pas accorder d'autorisations DAG manuellement.
- Les rôles disposent d'une union d'autorisations d'accès aux DAG enregistrées via l'enregistrement des rôles par dossier et définies dans la propriété
access_controldu DAG.
Les DAG situés directement dans le dossier /dags de premier niveau ne sont pas attribués automatiquement à un rôle par dossier. Ils ne sont accessibles avec aucun rôle par dossier. D'autres rôles, tels que "Admin", "Op", "User" ou tout rôle personnalisé disposant d'autorisations, peuvent y accéder via l'UI d'Airflow et l'UI des DAG.
Si vous importez des DAG dans des sous-dossiers dont les noms correspondent à des rôles Airflow intégrés et à des rôles créés par Managed Airflow, les autorisations d'accès aux DAG de ces sous-dossiers sont toujours attribuées à ces rôles. Par exemple, l'importation d'un DAG dans le dossier /dags/Admin accorde des autorisations sur ce DAG au rôle d'administrateur. Les rôles Airflow intégrés incluent Admin, Op, User, Lecteur et Public.
Managed Airflow crée UserNoDags une fois que la fonctionnalité d'enregistrement des rôles par dossier est activée.
Airflow effectue l'enregistrement des rôles par dossier lorsqu'il traite les DAG dans le planificateur Airflow. Si votre environnement contient plus d'une centaine de DAG, vous constaterez peut-être une augmentation du temps d'analyse des DAG.
Si tel est le cas, nous vous recommandons d'augmenter le paramètre [scheduler]max_threads pour un environnement Airflow 1 ou [scheduler]parsing_processes pour Airflow 2 et 3.
Attribuer automatiquement des DAG à des rôles par dossier
Pour attribuer automatiquement des DAG à des rôles par dossier :
Remplacez l'option de configuration Airflow suivante :
Section Clé Valeur webserverrbac_autoregister_per_folder_rolesTrueRemplacez le rôle d'enregistrement des nouveaux utilisateurs par un rôle n'ayant accès à aucun DAG. De cette façon, les nouveaux utilisateurs n'ont accès à aucun DAG tant qu'un administrateur n'attribue pas à leur compte un rôle disposant d'autorisations pour des DAG spécifiques.
UserNoDags et NoDags sont des rôles créés par Managed Airflow uniquement lorsque la fonctionnalité d'enregistrement des rôles par dossier est activée. Ils sont équivalents au rôle "Utilisateur", mais n'ont pas accès aux DAG. Le rôle UserNoDags est créé dans Airflow 2 et 3, et le rôle NoDags est créé dans Airflow 1.
Dans Airflow 2 et 3, remplacez l'option de configuration Airflow suivante :
Section Clé Valeur webserverrbac_user_registration_roleUserNoDagsDans Airflow 1, remplacez l'option de configuration Airflow suivante :
Section Clé Valeur webserverrbac_user_registration_roleNoDagsAssurez-vous que les utilisateurs sont enregistrés dans Airflow.
Attribuez des rôles aux utilisateurs à l'aide de l'une des approches suivantes :
- Laissez Airflow créer automatiquement des rôles en fonction des sous-dossiers des DAG, puis attribuez ces rôles aux utilisateurs.
- Créez des rôles vides pour les sous-dossiers des DAG, avec des noms de rôles correspondant au nom d'un sous-dossier, puis attribuez des utilisateurs à ces rôles. Par exemple, pour le dossier
/dags/CustomFolder, créez un rôle nomméCustomFolder.
Importez les DAG dans des sous-dossiers dont les noms correspondent aux rôles attribués aux utilisateurs. Ces sous-dossiers doivent se trouver dans le dossier
/dagsdu bucket de l'environnement. Airflow ajoute des autorisations aux DAG d'un tel sous-dossier, de sorte que seuls les utilisateurs disposant du rôle correspondant puissent y accéder via l'UI d'Airflow et l'UI des DAG.
Configurer manuellement les autorisations au niveau du DAG
Vous pouvez configurer des autorisations au niveau du DAG pour les rôles personnalisés afin de spécifier les DAG visibles par des groupes d'utilisateurs spécifiques.
Pour configurer des autorisations au niveau du DAG dans l'interface utilisateur d'Airflow :
- L'administrateur crée des rôles vides pour regrouper les DAG.
- L'administrateur attribue les rôles appropriés aux utilisateurs.
- L'administrateur ou les utilisateurs attribuent des DAG à des rôles.
- Dans l'interface utilisateur d'Airflow, les utilisateurs ne peuvent voir que les DAG attribués à leur groupe.
Les DAG peuvent être attribués à des rôles via les propriétés des DAG ou depuis l'interface utilisateur d'Airflow.
Attribuer des DAG à des rôles dans l'UI Airflow
Un administrateur peut attribuer les autorisations requises au niveau du DAG aux rôles appropriés dans l'interface utilisateur d'Airflow.
Cette opération n'est pas possible dans l'UI du DAG.
Attribuer des DAG aux rôles en utilisant les propriétés de DAG
Vous pouvez définir le paramètre de DAG access_control sur un DAG en spécifiant le ou les rôles de regroupement de DAG auxquels le DAG est attribué.
Airflow 2
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
Airflow 1
dag = DAG(
access_control={
'DagGroup': {'can_dag_edit', 'can_dag_read'},
},
...
)
Mapper les journaux d'audit de l'UI Airflow aux utilisateurs
Les journaux d'audit de l'UI Airflow sont mappés aux ID numériques des comptes utilisateur Google. Par exemple, si un utilisateur met en pause un DAG, une entrée est ajoutée aux journaux.
Airflow 2
Dans Airflow 2, vous pouvez afficher les journaux d'audit sur la page Parcourir > Journaux d'audit de l'UI d'Airflow.
Airflow 1
Dans Airflow 1, vous pouvez afficher les journaux d'audit sur la page Parcourir > Journaux.
Une entrée standard liste un ID numérique dans le champ Propriétaire : accounts.google.com:NUMERIC_ID. Vous pouvez mapper des ID numériques aux adresses e-mail des utilisateurs sur la page Sécurité > Liste des utilisateurs. Cette page est disponible pour les utilisateurs disposant du rôle Admin.
Notez que la relation entre les identités Google (adresses e-mail) et les comptes utilisateur (ID utilisateur) n'est pas fixe.
Étapes suivantes
- Remplacer les options de configuration Airflow
- Présentation de la sécurité
- Contrôle des accès à Managed Airflow