Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)
En esta página, se describen diferentes mecanismos de control de acceso para la IU de Airflow y la IU de DAG. Puedes usar estos mecanismos, además del control de acceso que proporciona IAM, para separar a los usuarios en la IU de Airflow y la IU de DAG de tu entorno.
Descripción general del control de acceso a la IU de Airflow en Managed Airflow
El acceso a la IU de Airflow y la IU de DAG, y la visibilidad de los datos y las operaciones en esas IU se controlan en dos niveles en Managed Airflow:
El acceso a la IU de Airflow y a la IU de DAG en Managed Airflow está controlado por IAM.
Si una cuenta no tiene un rol que pueda ver los entornos de Managed Airflow en tu proyecto, la IU de Airflow y la IU de DAG no estarán disponibles.
IAM no proporciona ningún control de permisos detallado adicional en la IU de Airflow ni en la IU de DAG.
El modelo de control de acceso de Apache Airflow permite reducir la visibilidad en la IU de Airflow y la IU de DAG según el rol del usuario.
El control de acceso de Apache Airflow es una función de Airflow, con su propio modelo de usuarios, roles y permisos, que es diferente de IAM.
El control de acceso de Apache Airflow usa permisos basados en recursos. Todos los usuarios de Airflow
con un rol específico de Airflow obtienen los permisos de este rol. Por ejemplo,
los usuarios de Airflow que tienen un rol con el permiso can delete on Connections
pueden borrar conexiones en la página Conexiones de la IU de Airflow.
También puedes asignar permisos a nivel de DAG para DAG individuales. Por ejemplo, para que solo los usuarios con un rol de Airflow específico puedan ver un DAG determinado en la IU de Airflow. En Managed Airflow, puedes asignar permisos a nivel de DAG de forma automática, según la subcarpeta en la que se encuentra el archivo DAG en el bucket del entorno.
Si deseas configurar el acceso para identidades externas a través de la federación de identidades de personal, primero otorga acceso a tu entorno en IAM, como se describe en la sección Otorga roles de IAM a identidades externas. Luego, puedes usar el control de acceso de la IU de Airflow como de costumbre. Los usuarios de Airflow para identidades externas usan su identificador de principal en lugar de la dirección de correo electrónico y tienen diferentes valores propagados en otros campos de registro de usuario que las Cuentas de Google.
Antes de comenzar
- El registro de roles por carpeta está disponible en Managed Airflow 2.0.16 y versiones posteriores.
Administra los roles de Managed Airflow y la configuración del control de acceso
Los usuarios con el rol de administrador (o equivalente) pueden ver y modificar la configuración de control de acceso en la IU de Airflow.
En la IU de Airflow, puedes configurar los parámetros de control de acceso desde el menú Seguridad. Para obtener más información sobre el modelo de control de acceso de Airflow, los permisos disponibles y los roles predeterminados, consulta la documentación de control de acceso de la IU de Airflow.
Airflow mantiene su propia lista de usuarios. Los usuarios con el rol de administrador (o equivalente) pueden ver la lista de usuarios que abrieron la IU de Airflow de un entorno y se registraron en Airflow. Esta lista también incluye a los usuarios que un administrador registró previamente de forma manual, como se describe en la siguiente sección.
Registra usuarios en la IU de Airflow
Los usuarios nuevos se registran automáticamente cuando abren la IU de Airflow de un entorno de Managed Airflow por primera vez.
En el registro, se otorga a los usuarios el rol especificado en la opción de configuración de Airflow [webserver]rbac_user_registration_role. Puedes
controlar el rol de los usuarios registrados recientemente si anulas esta
opción de configuración de Airflow con un valor diferente.
Si no se especifica, el rol de registro predeterminado es Op en entornos con
Airflow 2 y 3.
Se recomiendan los siguientes pasos para crear una configuración de rol básico para la IU de Airflow:
Los administradores de entornos abren la IU de Airflow para el entorno recién creado.
Otorga a las cuentas de administrador la función
Admin. El rol predeterminado para las cuentas nuevas esOp. Para asignar el rolAdmin, ejecuta el siguiente comando de la CLI de Airflow con gcloud CLI:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r AdminReemplaza lo siguiente:
ENVIRONMENT_NAMEpor el nombre del entorno.LOCATIONpor la región en la que se encuentra el entorno.USER_EMAILpor el correo electrónico de una cuenta de usuario.
Los administradores ahora pueden configurar el control de acceso para usuarios nuevos, incluida la asignación de la función
Admina otros usuarios.
Usuarios con registro previo
Los usuarios se registran automáticamente con IDs numéricos de Cuentas de Google (no direcciones de correo electrónico) como sus nombres de usuario. También puedes prerregistrar manualmente a un usuario y asignarle un rol. Para ello, agrega un registro de usuario con el campo de nombre de usuario establecido en la dirección de correo electrónico principal del usuario. Cuando un usuario con una dirección de correo electrónico que coincide con un registro de usuario registrado previamente accede a la IU de Airflow por primera vez, su nombre de usuario se reemplaza por el ID de usuario que se identifica actualmente (en el momento del primer acceso) por su dirección de correo electrónico. La relación entre las identidades de Google (direcciones de correo electrónico) y las cuentas de usuario (IDs de usuario) no es fija. No se pueden registrar previamente los Grupos de Google.
Para registrar usuarios de forma previa, puedes usar la IU de Airflow o ejecutar un comando de la CLI de Airflow con Google Cloud CLI.
Para registrar previamente a un usuario con un rol personalizado a través de Google Cloud CLI, ejecuta el siguiente comando de la CLI de Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
Reemplaza lo siguiente:
ENVIRONMENT_NAME: Es el nombre del entorno.LOCATION: Es la región en la que se encuentra el entorno.ROLE: Es un rol de Airflow para el usuario, por ejemplo,Op.USER_EMAIL: Es la dirección de correo electrónico del usuario.FIRST_NAMEyLAST_NAME: nombre y apellido del usuario
Ejemplo:
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
Quitar usuarios
Borrar un usuario de Airflow no revoca el acceso de ese usuario, ya que se
vuelve a registrar automáticamente la próxima vez que accede a la IU de Airflow. Para
revocar el acceso a toda la IU de Airflow, quita el permiso composer.environments.get
de su política de permisos para tu proyecto.
También puedes cambiar el rol del usuario a Público, lo que mantiene el registro del usuario, pero quita todos los permisos para la IU de Airflow.
Configura los permisos a nivel de DAG automáticamente
La función de registro de roles por carpeta crea automáticamente un
rol de Airflow personalizado para cada subcarpeta
directamente dentro de la carpeta /dags y otorga a este rol acceso a nivel de DAG a todos
los DAG que tienen su archivo de origen almacenado en esa subcarpeta respectiva. Esto
optimiza la administración de los roles personalizados de Airflow y su acceso a los DAG.
Cómo funciona el registro de roles por carpeta
El registro de roles por carpeta es una forma automatizada de configurar roles y sus permisos a nivel de DAG. Por lo tanto, puede causar conflictos con otros mecanismos de Airflow que otorgan permisos a nivel de DAG:
- Asigna permisos de DAG a roles de forma manual.
- Asignar DAG a roles a través de la propiedad
access_controlen un DAG.
Para evitar estos conflictos, habilitar el registro de roles por carpeta también cambia el comportamiento de estos mecanismos.
En Airflow 2 y 3:
- Puedes otorgar acceso a los DAG a los roles a través de la propiedad
access_controldefinida en el código fuente del DAG. - Otorgar permisos de DAG de forma manual (a través de la IU de Airflow o gcloud CLI) puede causar conflictos. Por ejemplo, si otorgas permisos a nivel de DAG de forma manual a un rol por carpeta, estos permisos se pueden quitar o reemplazar cuando el procesador de DAG sincronice un DAG. Te recomendamos que no otorgues permisos de DAG de forma manual.
- Los roles tienen una unión de permisos de acceso al DAG registrados a través del registro de roles por carpeta y definidos en la propiedad
access_controldel DAG.
Los DAG ubicados directamente en la carpeta /dags de nivel superior no se asignan automáticamente a
ningún rol por carpeta. No se puede acceder a ellos con ningún rol por carpeta. Otras funciones, como Administrador, Operador, Usuario o cualquier rol personalizado a la que se le otorguen permisos, pueden acceder a ellas a través de la IU de Airflow y la IU de DAG.
Si subes DAG a subcarpetas con nombres que coinciden con los roles integrados de Airflow
y los roles creados por Managed Airflow, los permisos para los DAG en
estas subcarpetas se seguirán asignando a estos roles. Por ejemplo, subir un
DAG a la carpeta /dags/Admin otorga permisos a este DAG para el rol de
administrador. Los roles integrados de Airflow incluyen Administrador, Operador, Usuario, Visualizador y Público.
Managed Airflow crea UserNoDags después de que se habilita la función de registro de roles por carpeta.
Airflow registra los roles por carpeta cuando procesa los DAG
en el programador de Airflow. Si hay más de cien DAG en tu
entorno, es posible que veas un
aumento en el tiempo de análisis de DAG.
Si este es el caso, te recomendamos que
uses más memoria y CPU para los programadores.
También puedes aumentar el valor de la opción de configuración de Airflow [scheduler]parsing_processes.
Asigna DAG automáticamente a roles por carpeta
Para asignar DAG automáticamente a roles por carpeta, haz lo siguiente:
Anula la siguiente opción de configuración de Airflow:
Sección Clave Valor webserverrbac_autoregister_per_folder_rolesTrueCambia el rol de registro de usuarios nuevos a un rol sin acceso a ningún DAG. De esta manera, los usuarios nuevos no tienen acceso a ningún DAG hasta que un administrador asigne un rol que tenga permisos para DAG específicos a sus cuentas.
UserNoDags es un rol que crea Managed Airflow solo cuando está habilitada la función de registro de roles por carpeta. Es equivalente al rol de usuario, pero sin acceso a ningún DAG.
Anula la siguiente opción de configuración de Airflow:
Sección Clave Valor webserverrbac_user_registration_roleUserNoDagsAsegúrate de que los usuarios estén registrados en Airflow.
Asigna roles a los usuarios con uno de los siguientes enfoques:
- Permite que Airflow cree roles automáticamente según las subcarpetas de los DAG y, luego, asigna usuarios a estos roles.
- Crea roles vacíos para las subcarpetas de DAG, con nombres de roles que coincidan con
el nombre de una subcarpeta y, luego, asigna usuarios a estos roles. Por ejemplo,
para la carpeta
/dags/CustomFolder, crea un rol llamadoCustomFolder.
Sube los DAG a subcarpetas con nombres que coincidan con los roles asignados a los usuarios. Estas subcarpetas deben estar ubicadas dentro de la carpeta
/dagsen el bucket del entorno. Airflow agrega permisos a los DAG en esa subcarpeta, de modo que solo los usuarios con el rol correspondiente puedan acceder a ellos a través de la IU de Airflow y la IU de DAG.
Configura los permisos a nivel de DAG de forma manual
Puedes configurar permisos a nivel de DAG para que los roles personalizados especifiquen qué DAG son visibles para grupos de usuarios específicos.
Para configurar los permisos a nivel de DAG en la IU de Airflow, sigue estos pasos:
- El administrador crea roles vacíos para agrupar los DAG.
- El administrador asigna a los usuarios los roles adecuados.
- El administrador o los usuarios asignan DAG a los roles.
- En la IU de Airflow, los usuarios solo pueden ver los DAG asignados a su grupo.
Los DAG se pueden asignar a roles a través de las propiedades de DAG o desde la IU de Airflow.
Asigna DAG a roles en la IU de Airflow
Un administrador puede asignar los permisos necesarios a nivel de DAG a los roles adecuados en la IU de Airflow.
Esta operación no se admite en la IU de DAG.
Asigna DAG a funciones en propiedades de DAG
Puedes establecer el
parámetro de DAG access_control en un DAG y especificar
los roles de agrupación de DAG a los que se asigna el DAG.
En las versiones de Airflow 2 anteriores a la 2.1.0, el administrador, el desarrollador de DAG o un
proceso automatizado deben ejecutar el comando de Airflow sync-perm para
aplicar la nueva configuración de control de acceso.
En Airflow 2.1.0 y versiones posteriores, ya no es necesario ejecutar este comando, ya que el programador aplica permisos a nivel de DAG cuando analiza un DAG.
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
Asigna registros de auditoría en la IU de Airflow a los usuarios
Los registros de auditoría en la IU de Airflow se asignan a IDs numéricos de cuentas de usuario de Google. Por ejemplo, si un usuario pausa un DAG, se agrega una entrada a los registros.
Puedes ver los registros de auditoría en la página Explorar > Registros de auditoría en la IU de Airflow.
En una entrada típica, se muestra un ID numérico en el campo Propietario:
accounts.google.com:NUMERIC_ID. Puedes asignar IDs numéricos a los correos electrónicos de los usuarios en la página
Seguridad > Lista de usuarios. Esta página está disponible para
los usuarios con el rol de Admin.
Ten en cuenta que la relación entre las identidades de Google (direcciones de correo electrónico) y las cuentas de usuario (ID de usuario) no es fija.
¿Qué sigue?
- Anula las opciones de configuración de Airflow
- Descripción general de seguridad
- Control de acceso de Managed Airflow