Airflow gerenciado (geração 3) | Airflow gerenciado (geração 2) | Airflow gerenciado (geração 1 legada)
Nesta página, descrevemos diferentes mecanismos de controle de acesso para a interface do Airflow e a interface do DAG. É possível usar esses mecanismos, além do controle de acesso fornecido pelo IAM, para separar os usuários na interface do Airflow e na interface do DAG do seu ambiente.
Visão geral do controle de acesso da interface do Airflow no Airflow Gerenciado
O acesso à interface do Airflow e à interface do DAG, bem como a visibilidade dos dados e das operações nessas interfaces, é controlado em dois níveis no Airflow Gerenciado:
O acesso à interface do Airflow e à interface do DAG no Airflow gerenciado é controlado pelo IAM.
Se uma conta não tiver um papel que possa visualizar ambientes do Airflow Gerenciado no seu projeto, as interfaces do Airflow e do DAG não estarão disponíveis.
O IAM não oferece nenhum controle de permissão detalhado adicional na interface do Airflow ou do DAG.
O modelo de controle de acesso do Apache Airflow permite reduzir a visibilidade na interface do Airflow e do DAG com base no função do usuário.
O controle de acesso do Apache Airflow é um recurso do Airflow, com o próprio modelo de usuários, papéis e permissões, que é diferente do IAM.
O controle de acesso do Apache Airflow usa permissões baseadas em recursos. Todos os usuários do Airflow
com um papel específico do Airflow recebem as permissões desse papel. Por exemplo,
os usuários do Airflow que têm um papel com a permissão can delete on Connections
podem excluir conexões na página "Conexões" na interface do Airflow.
Também é possível atribuir permissões no nível do DAG para DAGs individuais. Por exemplo, para que apenas usuários com um papel específico do Airflow possam ver um determinado DAG na interface do Airflow. No Airflow Gerenciado, é possível atribuir automaticamente permissões no nível do DAG, com base na subpasta em que o arquivo DAG está localizado no bucket do ambiente.
Se você quiser configurar o acesso para identidades externas usando a federação de identidade de colaboradores, primeiro conceda acesso ao seu ambiente no IAM, conforme descrito na seção Conceder papéis do IAM a identidades externas. Depois, use o controle de acesso da interface do Airflow normalmente. Os usuários do Airflow para identidades externas usam o identificador principal em vez do endereço de e-mail e têm valores diferentes preenchidos em outros campos de registro de usuário do que as Contas do Google.
Antes de começar
- O registro de papéis por pasta está disponível no Airflow Gerenciado 2.0.16 e versões mais recentes.
Gerenciar papéis do Airflow Gerenciado e configurações de controle de acesso
Os usuários com o papel de administrador (ou equivalente) podem ver e modificar as configurações de controle de acesso na interface do Airflow.
Na interface do Airflow, é possível definir as configurações de controle de acesso no menu Segurança. Para mais informações sobre o modelo de controle de acesso do Airflow, as permissões disponíveis e os papéis padrão, consulte a documentação de controle de acesso da interface do Airflow.
O Airflow mantém a própria lista de usuários. Os usuários com o papel de administrador (ou equivalente) podem ver a lista de usuários que abriram a interface do Airflow de um ambiente e foram registrados no Airflow. Essa lista também inclui usuários pré-registrados manualmente por um administrador, conforme descrito na seção a seguir.
Registrar usuários na interface do Airflow
Os novos usuários são registrados automaticamente quando abrem a interface do Airflow de um ambiente do Airflow Gerenciado pela primeira vez.
No registro, os usuários recebem o papel especificado na opção de configuração [webserver]rbac_user_registration_role do Airflow. É possível
controlar o papel dos usuários registrados recém-registrados substituindo essa
opção de configuração do Airflow por um valor diferente.
Se não for especificado, o papel de registro padrão será Op em ambientes com o
Airflow 2 e 3.
As etapas a seguir são recomendadas para criar uma configuração de papel básico para a interface do Airflow:
Os administradores de ambiente abrem a interface do Airflow para o ambiente recém-criado.
Conceda às contas de administrador o papel
Admin. O papel padrão para novas contas éOp. Para atribuir o papelAdmin, execute o seguinte comando da CLI do Airflow com a CLI gcloud:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r AdminSubstitua:
ENVIRONMENT_NAMEpelo nome do ambienteLOCATIONpela região em que o ambiente está localizado;USER_EMAILpelo e-mail de uma conta de usuário.
Agora os administradores podem configurar o controle de acesso para novos usuários, incluindo a concessão do papel
Adminpara outros usuários.
Pré-registrar usuários
Os usuários são registrados automaticamente com IDs numéricos de contas de usuário do Google (não endereços de e-mail) como nomes de usuário. Também é possível pré-registrar manualmente um usuário e atribuir uma função a ele adicionando um registro de usuário com o campo de nome de usuário definido como o endereço de e-mail principal do usuário. Quando um usuário com um endereço de e-mail correspondente a um registro de usuário pré-registrado faz login na interface do Airflow pela primeira vez, o nome de usuário é substituído pelo ID do usuário identificado no momento (no momento do primeiro login) pelo endereço de e-mail. A relação entre Google Identities (endereços de e-mail) e contas de usuário (IDs de usuário) não é fixa. Não é possível pré-registrar Grupos do Google.
Para pré-registrar usuários, use a interface do Airflow ou execute um comando da CLI do Airflow pela Google Cloud CLI.
Para pré-registrar um usuário com uma função personalizada usando a Google Cloud CLI, execute o seguinte comando da CLI do Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
Substitua:
ENVIRONMENT_NAME: o nome do ambiente.LOCATION: a região em que o ambiente está localizado.ROLE: um papel do Airflow para o usuário, por exemplo,OpUSER_EMAIL: o endereço de e-mail do usuário.FIRST_NAMEeLAST_NAME: nome e sobrenome do usuário
Exemplo:
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
Remover usuários
Excluir um usuário do Airflow não revoga o acesso dele, porque ele
é registrado automaticamente de novo na próxima vez que acessar a interface do Airflow. Para
revogar o acesso a toda a interface do Airflow, remova a permissão composer.environments.get
da política de permissão do projeto.
Também é possível mudar o papel do usuário para Público, o que mantém o registro dele, mas remove todas as permissões para a interface do Airflow.
Configurar permissões no nível do DAG automaticamente
O recurso de registro de papéis por pasta cria automaticamente um
papel personalizado do Airflow para cada subpasta
diretamente dentro da pasta /dags e concede a esse papel acesso no nível do DAG a todos os
DAGs que têm o arquivo de origem armazenado nessa respectiva subpasta. Isso
simplifica o gerenciamento de papéis personalizados do Airflow e o acesso deles aos DAGs.
Como funciona o registro de papéis por pasta
O registro de papéis por pasta é uma maneira automatizada de configurar papéis e as permissões deles no nível do DAG. Por isso, ele pode causar conflitos com outros mecanismos do Airflow que concedem permissões no nível do DAG:
- Atribuir manualmente permissões de DAG a papéis.
- Atribuir DAGs a papéis usando a propriedade
access_controlem um DAG.
Para evitar esses conflitos, ativar o registro de papéis por pasta também muda o comportamento desses mecanismos.
No Airflow 2 e 3:
- É possível conceder acesso de DAG a papéis usando a propriedade
access_controldefinida no código-fonte do DAG. - Conceder permissões de DAG manualmente (pela interface do Airflow ou pela CLI gcloud) pode causar conflitos. Por exemplo, se você conceder manualmente permissões no nível do DAG a um papel por pasta, essas permissões poderão ser removidas ou substituídas quando o processador de DAG sincronizar um DAG. Recomendamos não conceder permissões de DAG manualmente.
- Os papéis têm uma união de permissões de acesso ao DAG registradas pelo registro de papéis por pasta e definidas na propriedade
access_controldo DAG.
Os DAGs localizados diretamente na pasta /dags de nível superior não são atribuídos automaticamente a
nenhum papel por pasta. Eles não podem ser acessados com nenhum papel por pasta. Outros papéis, como Admin, Op, Usuário ou qualquer função personalizada que receba permissões, podem acessá-las pela interface do Airflow e do DAG.
Se você fizer upload de DAGs para subpastas com nomes que correspondam a papéis integrados do Airflow
e papéis criados pelo Airflow Gerenciado, as permissões para DAGs nessas
subpastas ainda serão atribuídas a esses papéis. Por exemplo, o upload de um
DAG para a pasta /dags/Admin concede permissões a esse DAG para o papel de
administrador. Os papéis integrados do Airflow incluem Admin, Op, User, Leitor e Public.
O Airflow Gerenciado cria o UserNoDags depois que o recurso de registro de papéis por pasta é ativado.
O Airflow realiza o registro de papéis por pasta ao processar DAGs
no programador do Airflow. Se houver mais de cem DAGs no seu
ambiente, talvez você veja um
aumento no tempo de análise de DAG.
Se esse for o caso, recomendamos
usar mais memória e CPU para os programadores.
Também é possível aumentar o valor da opção de configuração [scheduler]parsing_processes do Airflow.
Atribuir DAGs automaticamente a papéis por pasta
Para atribuir DAGs automaticamente a papéis por pasta:
Substitua a seguinte opção de configuração do Airflow:
Seção Chave Valor webserverrbac_autoregister_per_folder_rolesTrueMude o papel de registro de novos usuários para um papel sem acesso a nenhum DAG. Dessa forma, os novos usuários não têm acesso a nenhum DAG até que um administrador atribua um papel com permissões para DAGs específicos às contas deles.
UserNoDags é um papel criado pelo Airflow Gerenciado somente quando o recurso de registro de papéis por pasta está ativado. É equivalente ao papel de usuário, mas sem acesso a nenhum DAG.
Substitua a seguinte opção de configuração do Airflow:
Seção Chave Valor webserverrbac_user_registration_roleUserNoDagsVerifique se os usuários estão registrados no Airflow.
Atribua papéis aos usuários usando uma das abordagens:
- Permita que o Airflow crie papéis automaticamente com base nas subpastas dos DAGs e atribua usuários a esses papéis.
- Crie papéis vazios para as subpastas de DAGs, com nomes de papéis que correspondam
ao nome de uma subpasta, e atribua usuários a esses papéis. Por exemplo,
para a pasta
/dags/CustomFolder, crie um papel chamadoCustomFolder.
Faça upload de DAGs para subpastas com nomes que correspondam aos papéis atribuídos aos usuários. Essas subpastas precisam estar localizadas dentro da pasta
/dagsno bucket do ambiente. O Airflow adiciona permissões aos DAGs em uma subpasta para que apenas os usuários com o papel correspondente possam acessá-los pela interface do Airflow e do DAG.
Configurar permissões no nível do DAG manualmente
É possível configurar permissões no nível do DAG para que funções personalizadas especifiquem quais DAGs ficam visíveis para grupos de usuários específicos.
Para configurar permissões no nível do DAG na interface do Airflow:
- O administrador cria papéis vazios para agrupar DAGs.
- O administrador atribui os usuários às funções adequadas.
- O administrador ou os usuários atribuem DAGs a papéis.
- Na interface do Airflow, os usuários só podem ver os DAGs atribuídos ao grupo deles.
Os DAGs podem ser atribuídos a papéis pelas propriedades do DAG ou pela interface do Airflow.
Atribuir DAGs a papéis na interface do Airflow
Um administrador pode atribuir as permissões necessárias no nível do DAG aos papéis adequados na interface do Airflow.
Essa operação não é compatível com a interface do DAG.
Como atribuir DAGs a papéis nas propriedades do DAG
É possível definir o
parâmetro de DAG access_control em um DAG, especificando
as funções de agrupamento de DAGs atribuídas ao DAG.
Nas versões do Airflow 2 anteriores à 2.1.0, o administrador, o desenvolvedor de DAG ou um
processo automatizado precisa executar o comando do Airflow sync-perm para
aplicar as novas configurações de controle de acesso.
No Airflow 2.1.0 e versões mais recentes, não é mais necessário executar esse comando, porque o programador aplica permissões no nível do DAG ao analisar um DAG.
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
Mapear registros de auditoria na interface do Airflow para usuários
Os registros de auditoria na interface do Airflow são mapeados para IDs numéricos de contas de usuário do Google. Por exemplo, se um usuário pausar um DAG, uma entrada será adicionada aos registros.
É possível conferir os registros de auditoria na página Procurar > Registros de auditoria na interface do Airflow.
Uma entrada típica lista um ID numérico no campo Proprietário:
accounts.google.com:NUMERIC_ID. É possível mapear IDs numéricos para e-mails de usuários na página
Segurança > Listar usuários. Esta página está disponível para
usuários com o papel Admin.
Observe que a relação entre as Google identities (endereços de e-mail) e as contas de usuário (IDs de usuário) não é fixa.
A seguir
- Substituir as opções de configuração do Airflow
- Visão geral da segurança
- Controle de acesso do Airflow gerenciado