Programar DAGs do Airflow

Neste documento, descrevemos como programar gráficos acíclicos direcionados (DAGs) do Airflow do Airflow Gerenciado 3 na página Programação do BigQuery, incluindo como acionar DAGs manualmente e como ver o histórico e os registros de execuções anteriores de DAGs.

Sobre o gerenciamento de DAGs do Airflow no BigQuery

A página Programação no BigQuery oferece ferramentas para programar DAGs do Airflow que são executados nos seus ambientes do Airflow Gerenciado 3.

Os DAGs do Airflow programados no BigQuery são executados em um ou mais ambientes do Airflow Gerenciado no seu projeto. A página Programação no BigQuery combina informações de todos os DAGs do Airflow no seu projeto.

Durante uma execução de DAG, o Airflow programa e executa tarefas individuais que compõem um DAG em uma sequência definida por ele. Na página Programação do BigQuery, é possível conferir os status das execuções anteriores de DAGs, acessar registros detalhados de todas as execuções de DAGs e tarefas relacionadas e ver detalhes sobre os DAGs.

Para saber mais sobre os conceitos básicos do Airflow, como DAGs, execuções de DAGs, tarefas ou operadores, consulte a página Conceitos básicos na documentação do Airflow.

Para saber mais sobre os ambientes do Airflow Gerenciado, consulte a página Visão geral do Airflow Gerenciado 3 na documentação do Airflow Gerenciado.

Antes de começar

  1. Ativar a API Cloud Composer.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar a API

  2. Verifique se o seu Google Cloud projeto tem pelo menos um ambiente do Airflow Gerenciado 3 com pelo menos um arquivo DAG já enviado:

Permissões necessárias

Para receber as permissões necessárias para programar DAGs do Airflow, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para programar DAGs do Airflow. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para programar DAGs do Airflow:

  • Para conferir os DAGs do Airflow e os detalhes deles: composers.dags.list, composer.environments.list
  • Para acionar e pausar DAGs do Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre o IAM do Airflow Gerenciado 3, consulte Controle de acesso com o IAM na documentação do Airflow Gerenciado.

Acionar manualmente um DAG do Airflow

Quando você aciona um DAG do Airflow manualmente, ele é executado uma vez, independente da programação especificada.

Para acionar manualmente um DAG do Airflow selecionado, siga estas etapas:

  1. No console Google Cloud , acesse a página Programação.

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Acionar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Acionar DAG.

Conferir registros e detalhes da execução de DAGs do Airflow

Para conferir os detalhes de um DAG do Airflow selecionado, siga estas etapas:

  1. No console Google Cloud , acesse a página Programação.

    Acessar a página Programação

  2. Clique no nome do DAG selecionado.

  3. Na página Detalhes do DAG, selecione a guia Detalhes.

  4. Para conferir as execuções de DAG anteriores, selecione a guia Execuções.

    1. Opcional: a guia Execuções mostra as execuções de DAG dos últimos 10 dias por padrão. Para filtrar execuções de DAG por um período diferente, no menu suspenso 10 dias, selecione um período e clique em OK.

    2. Opcional: para mostrar outras colunas com detalhes de execução do DAG na lista de todas as execuções de DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

    3. Para conferir detalhes e registros de uma execução de DAG selecionada, escolha uma execução.

  5. Para ver uma visualização do DAG com dependências de tarefas, selecione a guia Diagrama.

    1. Para ver os detalhes de uma tarefa, selecione uma no diagrama.

  6. Para conferir o código-fonte do DAG, selecione a guia Código.

  7. Opcional: para atualizar os dados mostrados, clique em Atualizar.

Conferir todos os DAGs do Airflow

Para conferir os DAGs do Airflow de todos os ambientes do Airflow Gerenciado 3 no seu projetoGoogle Cloud , siga estas etapas:

  1. No console Google Cloud , acesse a página Programação.

    Acessar a página Programação

  2. Opcional: para mostrar outras colunas com detalhes do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

Pausar um DAG do Airflow

Para pausar um DAG do Airflow selecionado, siga estas etapas:

  1. No console Google Cloud , acesse a página Programação.

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Pausar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Pausar DAG.

Solução de problemas

Para instruções sobre como resolver problemas de DAGs do Airflow, consulte Como resolver problemas de DAGs do Airflow na documentação do Airflow Gerenciado.

A seguir