Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)
Nesta página, explicamos como receber informações sobre DAGs no seu ambiente.
Maneiras de visualizar informações sobre DAGs
O Airflow gerenciado oferece várias maneiras de receber informações detalhadas sobre DAGs no seu ambiente:
- A interface do DAG é uma seção da Google Cloud interface do console do Airflow Gerenciado dedicada a visualizar e monitorar DAGs, execuções de DAGs e tarefas individuais.
- A interface do Airflow é a interface da Web integrada do Airflow.
- A CLI do Airflow é a interface de linha de comando do Airflow. É possível receber informações sobre DAGs executando comandos da CLI do Airflow com
gcloud.
Sobre a interface do DAG do Airflow gerenciado
A interface do DAG é uma seção da Google Cloud interface do console do Airflow Gerenciado dedicada a visualizar e monitorar DAGs, execuções de DAGs e tarefas individuais.
Na interface do DAG, é possível:
Visualizar uma lista de DAGs no seu ambiente, incluindo intervalos de programação, estados de DAG e descrições.
Pausar, retomar e acionar DAGs.
Visualizar detalhes da execução do DAG, incluindo execuções bem-sucedidas, ativas e com falha, tempo desde a última execução concluída. Para cada DAG, é possível conferir o histórico de execuções de DAG e instâncias de tarefas associadas a esse DAG específico, incluindo registros de tarefas executadas.
Filtrar detalhes da execução do DAG. Por exemplo, é possível escolher um intervalo de tempo e criar consultas para selecionar as informações necessárias.
Visualizar informações detalhadas sobre DAGs e tarefas individuais. Isso inclui diagramas de DAG visualizados, informações sobre as tarefas em um DAG, código-fonte do DAG e informações extras sobre DAGs.
Antes de começar
Verifique se sua conta tem um papel que pode acessar a interface do DAG e visualizar os detalhes do DAG. Para mais informações, consulte Controle de acesso.
A interface do DAG exige a serialização de DAGs ativada.
A interface do DAG é compatível com o Airflow gerenciado 1.17.8 e versões mais recentes.
Visualizar a lista de DAGs do seu ambiente
Console
A guia DAGs do seu ambiente mostra a lista de DAGs e os detalhes da execução de DAG para cada DAG.
Para visualizar a lista de DAGs:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.
É possível usar filtros para visualizar os detalhes apenas de determinados DAGs ou para determinadas condições. Exemplo:
- Selecione o campo Filtros.
- Na lista suspensa, selecione a propriedade ID do DAG.
- Especifique o identificador do DAG. Os resultados mostram detalhes apenas do DAG selecionado.
- (Opcional) Para incluir mais DAGs, adicione operadores
ORseguidos por IDs de DAG. - (Opcional) Para filtrar outras condições, adicione outras propriedades no campo Filtros. Por exemplo, é possível filtrar DAGs com execuções com falha
especificando
Failed runs:>0.
Interface do Airflow
Para visualizar a lista de DAGs na interface do Airflow:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.
Faça login com a Conta do Google que tem as permissões apropriadas.
Na interface do Airflow, na página DAGs, uma lista de DAGs do seu ambiente é exibida.
gcloud
No Airflow 1.10.*, execute o comando list_dags da CLI do Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
No Airflow 2, execute o comando dags list da CLI do Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Substitua:
ENVIRONMENT_NAMEpelo nome do ambienteLOCATIONpela região em que o ambiente está localizado
Visualizar o histórico de execuções e tarefas de DAG
Console
A guia Execuções na página Detalhes do DAG mostra o histórico de execuções de DAG para um DAG individual.
Para visualizar o histórico de execuções de DAG:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.
Selecione um DAG.
Na página Detalhes do DAG, acesse a guia Execuções.
Selecione uma execução de DAG na lista para visualizar os detalhes da execução de DAG, como o estado das instâncias de tarefas para essa execução de DAG, o número de tentativas e a duração da execução. É possível selecionar tarefas individuais para visualizar os registros de instâncias de tarefas.
Interface do Airflow
Para visualizar a lista de DAGs na interface do Airflow:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.
Faça login com a Conta do Google que tem as permissões apropriadas.
Na interface do Airflow, no menu, selecione Navegar > Execuções de DAG. A página Execuções de DAG mostra as execuções de DAG do seu ambiente. É possível seguir o link na coluna ID da execução para receber mais informações sobre as tarefas.
gcloud
No Airflow 1.10.*, execute o comando list_dag_runs da CLI do Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
No Airflow 2, execute o comando dags list-runs da CLI do Airflow:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Substitua:
ENVIRONMENT_NAMEpelo nome do ambienteLOCATIONpela região em que o ambiente está localizadoDAG_IDpelo nome do DAG
É possível receber mais informações sobre instâncias de tarefas executando comandos da CLI do Airflow tasks state e tasks states-for-dag-run.
Para mais informações, consulte Acessar a CLI do Airflow e a referência da CLI do Airflow para Airflow 1 e Airflow 2.
Visualizar diagramas de DAG
Console
A guia Diagrama na página Detalhes do DAG mostra a visualização de um DAG com dependências de tarefas.
Para visualizar o diagrama de um DAG:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.
Selecione um DAG.
Na página Detalhes do DAG, acesse a guia Diagrama.
(Opcional) Para conferir mais informações sobre as tarefas, selecione tarefas individuais no diagrama.
Interface do Airflow
Para visualizar o diagrama de um DAG na interface da Web do Airflow:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.
Faça login com a Conta do Google que tem as permissões apropriadas.
Na interface do Airflow, na página DAGs, uma lista de DAGs do seu ambiente é exibida.
Para seu DAG, na coluna Links, siga o link Gráfico.
Visualizar o código-fonte do DAG e mais informações sobre DAGs
Console
É possível visualizar o código-fonte dos DAGs e informações adicionais, como identificadores de DAG e links para arquivos de definição de DAG no bucket do ambiente.
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Lista de DAGs, siga o link DAGs do seu ambiente.
Selecione um DAG.
Para visualizar o código-fonte do DAG, acesse a guia Diagrama.
Para visualizar mais informações sobre o DAG, acesse a guia Origem.
Interface do Airflow
Para visualizar o diagrama de um DAG na interface da Web do Airflow:
Noconsol, acesse a página Ambientes. Google Cloud
Na coluna Servidor da Web do Airflow, siga o link Airflow do ambiente.
Faça login com a Conta do Google que tem as permissões apropriadas.
Na interface da Web do Airflow, na página DAGs, clique no nome do DAG.
Na página com detalhes do DAG, navegue até as guias disponíveis para visualizar mais informações sobre o DAG.