Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)
En esta página, se explica cómo obtener información sobre los DAG en tu entorno.
Formas de ver información sobre los DAG
Managed Airflow proporciona varias formas de obtener información detallada sobre los DAG en tu entorno:
- La IU de DAG es una sección de Google Cloud interfaz de la consola para Managed Airflow dedicada a ver y supervisar DAG, ejecuciones de DAG, y tareas individuales.
- La IU de Airflow es la interfaz web integrada de Airflow.
- La CLI de Airflow es la interfaz de línea de comandos de Airflow. Puedes obtener información sobre los DAG ejecutando comandos de la CLI de Airflow con
gcloud.
Acerca de la IU de DAG de Managed Airflow
La IU de DAG es una sección de Google Cloud interfaz de la consola para Managed Airflow dedicada a ver y supervisar DAG, ejecuciones de DAG, y tareas individuales.
En la IU de DAG, puedes hacer lo siguiente:
Ver una lista de DAG en tu entorno, incluidos los intervalos de programación, los estados de DAG y las descripciones
Pausar, reanudar y activar DAG.
Ver los detalles de la ejecución del DAG, incluidas las ejecuciones correctas, activas y fallidas, y el tiempo transcurrido desde la última ejecución completada Para cada DAG, puedes ver el historial de ejecuciones de DAG y las instancias de tareas asociadas con este DAG en particular, incluidos los registros de las tareas ejecutadas
Filtrar los detalles de la ejecución del DAG Por ejemplo, puedes elegir un intervalo de tiempo y crear consultas para seleccionar la información que necesitas
Ver información detallada sobre DAG y tareas individuales Esto incluye diagramas de DAG visualizados, información sobre las tareas dentro de un DAG, código fuente de DAG y información adicional sobre DAG
Antes de comenzar
Asegúrate de que tu cuenta tenga un rol que pueda acceder a la IU de DAG y ver los detalles del DAG. Para obtener más información, consulta Guía de control de acceso.
La IU de DAG requiere la serialización de DAG habilitada.
La IU de DAG es compatible con Managed Airflow 1.17.8 y versiones posteriores.
Consulta la lista de DAG para tu entorno
Console
En la pestaña DAG de tu entorno, se muestra la lista de DAG junto con los detalles de la ejecución de DAG para cada DAG.
Para ver la lista de DAG, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Lista de DAG, sigue el vínculo DAG para tu entorno.
Puedes usar filtros para ver los detalles solo de ciertos DAG o para ciertas condiciones. Por ejemplo:
- Selecciona el campo Filtros.
- En la lista desplegable, selecciona la propiedad ID de DAG.
- Especifica el identificador del DAG. Los resultados muestran detalles solo para el DAG seleccionado.
- Para incluir más DAG, agrega operadores
ORseguidos de IDs de DAG (opcional). - Para filtrar en otras condiciones, agrega otras propiedades en el campo Filtros (opcional). Por ejemplo, puedes filtrar los DAG con ejecuciones fallidas
especificando
Failed runs:>0.
IU de Airflow
Para ver la lista de DAG en la IU de Airflow, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la IU de Airflow, en la página DAG, se muestra una lista de DAG para tu entorno.
gcloud
Ejecuta el comando de la CLI de Airflow dags list:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Reemplaza lo siguiente:
ENVIRONMENT_NAMEpor el nombre del entorno.LOCATIONpor la región en la que se encuentra el entorno.
Consulta el historial de ejecuciones y tareas de DAG
Console
En la pestaña Ejecuciones de la página Detalles del DAG , se muestra el historial de ejecuciones de DAG para un DAG individual.
Para ver el historial de ejecuciones de DAG, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Lista de DAG, sigue el vínculo DAG para tu entorno.
Selecciona un DAG.
En la página Detalles del DAG, ve a la pestaña Ejecuciones.
Selecciona una ejecución de DAG de la lista para ver los detalles de la ejecución de DAG, como el estado de las instancias de tareas para esta ejecución de DAG, la cantidad de intentos y la duración de la ejecución. Puedes seleccionar tareas individuales para ver los registros de instancias de tareas.
IU de Airflow
Para ver la lista de DAG en la IU de Airflow, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
Visualiza las ejecuciones de DAG:
(Airflow 3) En la IU de Airflow, selecciona DAG > Ejecuciones. En la pestaña Ejecuciones , se muestran las ejecuciones de DAG para tu entorno. Puedes seguir el vínculo en la columna Ejecutar después para obtener información adicional sobre las tareas.
(Airflow 2) En la IU de Airflow, selecciona Explorar > Ejecuciones de DAG. En la página Ejecuciones de DAG , se muestran las ejecuciones de DAG para tu entorno. Puedes seguir el vínculo en la columna ID de ejecución para obtener información adicional sobre las tareas.
gcloud
Ejecuta el comando de la CLI de Airflow dags list-runs:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Reemplaza lo siguiente:
ENVIRONMENT_NAMEpor el nombre del entorno.LOCATIONpor la región en la que se encuentra el entorno.DAG_IDpor el nombre del DAG.
Puedes obtener información adicional sobre las instancias de tareas ejecutando tasks state y tasks states-for-dag-run comandos de la CLI de Airflow.
Para obtener más información, consulta Accede a la CLI de Airflow y la referencia de la CLI de Airflow.
Visualiza diagramas de DAG
Console
En la pestaña Diagrama de la página Detalles del DAG , se muestra la visualización de un DAG con dependencias de tareas.
Para ver el diagrama de un DAG, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Lista de DAG, sigue el vínculo DAG para tu entorno.
Selecciona un DAG.
En la página Detalles del DAG, ve a la pestaña Diagrama.
Para ver información adicional sobre las tareas, selecciona tareas individuales en el diagrama (opcional).
IU de Airflow
Para ver el diagrama de un DAG en la interfaz web de Airflow, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la IU de Airflow, en la página DAG, se muestra una lista de DAG para tu entorno.
(Airflow 3) Haz clic en tu DAG para ir a la página DAG y, luego, haz clic en Mostrar gráfico para cambiar a la vista de gráfico.
(Airflow 2) Para tu DAG, en la columna Vínculos, sigue el vínculo Gráfico.
Consulta el código fuente del DAG y la información adicional sobre los DAG
Console
Puedes ver el código fuente de tus DAG y la información adicional, como los identificadores de DAG y los vínculos a los archivos de definición de DAG en el bucket del entorno.
En la Google Cloud consola, ve a la página Entornos.
En la columna Lista de DAG, sigue el vínculo DAG para tu entorno.
Selecciona un DAG.
Para ver el código fuente del DAG, ve a la pestaña Diagrama.
Para ver información adicional sobre el DAG, ve a la pestaña Fuente.
IU de Airflow
Para ver el diagrama de un DAG en la interfaz web de Airflow, haz lo siguiente:
En la Google Cloud consola, ve a la página Entornos.
En la columna Servidor web de Airflow, sigue el vínculo de Airflow para tu entorno.
Accede con la Cuenta de Google que tiene los permisos correspondientes.
En la interfaz web de Airflow, en la página DAG, haz clic en el nombre de tu DAG.
En la página con los detalles del DAG, navega a las pestañas disponibles para ver información adicional sobre el DAG.