Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)
Puedes usar Cloud Monitoring y Cloud Logging con Managed Service para Apache Airflow.
Cloud Monitoring proporciona visibilidad del rendimiento, del tiempo de actividad y del estado general de las aplicaciones basadas en la nube. Cloud Monitoring recopila y transfiere métricas, eventos y metadatos de Managed Airflow para generar estadísticas en paneles y gráficos. Puedes usar Cloud Monitoring para comprender el rendimiento y el estado de tus entornos de Managed Airflow y las métricas de Airflow.
Logging captura los registros que producen los contenedores del programador y del trabajador en el clúster de tu entorno. Estos registros contienen información de dependencias de Airflow y a nivel del sistema para ayudar con la depuración. Para obtener información sobre cómo ver los registros, consulta Visualiza los registros de Airflow.
Antes de comenzar
Se requieren los siguientes permisos para acceder a los registros y las métricas de tu entorno de Managed Airflow:
- Acceso de solo lectura a los registros y métricas:
logging.viewerymonitoring.viewer - Acceso de solo lectura a registros, incluidos los registros privados:
logging.privateLogViewer - Acceso de lectura y escritura a métricas:
monitoring.editor
Para obtener más información sobre otros permisos y roles de Managed Airflow, consulta Control de acceso.
- Acceso de solo lectura a los registros y métricas:
A fin de evitar el registro duplicado, Cloud Logging para Google Kubernetes Engine está inhabilitado.
Cloud Logging produce una entrada para cada estado y evento que ocurre en tu proyecto de Google Cloud . Puedes usar filtros de exclusión para reducir el volumen de registros, incluidos los que Cloud Logging produce para Managed Airflow.
Métricas de entorno
Puedes usar las métricas de entorno para verificar el uso de recursos y el estado de tus entornos de Managed Airflow.
Estado del entorno
Para verificar el estado de tu entorno, puedes usar la siguiente métrica de estado:
| Métrica | API |
|---|---|
| Estado de un entorno |
composer.googleapis.com/environment/healthy |
Managed Airflow ejecuta un DAG de liveness llamado airflow_monitoring,
que se ejecuta de forma programada y, luego, informa el estado del entorno de la siguiente manera:
- Si la ejecución del DAG de liveness finaliza correctamente, el estado
es
True. - Si la ejecución del DAG de funcionamiento falla, el estado es
False.
El DAG de liveness se almacena en la carpeta dags/ y se puede ver en
la IU de Airflow. La frecuencia y el contenido del DAG de actividad son inmutables
y no se deben modificar. Los cambios en el DAG de liveness no se conservan.
Verificaciones de dependencias del entorno
Managed Airflow verifica de forma periódica que el entorno pueda acceder a los servicios necesarios para su funcionamiento y que tenga permisos suficientes para interactuar con ellos. Algunos ejemplos de servicios necesarios para el funcionamiento del entorno son Artifact Registry, Cloud Logging y Cloud Monitoring.
Las siguientes métricas están disponibles para las verificaciones de dependencias del entorno:
| Métrica | API | Descripción |
|---|---|---|
| Cantidad de verificaciones de dependencias |
composer.googleapis.com/environment/health/dependency_check_count
|
Esta métrica hace un seguimiento de la cantidad de veces que se realizan verificaciones de accesibilidad en los servicios necesarios para el funcionamiento del entorno. |
| Cantidad de verificaciones de permisos de dependencias |
composer.googleapis.com/environment/health/dependency_permissions_check_count
|
Esta métrica hace un seguimiento de la cantidad de veces que se realizan verificaciones de permisos en los servicios necesarios para el funcionamiento del entorno. |
Estado de la base de datos
Para verificar el estado de tu base de datos, puedes usar la siguiente
métrica de estado: composer.googleapis.com/environment/database_health.
El Pod de supervisión de Airflow hace ping a la base de datos cada minuto y, luego, informa el estado
como True si se puede establecer una conexión de SQL o False
si no es posible.
Métricas de base de datos
Las siguientes métricas de entorno están disponibles para la base de datos de metadatos de Airflow que usan los entornos de Managed Airflow. Puedes usar estas métricas para supervisar el rendimiento y el uso de recursos de la instancia de base de datos de tu entorno.
Por ejemplo, es posible que desees actualizar el tipo de máquina de Cloud SQL de tu entorno si este se acerca a los límites de recursos. También puedes optimizar los costos relacionados con el uso de la base de datos de metadatos de Airflow realizando una limpieza de la base de datos, para mantener el almacenamiento por debajo de un umbral determinado.
| Métrica de base de datos | API | Descripción |
|---|---|---|
| Uso de CPU de la base de datos |
composer.googleapis.com/environment/database/cpu/usage_time
|
|
| Núcleos de CPU de la base de datos |
composer.googleapis.com/environment/database/cpu/reserved_cores
|
|
| Uso de CPU de la base de datos |
composer.googleapis.com/environment/database/cpu/utilization
|
|
| Uso de memoria de la base de datos |
composer.googleapis.com/environment/database/memory/bytes_used
|
|
| Cuota de memoria de la base de datos |
composer.googleapis.com/environment/database/memory/quota
|
|
| Uso de memoria de la base de datos |
composer.googleapis.com/environment/database/memory/utilization
|
|
| Uso de disco de la base de datos |
composer.googleapis.com/environment/database/disk/bytes_used
|
|
| Cuota de disco de la base de datos |
composer.googleapis.com/environment/database/disk/quota
|
|
| Uso de disco de la base de datos |
composer.googleapis.com/environment/database/disk/utilization
|
|
| Límite de conexiones de base de datos |
composer.googleapis.com/environment/database/network/max_connections
|
|
| Conexiones de base de datos |
composer.googleapis.com/environment/database/network/connections
|
|
| Base de datos disponible para la conmutación por error |
composer.googleapis.com/environment/database/available_for_failover
|
Es True si la instancia de Cloud SQL del entorno está en el modo de alta
disponibilidad y está lista para la conmutación por error. |
| Recuento de solicitudes de conmutación por error automática de la base de datos |
composer.googleapis.com/environment/database/auto_failover_request_count
|
Es la cantidad total de solicitudes de conmutación por error automática de la instancia de Cloud SQL del entorno. |
Métricas de trabajadores
Las siguientes métricas de entorno están disponibles para los trabajadores de Airflow en los entornos de Managed Airflow (3ª gen.) y Managed Airflow (2ª gen.).
Esta métrica se usa para escalar automáticamente la cantidad de trabajadores en tu entorno. El escalador automático horizontal de Pods establece esta métrica y, luego, el componente del entorno del controlador del conjunto de trabajadores de Airflow usa esta métrica para aumentar o reducir la cantidad de trabajadores de Airflow, según el valor de esta métrica.
| Métrica de trabajador | API |
|---|---|
| Objetivo del factor de escala |
composer.googleapis.com/environment/worker/scale_factor_target |
Métricas del programador
| Nombre | API | Descripción |
|---|---|---|
| Programadores activos |
composer.googleapis.com/environment/active_schedulers
|
Es la cantidad de instancias de programador activas. |
Métricas del activador
| Nombre | API | Descripción |
|---|---|---|
| Activadores activos |
composer.googleapis.com/environment/active_triggerers
|
La cantidad de instancias de activador activas. |
Métricas de servidor web
Las siguientes métricas de entorno están disponibles para el servidor web de Airflow que usan los entornos de Managed Airflow. Puedes usar estas métricas para verificar el rendimiento y el uso de recursos de la instancia del servidor web de Airflow de tu entorno.
Por ejemplo, es posible que desees actualizar el tipo de máquina del servidor web si se acerca constantemente a los límites de recursos.
| Nombre | API | Descripción |
|---|---|---|
| Servidores web activos | composer.googleapis.com/environment/active_webservers |
Es la cantidad de instancias de servidor web activas. |
| Uso de CPU del servidor web | composer.googleapis.com/environment/web_server/cpu/usage_time |
|
| Cuota de CPU del servidor web | composer.googleapis.com/environment/web_server/cpu/reserved_cores |
|
| Uso de memoria del servidor web | composer.googleapis.com/environment/web_server/memory/bytes_used |
|
| Cuota de memoria del servidor web | composer.googleapis.com/environment/web_server/memory/quota |
Cuotas para los servicios que usa el entorno
Managed Airflow usa otros servicios de Google Cloud . Estos servicios tienen cuotas a nivel del proyecto, que se aplican cuando usas Managed Airflow.
En Managed Airflow (3ª gen.), el clúster del entorno se encuentra en el proyecto de usuario. Managed Airflow (3ª gen.) proporciona las siguientes métricas que informan el uso de las cuotas y los límites de cuota correspondientes para los servicios que usa tu entorno en el proyecto usuario.
| Métrica | API | Descripción |
|---|---|---|
| Límite de cuota de CPU para las cargas de trabajo de Managed Airflow |
composer.googleapis.com/environment/workloads_cpu_quota
|
(Solo para Managed Airflow (3ª gen.)) Es la cuota de asignación de CPU de Compute Engine para la cantidad total de CPU virtuales que usa un entorno. El límite se aplica por entorno. Si tu proyecto tiene varios entornos de Managed Airflow (3ª gen.), cada uno tiene su propio límite de cuota. |
| Uso de la cuota de CPU para las cargas de trabajo de Managed Airflow |
composer.googleapis.com/environment/workloads_cpu_quota_usage
|
(Solo para Managed Airflow (Gen 3)) El uso de la cuota de asignación de CPU de Compute Engine por parte de un entorno. |
Métricas de DAG
Para ayudarte a supervisar la eficiencia de tus ejecuciones de DAG y, también, identificar las tareas que causan una latencia alta, están disponibles las siguientes métricas de DAG.
| Métrica de DAG | API |
|---|---|
| Cantidad de ejecuciones de DAG |
composer.googleapis.com/workflow/run_count |
| Duración de cada ejecución de DAG |
composer.googleapis.com/workflow/run_duration |
| Cantidad de ejecuciones de tareas |
composer.googleapis.com/workflow/task/run_count |
| Duración de cada ejecución de tarea |
composer.googleapis.com/workflow/task/run_duration |
Cloud Monitoring solo muestra las métricas de las ejecuciones del flujo de trabajo y de tareas completadas (tengan éxito o fallen). Sin datos se muestra cuando no hay actividad del flujo de trabajo y, también, cuando hay ejecuciones del flujo de trabajo y de tareas en curso.
Métricas de ejecutor de Celery
Están disponibles las siguientes métricas del ejecutor de Celery. Estas métricas pueden ayudarte a determinar si hay suficientes recursos de trabajador en tu entorno.
| Métrica del ejecutor de Celery | API |
|---|---|
| Cantidad de tareas en la cola |
composer.googleapis.com/environment/task_queue_length |
| Cantidad de trabajadores de Celery en línea |
composer.googleapis.com/environment/num_celery_workers |
Métricas de Airflow
Las siguientes métricas de Airflow están disponibles. Estas métricas corresponden a las métricas que proporciona Airflow.
| Nombre | API | Nombre en Airflow | Descripción |
|---|---|---|---|
| Códigos de salida distintos de cero de la tarea de Celery |
composer.googleapis.com/environment/celery/execute_command_failure_count
|
celery.execute_command.failure
|
Es la cantidad de códigos de salida distintos de cero de las tareas de Celery. |
| Tiempos de espera de publicación de tareas de Celery |
composer.googleapis.com/environment/celery/task_timeout_error_count
|
celery.task_timeout_error
|
Cantidad de errores de AirflowTaskTimeout que se produjeron cuando se publicó la tarea en el agente de Celery. |
| Duración de la recuperación del DAG serializado |
composer.googleapis.com/environment/collect_db_dag_duration
|
collect_db_dags
|
Es el tiempo que se tarda en recuperar todos los DAG serializados de la base de datos. |
| Errores de actualización de DAG |
composer.googleapis.com/environment/dag_callback/exception_count
|
dag.callback_exceptions
|
Es la cantidad de excepciones que se generaron a partir de las devoluciones de llamada de DAG. Cuando esto sucede, significa que una devolución de llamada del DAG no funciona. |
| Errores de actualización de DAG |
composer.googleapis.com/environment/dag_file/refresh_error_count
|
dag_file_refresh_error
|
Cantidad de fallas cuando se cargan archivos DAG. |
| Tiempo de carga del archivo DAG |
composer.googleapis.com/environment/dag_processing/last_duration
|
dag_processing.last_duration.<dag_file>
|
Es el tiempo que se tarda en cargar un archivo DAG específico. |
| Tiempo transcurrido desde el procesamiento del archivo de DAG |
composer.googleapis.com/environment/dag_processing/last_run_elapsed_time
|
dag_processing.last_run.seconds_ago.<dag_file>
|
Son los segundos transcurridos desde la última vez que se procesó un archivo DAG. |
| Recuento de detenciones de DagFileProcessorManager |
composer.googleapis.com/environment/dag_processing/manager_stall_count
|
dag_processing.manager_stalls
|
Es la cantidad de procesos de DagFileProcessorManager detenidos. |
| Errores de análisis del DAG |
composer.googleapis.com/environment/dag_processing/parse_error_count
|
dag_processing.import_errors
|
Es la cantidad de errores que se generaron cuando se analizaron los archivos DAG. |
| Ejecuta procesos de análisis de DAG |
composer.googleapis.com/environment/dag_processing/processes
|
dag_processing.processes
|
Cantidad de procesos de análisis de DAG que se están ejecutando actualmente. |
| Tiempos de espera del procesador |
composer.googleapis.com/environment/dag_processing/processor_timeout_count
|
dag_processing.processor_timeouts
|
Es la cantidad de procesadores de archivos que se cerraron porque tardaron demasiado. |
| Tiempo que se tarda en analizar e importar todos los archivos DAG |
composer.googleapis.com/environment/dag_processing/total_parse_time
|
dag_processing.total_parse_time
|
Es el tiempo total que se tarda en analizar e importar todos los archivos DAG una vez. |
| Tamaño actual de la bolsa del DAG |
composer.googleapis.com/environment/dagbag_size
|
dagbag_size
|
Es la cantidad de DAG que se encontraron cuando el programador ejecutó un análisis según su configuración. |
| Notificaciones por correo electrónico de incumplimiento de ANS |
composer.googleapis.com/environment/email/sla_notification_failure_count
|
sla_email_notification_failure
|
Cantidad de intentos fallidos de notificación por correo electrónico de incumplimiento del ANS. |
| Espacios abiertos en el ejecutor |
composer.googleapis.com/environment/executor/open_slots
|
executor.open_slots
|
Es la cantidad de ranuras abiertas en el ejecutor. |
| Tareas en cola en el ejecutor |
composer.googleapis.com/environment/executor/queued_tasks
|
executor.queued_tasks
|
Es la cantidad de tareas en cola en el ejecutor. |
| Ejecución de tareas en el ejecutor |
composer.googleapis.com/environment/executor/running_tasks
|
executor.running_tasks
|
Cantidad de tareas en ejecución en el ejecutor. |
| Éxitos o fallas de las instancias de tareas |
composer.googleapis.com/environment/finished_task_instance_count
|
ti_failures, ti_successes
|
Éxitos o fallas generales de las instancias de tareas. |
| Trabajos iniciados o finalizados |
composer.googleapis.com/environment/job/count
|
<job_name>_start, <job_name>_end
|
Es la cantidad de trabajos iniciados o finalizados, como SchedulerJob o LocalTaskJob. |
| Fallas de latido del trabajo |
composer.googleapis.com/environment/job/heartbeat_failure_count
|
<job_name>_heartbeat_failure
|
Cantidad de latidos con errores para un trabajo. |
| Tareas creadas por operador |
composer.googleapis.com/environment/operator/created_task_instance_count
|
task_instance_created-<operator_name>
|
Es la cantidad de instancias de tareas creadas para un operador determinado. |
| Ejecuciones de operadores |
composer.googleapis.com/environment/operator/finished_task_instance_count
|
operator_failures_<operator_name>, operator_successes_<operator_name>
|
Cantidad de instancias de tareas finalizadas por operador |
| Ranuras abiertas en el grupo |
composer.googleapis.com/environment/pool/open_slots
|
pool.open_slots.<pool_name>
|
Es la cantidad de ranuras abiertas en el grupo. |
| Ranuras en fila en el grupo |
composer.googleapis.com/environment/pool/queued_slots
|
pool.queued_slots.<pool_name>
|
Es la cantidad de ranuras en cola en el grupo. |
| Ranuras en ejecución en el grupo |
composer.googleapis.com/environment/pool/running_slots
|
pool.running_slots.<pool_name>
|
Es la cantidad de ranuras en ejecución en el grupo. |
| Tareas sin recursos en el grupo |
composer.googleapis.com/environment/pool/starving_tasks
|
pool.starving_tasks.<pool_name>
|
Es la cantidad de tareas con falta de recursos en el grupo. |
| Tiempo transcurrido en la sección crítica del programador |
composer.googleapis.com/environment/scheduler/critical_section_duration
|
scheduler.critical_section_duration
|
Tiempo transcurrido en la sección crítica del bucle del programador. Solo un programador puede ingresar a este bucle a la vez. |
| Fallas de bloqueo de secciones críticas |
composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count
|
scheduler.critical_section_busy
|
Es la cantidad de veces que un proceso del programador intentó obtener un bloqueo en la sección crítica (necesaria para enviar tareas al ejecutor) y lo encontró bloqueado por otro proceso. |
| Tareas finalizadas de forma externa |
composer.googleapis.com/environment/scheduler/task/externally_killed_count
|
scheduler.tasks.killed_externally
|
Cantidad de tareas que se cerraron de forma externa. |
| Tareas huérfanas |
composer.googleapis.com/environment/scheduler/task/orphan_count
|
scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted
|
Es la cantidad de tareas huérfanas que el programador borró o adoptó. |
| Tareas en ejecución, en espera o ejecutables |
composer.googleapis.com/environment/scheduler/tasks
|
scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable
|
Cantidad de tareas en ejecución, en espera o ejecutables. |
| Señales de monitoreo de funcionamiento del programador |
composer.googleapis.com/environment/scheduler_heartbeat_count
|
scheduler_heartbeat
|
Señales de monitoreo de funcionamiento del programador |
| Duración del bucle del programador |
composer.googleapis.com/workload/scheduler/loop_duration
|
scheduler.scheduler_loop_duration.<hostname>
|
Es el tiempo que se tarda en ejecutar un bucle del programador. |
| Notificaciones de devolución de llamada de ANS con errores |
composer.googleapis.com/environment/sla_callback_notification_failure_count
|
sla_callback_notification_failure
|
Es la cantidad de intentos fallidos de notificación de devolución de llamada por incumplimiento del ANS. |
| Fallas de excepciones de sondeo de sensores inteligentes |
composer.googleapis.com/environment/smart_sensor/exception_failures
|
smart_sensor_operator.exception_failures
|
Es la cantidad de fallas causadas por una excepción en el bucle de sondeo del sensor inteligente anterior. |
| Fallas de la infraestructura de sondeo de sensores inteligentes |
composer.googleapis.com/environment/smart_sensor/infra_failures
|
smart_sensor_operator.infra_failures
|
Es la cantidad de fallas de infraestructura en el bucle de sondeo del sensor inteligente anterior. |
| Excepciones de sondeo de sensores inteligentes |
composer.googleapis.com/environment/smart_sensor/poked_exception
|
smart_sensor_operator.poked_exception
|
Cantidad de excepciones en el bucle de sondeo del sensor inteligente anterior. |
| El sensor inteligente activó las tareas correctamente |
composer.googleapis.com/environment/smart_sensor/poked_success
|
smart_sensor_operator.poked_success
|
Es la cantidad de tareas que se completaron correctamente y que el sensor inteligente activó en el bucle de activación anterior. |
| Tareas de sensores inteligentes que se activaron |
composer.googleapis.com/environment/smart_sensor/poked_tasks
|
smart_sensor_operator.poked_tasks
|
Es la cantidad de tareas que el sensor inteligente activó en el bucle de activación anterior. |
| Instancias de tareas que se completaron correctamente con anterioridad |
composer.googleapis.com/environment/task_instance/previously_succeeded_count
|
previously_succeeded
|
Cantidad de instancias de tareas que se completaron correctamente con anterioridad. |
| Tareas zombi finalizadas |
composer.googleapis.com/environment/zombie_task_killed_count
|
zombies_killed
|
Cantidad de tareas zombi eliminadas. |
| Duración de la ejecución del DAG |
composer.googleapis.com/workflow/dag/run_duration
|
dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id>
|
Es el tiempo que tarda una DagRun en alcanzar el estado de éxito o error. |
| Duración de la verificación de dependencias del DAG |
composer.googleapis.com/workflow/dependency_check_duration
|
dagrun.dependency-check.<dag_id>
|
Es el tiempo que se tarda en verificar las dependencias del DAG. Esta métrica es diferente de las métricas de verificación de dependencias y permisos del entorno, y se aplica a los DAGs |
| Demora en la programación de la ejecución del DAG |
composer.googleapis.com/workflow/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Es el tiempo de retraso entre la fecha de inicio programada de DagRun y la fecha de inicio real de DagRun. |
| Tareas finalizadas |
composer.googleapis.com/workflow/task_instance/finished_count
|
ti.finish.<dag_id>.<task_id>.<state>
|
Es la cantidad de tareas completadas en un DAG determinado. |
| Duración de la ejecución de la instancia de tarea |
composer.googleapis.com/workflow/task_instance/run_duration
|
dag.<dag_id>.<task_id>.duration
|
Es el tiempo que se tarda en finalizar una tarea. |
| Tareas iniciadas |
composer.googleapis.com/workflow/task_instance/started_count
|
ti.start.<dag_id>.<task_id>
|
Es la cantidad de tareas iniciadas en un DAG determinado. |
| Duración de la instancia de tarea en cola |
composer.googleapis.com/workflow/task_instance/queued_duration
|
dag.<dag_id>.<task_id>.queued_duration
|
Es el tiempo que una tarea pasa en el estado En cola antes de cambiar al estado En ejecución. |
| Uso de CPU de la tarea |
composer.googleapis.com/workflow/task/cpu_usage
|
task.cpu_usage.<dag_id>.<task_id>
|
Porcentaje de CPU que usa una tarea. |
| Uso de memoria de la tarea |
composer.googleapis.com/workflow/task/mem_usage
|
task.mem_usage.<dag_id>.<task_id>
|
Es el porcentaje de memoria que usa una tarea. |
| Tareas quitadas del DAG |
composer.googleapis.com/workflow/task/removed_from_dag_count
|
task_removed_from_dag.<dag_id>
|
Es la cantidad de tareas que se quitaron de un DAG determinado (es decir, la tarea ya no existe en el DAG). |
| Se restablecieron las tareas en el DAG |
composer.googleapis.com/workflow/task/restored_to_dag_count
|
task_restored_to_dag.<dag_id>
|
Es la cantidad de tareas restablecidas para un DAG determinado (es decir, la instancia de tarea que antes estaba en estado REMOVED en la DB se agrega al archivo DAG). |
| Retraso en la programación de la tarea |
composer.googleapis.com/workflow/task/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Tiempo transcurrido entre la fecha de inicio de la primera tarea y el inicio esperado de dagrun. |
| Cantidad total de activadores en ejecución |
composer.googleapis.com/workload/triggerer/num_running_triggers
|
triggers.running
|
La cantidad de activadores en ejecución por instancia de activador. |
| Activadores de bloqueo |
composer.googleapis.com/environment/trigger/blocking_count
|
triggers.blocked_main_thread
|
Es la cantidad de activadores que bloquearon el subproceso principal (probablemente porque no son completamente asíncronos). |
| Activadores con errores |
composer.googleapis.com/environment/trigger/failed_count
|
triggers.failed
|
Es la cantidad de activadores que fallaron con un error antes de que pudieran activar un evento. |
| Activadores correctos |
composer.googleapis.com/environment/trigger/succeeded_count
|
triggers.succeeded
|
Es la cantidad de activadores que activaron, al menos, un evento. |
Usa Monitoring para entornos de Managed Airflow
Console
Puedes usar el Explorador de métricas para mostrar métricas relacionadas con tus entornos y DAG:
El recurso Entorno de Cloud Composer contiene métricas para los entornos.
Para mostrar las métricas de un entorno específico, filtra las métricas por la etiqueta
environment_name. También puedes filtrar por otras etiquetas, como la ubicación del entorno o la versión de la imagen.El recurso Flujo de trabajo de Cloud Composer contiene métricas para los DAG.
Para mostrar las métricas de un DAG o una tarea específicos, filtra las métricas por las etiquetas
workflow_nameytask_name. También puedes filtrar por otras etiquetas, como el estado de la tarea o el nombre del operador de Airflow.
API y gcloud
Puedes crear y administrar paneles personalizados y los widgets a través de la
API de Cloud Monitoring y el comando gcloud monitoring dashboards. Para obtener más información, consulta
Administra paneles con la API.
Para obtener más información sobre los recursos, las métricas y los filtros, consulta la referencia de la API de Cloud Monitoring:
Usa alertas de Cloud Monitoring
Puedes crear políticas de alertas para supervisar los valores de las métricas y recibir notificaciones cuando estas infrinjan una condición.
-
En la consola de Google Cloud , ve a la página Alertas notifications:
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.
- Si aún no creaste canales de notificaciones y deseas recibirlas, haz clic en Editar canales de notificaciones y agrega tus canales de notificaciones. Regresa a la página Alertas después de agregar tus canales.
- En la página Alertas, elige Crear política.
- Para elegir la métrica, expande el menú Seleccionar una métrica y, luego, haz lo siguiente:
- Para limitar el menú a las entradas relevantes, ingresa
Cloud Composeren la barra de filtros. Si no hay resultados después de que filtres el menú, inhabilita el botón para activar o desactivar la opción Mostrar solo recursos y métricas activos. - En Tipo de recurso, selecciona Entorno de Cloud Composer o Flujo de trabajo de Cloud Composer.
- Selecciona una Categoría de métrica y una Métrica. Luego, selecciona Aplicar.
- Para limitar el menú a las entradas relevantes, ingresa
- Haz clic en Siguiente.
- Los parámetros de configuración de la página Configurar activador de alertas determinan cuándo se activa la alerta. Selecciona un tipo de condición y, si es necesario, índica un umbral. Para obtener más información, consulta Crea políticas de alertas de umbral de métrica.
- Haz clic en Siguiente.
- Opcional: Para agregar notificaciones a tu política de alertas, haz clic en Canales de notificaciones. En el diálogo, selecciona uno o más canales de notificaciones del menú y, luego, haz clic en Aceptar.
- Opcional: Actualiza la Duración del cierre automático de alertas. Este campo determina cuándo Monitoring cierra las alertas ante la ausencia de datos de métricas.
- Opcional: Haz clic en Documentación y, luego, agrega la información que deseas incluir en un mensaje de notificación.
- Haz clic en Nombre de la alerta y, luego, ingresa un nombre para la política de alertas.
- Haz clic en Crear política.