Panel de supervisión del proyecto de Dataflow

La interfaz de supervisión basada en la Web de Dataflow incluye un panel que supervisa los trabajos de Dataflow a nivel de proyecto. Los gráficos muestran los datos de todos los trabajos de un proyecto.

Ir al panel

El panel puede ayudarte con las siguientes tareas:

  • Identifica y detecta la fuente de los errores de cuota.
  • Detecta el ajuste de escala automático horizontal anómalo en un trabajo.
  • Identifica trabajos de transmisión lentos o atascados.

El panel usa Cloud Monitoring para acceder a las métricas de los trabajos de Dataflow. Para personalizar la información que se muestra en los gráficos, usa el Explorador de métricas.

Características

El panel incluye las siguientes características:

  • Elige qué trabajos aparecen en el panel con el uso de expresiones regulares.
  • Accede a la página de detalles del trabajo desde gráficos individuales.
  • Personaliza los gráficos y widgets del panel.

Roles obligatorios

Para obtener el permiso que necesitas para ver los datos del gráfico, pídele a tu administrador que te otorgue el rol de IAM de Visualizador de Monitoring (roles/monitoring.viewer). Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene el permiso monitoring.timeSeries.list, que es necesario para ver los datos del gráfico.

También puedes obtener este permiso con roles personalizados o con otros roles predefinidos.

Accede al panel

Para acceder al panel, sigue estos pasos:

  1. Accede a la consola de Google Cloud .
  2. Selecciona tu proyecto de Google Cloud Platform.
  3. Abre el Menú de navegación.
  4. En Analytics, haz clic en Dataflow.

  5. En el menú de navegación de Dataflow, haz clic en Monitoring.

    Ir al panel

Métricas del panel

De forma predeterminada, los siguientes gráficos de series temporales aparecen en el panel. Para obtener más información sobre las métricas que se muestran, consulta Métricas del trabajo.

Los siguientes gráficos se aplican a los trabajos por lotes y de transmisión:

  • Ejecución de trabajos Muestra la cantidad de trabajos activos que se ejecutan en el proyecto. En este gráfico, se indica la actividad general de Dataflow en el proyecto a lo largo del tiempo.
  • Trabajadores por trabajo (25 principales). Muestra los recuentos de trabajadores actuales para los 25 trabajos más paralelizados. Este gráfico es útil para comprender la asignación de recursos e identificar los trabajos con cargas de trabajo altas. También puedes ver si los trabajos tienen un comportamiento de escalamiento inesperado.
  • Recuento total de CPUs virtuales. Muestra la cantidad total de CPUs virtuales (vCPUs) en uso en todos los trabajos del proyecto. La cantidad total de CPU virtuales afecta las cuotas de Compute Engine.
  • CPUs virtuales por trabajo (25 principales) Mostrar los 25 trabajos que consumen más recursos de CPU virtual En este gráfico, se destacan los trabajos que podrían ser costosos.
  • Recuento total de CPUs virtuales. Muestra un agregado de las CPUs virtuales en uso en todo el proyecto. En este gráfico, se proporciona una vista de alto nivel de los recursos de Compute Engine que consumen tus trabajos.
  • Errores de cuota excedida Informa sobre cualquier instancia en la que se hayan alcanzado las cuotas de Dataflow o las cuotas de Compute Engine. Este gráfico puede ayudarte a encontrar posibles fallas en los trabajos o ralentizaciones en el escalamiento.

Los siguientes gráficos se aplican a los trabajos de transmisión:

  • Latencia promedio del sistema. Muestra la latencia del sistema promedio, que refleja la demora típica que experimentan los datos a medida que pasan por las etapas de origen. Este gráfico puede indicar posibles cuellos de botella en la entrada. Usa este gráfico para identificar los trabajos de transmisión que tienen una demora inusual entre el momento en que los datos aparecen en una fuente y el momento en que se escriben en todos los receptores.
  • Retraso del sistema (25 principales). Muestra las 25 canalizaciones de transmisión con el mayor retraso del sistema, que es la mayor cantidad de tiempo que los datos pasan en procesamiento o en espera de procesamiento. Este gráfico puede indicar posibles cuellos de botella en el procesamiento en tiempo real.
  • Retraso de la marca de agua de los datos por etapa (25 principales). Muestra los 25 trabajos de transmisión con el mayor retraso de marca de agua. El retraso de la marca de agua de una etapa es la diferencia entre la hora del evento más reciente que recibió la etapa y la marca de agua. Este gráfico puede indicar posibles cuellos de botella con un nivel de detalle por etapa. Usa este gráfico para encontrar trabajos de transmisión que podrían ser lentos o estar atascados. Para obtener más información, consulta Soluciona problemas de trabajos de transmisión lentos o atascados.
  • Uso de SECU (25 principales) Muestra los 25 trabajos de transmisión que consumen la mayor cantidad de unidades de procesamiento de Streaming Engine. Usa este gráfico para medir el costo y la intensidad de tus trabajos de transmisión que usan la facturación basada en recursos.
  • Latencias de procesamiento de usuarios (25 principales) Muestra los 25 trabajos de transmisión en los que el código definido por el usuario en las etapas de procesamiento tarda más. Usa este gráfico para encontrar posibles cuellos de botella en el rendimiento de la lógica de tu aplicación.
  • Cantidad máxima de trabajo pendiente (25 principales). Muestra los 25 trabajos de transmisión con el mayor volumen de datos sin procesar en espera en cualquier etapa. Este gráfico puede indicar una posible sobrecarga de entrada o un procesamiento lento.
  • Claves pendientes (25 principales). Muestra los trabajos de transmisión pendientes según la mayor cantidad de claves pendientes en una etapa de cuello de botella. Para obtener más información, consulta Soluciona problemas de cuellos de botella.
  • Causas probables del cuello de botella (10 principales). Muestra las 10 causas más probables de las etapas de cuello de botella en los trabajos pendientes. Para obtener más información, consulta Soluciona problemas de cuellos de botella.

Para obtener más información sobre cómo trabajar con gráficos, consulta Explora los datos representados.

Personaliza el panel

Puedes personalizar el contenido del panel y la información que se muestra en los gráficos. Cuando editas el panel, se crea un panel nuevo y personalizado.

El panel usa Cloud Monitoring para acceder a las métricas de trabajo de Dataflow. Usa las herramientas de Cloud Monitoring para personalizar los gráficos.

  1. Abre el panel y haz clic en Personalizar panel.
  2. Modifica tu panel.
  3. Haz clic en Guardar y, luego, en Ver panel personalizado.

Después de crear un panel personalizado, para volver al panel predeterminado, en el menú Panel, elige Predefinido.

Para ver un ejemplo de cómo agregar un gráfico de métricas personalizadas al panel, consulta Cómo personalizar el panel de supervisión de Dataflow.

Soluciona problemas

En esta sección, se proporcionan instrucciones para solucionar problemas comunes.

No hay datos disponibles

Cuando abras tu panel, uno o más gráficos mostrarán el siguiente mensaje:

No data is available for the selected time frame.

Este mensaje aparece cuando el período cubierto en los gráficos no tiene datos. Para resolver este problema, cambia o expande el intervalo de tiempo.

Para cambiar el intervalo de tiempo que se muestra, en el gráfico, haz clic en Explorar datos y, luego, usa el selector de intervalo de tiempo.

No se pueden restablecer los widgets borrados

Cuando quitas un widget del panel, creas un panel personalizado. Después de crear un panel personalizado, para volver al panel predeterminado, en el menú Panel, elige Predefinido.

No se pueden ver los gráficos

Para ver los datos del grafo, necesitas el permiso monitoring.timeSeries.list. Para obtener más información, consulta los Roles requeridos.

¿Qué sigue?