Soluciona problemas de cuellos de botella en Dataflow

Un cuello de botella se produce cuando un paso, una etapa o un trabajador ralentizan el trabajo general. Los cuellos de botella pueden generar trabajadores inactivos y una mayor latencia.

Si Dataflow detecta un cuello de botella, el gráfico del trabajo muestra una alerta y el panel Información del paso enumera el tipo de cuello de botella y la causa, si se conoce. Dataflow también exporta información de detección de cuellos de botella a una métrica de Monitoring, que presenta los datos como una serie temporal. Esto te permite ver los cuellos de botella a lo largo del tiempo o en el pasado.

Información sobre los cuellos de botella

Cuando Dataflow ejecuta una canalización de transmisión, el trabajo consta de una serie de componentes, como shuffles de transmisión, subprocesos de procesamiento de función definida por el usuario (DoFn) y puntos de control de estado persistente. Para facilitar el flujo de datos, Dataflow usa colas para conectar estos componentes. Los datos se envían de upstream a downstream.

En muchas canalizaciones, la capacidad de procesamiento general está limitada por un solo componente, lo que crea un cuello de botella en la canalización. La velocidad a la que los datos pueden moverse a través de un cuello de botella limita la rapidez con la que la canalización puede aceptar y procesar los datos de entrada.

Por ejemplo, considera una canalización en la que el procesamiento de DoFn se produce después de una reorganización de transmisión. Una cola entre ellos almacena en búfer los datos mezclados, pero sin procesar. Si el procesamiento de DoFn no puede consumir datos con la misma rapidez con la que los produce la redistribución de transmisión, la cola crece. Un cuello de botella prolongado puede hacer que la cola alcance su capacidad máxima. En ese punto, se detiene la redistribución adicional y la acumulación se propaga hacia arriba. Las colas que se encuentran más arriba también acumulan trabajos pendientes, lo que, con el tiempo, provoca una ralentización que se extiende a la fuente de datos, lo que significa que toda la canalización no puede seguir el ritmo de la entrada.

Cuando se produce un cuello de botella, una parte considerable de la canalización puede parecer en mal estado, aunque un solo punto de la canalización esté causando la acumulación. Este comportamiento puede dificultar la depuración de los cuellos de botella. El objetivo de la detección de cuellos de botella es identificar la ubicación y la causa precisas, lo que elimina las conjeturas para que puedas corregir la causa raíz.

Dataflow detecta un cuello de botella cuando un retraso supera el umbral de cinco minutos. Si la demora no supera este umbral, Dataflow no detecta un cuello de botella.

La detección de cuellos de botella no siempre requiere que actúes y depende de tu caso de uso. Una canalización puede funcionar con normalidad con retrasos transitorios de más de cinco minutos. Si esto es aceptable para tu caso de uso, es posible que no necesites resolver los cuellos de botella indicados.

Tipos de cuellos de botella

Cuando Dataflow detecta un cuello de botella, la interfaz de supervisión indica la gravedad del problema. Los cuellos de botella se dividen en las siguientes categorías:

El procesamiento se atascó y no avanza
El progreso de la canalización se detiene por completo en este paso.
El procesamiento está en curso, pero se está retrasando.
La canalización no puede procesar los datos entrantes con la misma rapidez con la que llegan. Como resultado, el trabajo pendiente está aumentando.
El procesamiento está en curso, pero las tareas pendientes son constantes.
La canalización está progresando y la tasa de procesamiento es comparable a la tasa de entrada. El procesamiento es lo suficientemente rápido como para que las tareas pendientes no aumenten, pero las tareas pendientes acumuladas tampoco disminuyen de forma significativa.
El procesamiento está en curso y se está poniendo al día con las tareas pendientes.
La lista de tareas pendientes está disminuyendo, pero el cuello de botella actual impide que la canalización se ponga al día más rápido. Si inicias una canalización con una lista de tareas pendientes, este estado puede ser normal y no requerir ninguna intervención. Supervisa el progreso para ver si la lista de tareas pendientes sigue disminuyendo.

Causas de los cuellos de botella

En esta sección, se enumeran las causas de los cuellos de botella que se pueden detectar. Usa esta información para resolver el problema. En algunos casos, puede haber varias causas y estas pueden estar relacionadas. Por ejemplo, si los trabajadores tienen un aprovisionamiento insuficiente, el uso de CPU virtual puede ser alto. El uso alto de CPU virtual puede ralentizar las operaciones, lo que, a su vez, puede crear un retraso elevado en la cola. El análisis de causas probables podría mostrar todas estas como las causas del cuello de botella.

Operaciones con tiempo de procesamiento largo

Algunas operaciones de este cálculo tienen un tiempo de procesamiento largo. Esto ocurre cada vez que se envía un paquete de entrada al trabajador que ejecuta DoFn y transcurre un tiempo significativo sin que haya resultados disponibles.

Esto suele ser el resultado de una sola operación de larga duración en el código del usuario. Otros problemas pueden manifestarse como operaciones con un tiempo de procesamiento largo. Por ejemplo, los errores que se producen y se reintentan dentro de DoFn, los reintentos durante períodos prolongados o las fallas del agente de pruebas del trabajador debido a factores como OOM pueden causar estos tiempos de procesamiento prolongados.

Si el cálculo afectado está en el código de usuario, busca formas de optimizar el código o limitar el tiempo de ejecución. Para ayudar con la depuración, los registros de los trabajadores muestran los seguimientos de pila de las operaciones que se atascan durante más de 5 minutos.

La confirmación de claves es demasiado grande

Consulta Excepción de confirmación de clave demasiado grande.

Se denegó el permiso del receptor de BigQuery

Este error indica que la cuenta de servicio que ejecuta la canalización no tiene los permisos necesarios para escribir en el recurso de BigQuery.

Para validar este problema con los registros de trabajadores, haz lo siguiente:

  1. En la consola de Google Cloud , abre la página Detalles del trabajo de Dataflow.
  2. En el panel inferior, haz clic en la pestaña Registros y selecciona Registros de trabajador.
  3. Busca mensajes de error que indiquen que se denegaron los permisos o el acceso (por ejemplo, PERMISSION_DENIED, 403 Forbidden, Access Denied o actuallyForbidden).
  4. Inspecciona el mensaje de registro para identificar el conjunto de datos o la tabla de destino, y el permiso específico que falta (como bigquery.tables.updateData).

Para solucionar este problema, sigue estos pasos:

  • Confirma que se haya otorgado el rol de editor de datos de BigQuery (roles/bigquery.dataEditor) a la cuenta de servicio en el conjunto de datos y la tabla de destino.
  • Si escribes entre proyectos, asegúrate de que se otorguen permisos a la cuenta de servicio directamente en el proyecto de destino que aloja el conjunto de datos de BigQuery y que los Controles del servicio de VPC (si están habilitados) permitan la comunicación entre ambos proyectos.

Si estos pasos no resuelven el problema, consulta Roles y permisos predefinidos de BigQuery para identificar y otorgar los permisos detallados que falten y que sean necesarios para tu configuración específica.

Se agotó el recurso del receptor de BigQuery

Este error indica que la canalización superó un límite de cuota de BigQuery. La causa más probable es que no haya suficiente cuota en el proyecto de BigQuery de destino para controlar el volumen de datos que se escriben.

Para validar este problema con los registros de trabajadores, haz lo siguiente:

  1. En la consola de Google Cloud , abre la página Detalles del trabajo de Dataflow.
  2. En el panel inferior, haz clic en la pestaña Registros y selecciona Registros de trabajador.
  3. Busca mensajes de error que indiquen que se agotaron los recursos o las cuotas, o que se superaron los límites de frecuencia (por ejemplo, RESOURCE_EXHAUSTED, 429 Too Many Requests, quotaExceeded o rateLimitExceeded).
  4. Inspecciona el mensaje de registro para confirmar qué operación y límite de cuota se excedieron (por ejemplo, los límites de capacidad de procesamiento o conexión de la API de Storage Write de AppendRows, o los límites de frecuencia de inserción de transmisión).

Para solucionar este problema, sigue estos pasos:

  • Determina qué implementación del receptor de BigQuery usa tu canalización (por ejemplo, la API de Storage Write o las inserciones de transmisión).
  • Revisa el uso de tu cuota de BigQuery en la consola de Google Cloud . Busca específicamente cuotas relacionadas con tu tipo de receptor, como conexiones simultáneas, capacidad de procesamiento o filas de inserción de transmisión por segundo.
  • Si te acercas a estos límites o los superas de forma constante, considera solicitar un aumento de la cuota.

Si con estos pasos no se identifica el límite específico que se supera, consulta Soluciona problemas de cuota y limita errores para investigar más.

Falla de RPC del receptor de BigQuery

Este error indica que las solicitudes de RPC de la canalización a BigQuery están fallando. Entre las posibles causas, se incluyen problemas transitorios de red o servicio, cargas útiles de solicitud no válidas, discrepancias de esquemas o errores de tiempo de espera y plazo superado.

Para validar este problema con los registros de trabajadores, haz lo siguiente:

  1. En la consola de Google Cloud , abre la página Detalles del trabajo de Dataflow.
  2. En el panel inferior, haz clic en la pestaña Registros y selecciona Registros de trabajador.
  3. Busca mensajes de error o excepciones relacionados con las operaciones de escritura de BigQuery (por ejemplo, DEADLINE_EXCEEDED, UNAVAILABLE, INVALID_ARGUMENT o errores de validación de esquemas).
  4. Inspecciona el seguimiento de pila y el mensaje de error para determinar el modo de falla específico que muestra la API de BigQuery.

Para solucionar este problema, sigue estos pasos:

  • Una vez que identifiques el mensaje de error o el código de estado específicos en los registros de los trabajadores, consulta la referencia de mensajes de error de BigQuery para obtener orientación sobre cómo solucionar ese error.
  • Si tu canalización usa la API de Storage Write, consulta Manejo de errores en la documentación de la API de BigQuery Storage Write para obtener información sobre cómo controlar errores específicos de escritura y transmisión.
Se limitó el receptor de BigQuery

Esta causa indica que las solicitudes de escritura de la canalización a BigQuery se realizan correctamente, pero experimentan una latencia alta o una limitación. Este problema se produce cuando la canalización se acerca a las cuotas de capacidad de procesamiento o de bytes en tránsito de BigQuery, y BigQuery ralentiza las solicitudes de escritura para regular el tráfico, o cuando BigQuery experimenta una latencia de backend elevada.

Para validar este problema, haz lo siguiente:

  1. En la consola de Google Cloud , abre la página Detalles del trabajo de Dataflow.
  2. Haz clic en la pestaña Métricas del trabajo o Información del paso para confirmar que el paso del receptor de BigQuery tiene un tiempo de procesamiento elevado.
  3. En la consola de Google Cloud , abre la página Cuotas y límites del sistema del proyecto de BigQuery de destino y verifica si tu uso se acerca a las cuotas de escritura de BigQuery.

Para solucionar este problema, sigue estos pasos:

  • Determina qué implementación de receptor de BigQuery usa tu canalización, como la API de Storage Write o las inserciones de transmisión.
  • Revisa el uso de tu cuota de BigQuery en la consola de Google Cloud . Busca específicamente las cuotas relacionadas con tu tipo de receptor, como la capacidad de procesamiento de agregados de la API de Storage Write, las conexiones simultáneas o las filas de inserción de transmisión por segundo. Incluso cuando las solicitudes no fallan con errores de cuota explícitos, BigQuery puede limitar las solicitudes a medida que el uso se acerca a los límites de cuota.
  • Si alcanzas estos límites de forma constante, considera solicitar un aumento de cuota.

Si con estos pasos no se identifica el límite específico al que se está llegando, consulta Soluciona problemas de cuota y limita errores para investigar más.

Tiempo de procesamiento largo en todas las operaciones

Las operaciones en este cálculo tardan mucho tiempo de forma constante, lo que sugiere un problema dentro del DoFn proporcionado por el usuario.

Esta causa es diferente de las operaciones con un tiempo de procesamiento prolongado. Mientras que esa causa afecta a algunas operaciones, esta indica que todas las operaciones de este cálculo se ven afectadas.

Revisa los registros de los trabajadores para detectar errores, excepciones o seguimientos de pila que indiquen subprocesos lentos o atascados. Si usas el SDK de Apache Beam para Python y las operaciones son de larga duración por diseño (por ejemplo, llamadas a la API externas lentas o E/S de alta latencia), considera usar una DoFn asíncrona. Esta función puede mejorar la capacidad de procesamiento, ya que evita que se bloquee el procesamiento en estas tareas de larga duración.

Lectura lenta de estado persistente

El procesamiento dedica una cantidad significativa de tiempo a leer el estado persistente como parte de la ejecución de DoFn. Esto puede deberse a un estado persistente demasiado grande o a demasiadas lecturas. Considera reducir el tamaño del estado persistente o la frecuencia de las lecturas. Optimiza los patrones de acceso al estado combinando varias operaciones de lectura de estado o usando el estado de mapa en lugar del estado de valor cuando sea apropiado. Este también puede ser un problema transitorio debido a la lentitud del estado persistente subyacente.

Escritura lenta de estado persistente

El procesamiento dedica una cantidad significativa de tiempo a escribir el estado persistente durante la confirmación de los resultados del procesamiento. Esto puede deberse a un estado persistente demasiado grande. Considera reducir el tamaño del estado persistente. Optimiza los patrones de acceso al estado combinando varias operaciones de escritura de estado cuando corresponda. Este también puede ser un problema transitorio debido a la lentitud del estado persistente subyacente.

Confirmación rechazada

El procesamiento de datos no se puede confirmar en el estado persistente porque no es válido. Por lo general, esto se debe a que se supera uno de los límites operativos. Consulta los registros para obtener más detalles o comunícate con el equipo de asistencia.

Particiones de fuente de Apache Kafka insuficientes

El cálculo de la fuente de Apache Kafka no tiene particiones suficientes. Para resolver este problema, intenta lo siguiente:

  • Aumenta la cantidad de particiones de Kafka.
  • Incluye la redistribución con .withRedistribute() cuando configures la lectura de Kafka IO para paralelizar los datos de manera más eficiente. Incluye .withRedistributeNumKeys(N) donde N > partitions para proporcionar un límite superior en la cantidad total de claves. Tener una cantidad limitada de claves proporciona eficiencia a través de la agrupación de registros.
  • Para minimizar el costo de la redistribución, usa .withOffsetDeduplication(). Este modo minimiza la cantidad de datos que se deben conservar como parte de la redistribución, a la vez que proporciona un procesamiento de una sola vez.

Para obtener más información, consulta Paralelismo en la página Lee desde Apache Kafka a Dataflow.

Gran volumen de estado persistente de la fuente de Apache Kafka

El procesamiento de la fuente de Apache Kafka redistribuye un gran volumen de datos que puede generar una latencia y un costo elevados. Para resolver este problema, prueba lo siguiente:

  • Si se requiere el procesamiento de tipo exactamente una vez para la canalización, minimiza el costo de la redistribución de Shuffle con el modo de anulación de duplicación por offset. Este modo minimiza la cantidad de datos que se deben conservar como parte de la redistribución, a la vez que proporciona un procesamiento de una sola vez.
  • Si el procesamiento de al menos una vez es suficiente para la canalización, se puede habilitar la configuración de permitir duplicados.

Para obtener más información, consulta Lee desde Apache Kafka a Dataflow.

Paralelismo de fuente insuficiente

Un cálculo de origen tiene un paralelismo insuficiente. Si es posible, aumenta la paralelización dentro de la fuente. Si no puedes aumentar la paralelización y el trabajo usa el modo al menos una vez, intenta agregar una transformación Redistribute a la canalización.

Claves activas o paralelismo de claves insuficiente

El trabajo tiene claves activas o un paralelismo de claves insuficiente.

Para cada clave de fragmentación, Dataflow procesa los mensajes de forma serial. Mientras Dataflow procesa un lote de mensajes para una clave determinada, otros mensajes entrantes para esa clave se ponen en cola hasta que se complete el lote actual.

Si Dataflow no puede procesar suficientes claves distintas en paralelo, puede provocar un cuello de botella. Por ejemplo, los datos pueden tener muy pocas claves distintas o algunas claves pueden estar sobrerrepresentadas en los datos ("claves activas"). Para resolver este problema, modifica la lógica de la canalización para redistribuir los datos. Por ejemplo, agrega un sufijo aleatorio a las claves de agrupamiento para dividir las claves activas y agrega los resultados en un paso posterior. Para obtener más detalles, consulta Soluciona problemas de claves activas.

CPUs virtuales con aprovisionamiento insuficiente

El trabajo no tiene suficientes CPUs virtuales de trabajador. Esta situación se produce cuando el trabajo ya se escaló al máximo, el uso de CPU virtuales es alto y aún hay una lista de tareas pendientes. Es posible que debas aumentar la cantidad máxima de trabajadores aprovisionados para este trabajo. Por ejemplo, puedes aumentar este número con una actualización del rango de ajuste de escala automático. Como alternativa, busca formas en las que se pueda disminuir el uso de CPU virtuales con cambios en el código o la carga de trabajo de la canalización. Puedes usar Cloud Profiler para buscar oportunidades de optimización.

Uso alto de CPU virtual, esperando la mejora

El trabajo tiene un uso alto de CPU virtuales, pero hay margen para mejorar. Es probable que esta condición sea transitoria hasta que se pueda realizar el escalamiento vertical. Puedes supervisar el ajuste de escala automático para ver las decisiones de ajuste de escala automático. Si esta condición persiste durante mucho tiempo o se produce con frecuencia, es posible que debas cambiar la configuración del ajuste de escala automático estableciendo una sugerencia de uso de trabajadores diferente para permitir que el trabajo se escale de forma más proactiva.

Carga de CPU virtuales desequilibrada que crea cuellos de botella en algunos trabajadores atípicos

El trabajo tiene suficientes CPU virtuales de trabajador, pero algunos trabajadores muestran un uso de CPU virtuales muy alto. Esto suele deberse a una distribución desigual del trabajo. Entre las posibles causas, se incluyen las particiones de origen cargadas de forma desigual o las claves activas.

Para resolver este problema, realiza las siguientes acciones:

  • Determina la causa de la carga desigual y trata de corregirla. Por ejemplo, asegúrate de que las particiones de origen estén distribuidas de manera uniforme.
  • Si no es posible corregir la carga desigual, considera cambiar la forma de la VM de trabajador para aumentar las CPU virtuales por trabajador y reducir el uso máximo. Para obtener más información sobre cómo configurar las CPUs virtuales por trabajador, consulta Configura las VMs de trabajador de Dataflow.
Problema de comunicación con los trabajadores

Dataflow no puede comunicarse con todas las VMs de trabajador. Verifica el estado de las VMs de trabajador del trabajo. Entre las posibles causas, se incluyen las siguientes:

  • Hay un problema con el aprovisionamiento de las VMs de trabajador.
  • El grupo de VM de trabajador se borra mientras se ejecuta el trabajo.
  • Problemas de red
La fuente de Pub/Sub tiene errores de extracción.

Se produjeron errores cuando se extraían datos de la fuente de Pub/Sub. Verifica que existan el tema y las suscripciones requeridos, y verifica la cuota y la configuración. También puedes revisar los registros en busca de errores.

Fuente de Pub/Sub con paralelismo insuficiente

El cálculo de la fuente de Pub/Sub tiene una cantidad insuficiente de claves de Pub/Sub. Para aumentar la cantidad de claves, configura la opción de servicio num_pubsub_keys. Para obtener más información, consulta Paralelismo de fuentes de Pub/Sub.

Limitación de fuente de Pub/Sub por un motivo desconocido

El procesamiento de la fuente de Pub/Sub se limita mientras se lee desde Pub/Sub por un motivo desconocido. Este problema puede ser transitorio. Verifica si hay problemas de configuración de Pub/Sub, faltan permisos de IAM o se alcanzaron los límites de cuota. Sin embargo, si ninguna de las áreas anteriores es la causa raíz y el problema persiste, comunícate con el equipo de asistencia.

Publicación del receptor de Pub/Sub lenta o atascada

El procesamiento del receptor de Pub/Sub es lento o está atascado. Este problema puede deberse a un problema de configuración o a un límite de cuota.

Tiempo de espera alto en la cola de trabajo

La antigüedad de trabajo elegible más alta es alta debido a una gran cantidad de claves y a la velocidad con la que se procesan las claves. En esta situación, es posible que cada operación no sea anormalmente larga, pero la demora general en la cola es alta.

Dataflow usa un solo subproceso de procesamiento por clave de fragmentación, y la cantidad de subprocesos de procesamiento es limitada. La demora de la cola es aproximadamente igual a la proporción de claves por subprocesos, multiplicada por la latencia en el subproceso para cada paquete de procesamiento de una clave:

(key count / total harness threads) * latency per bundle

Prueba las siguientes soluciones:

Hay un problema transitorio con el backend de Streaming Engine

Hay un problema de configuración o de funcionamiento con el backend de Streaming Engine. Este problema puede ser transitorio. Si el problema persiste, comunícate con el equipo de asistencia.

Una causa indeterminada

No se puede determinar con certeza la causa del trabajo pendiente. Este problema puede ser transitorio. Si el problema persiste, comunícate con el equipo de asistencia.

Métricas de cuellos de botella

Las siguientes métricas de trabajos proporcionan información sobre los cuellos de botella:

¿Qué sigue?