Usa el avance de marca de agua inmediato

En una canalización de transmisión de Dataflow, los registros retrasados o desordenados pueden detener la marca de agua de la canalización. Estos tipos de registros se producen en instancias en las que se producen discrepancias de tiempo, como eventos de dispositivos sin conexión o clientes con desvío de reloj. Una marca de agua detenida retrasa los resultados de la ventana a tiempo y los temporizadores de hora del evento, y puede causar picos repentinos en el uso de los trabajadores cuando los datos retrasados finalmente se borran.

Para evitar que los registros retrasados detengan tu canalización, habilita el avance de marca de agua inmediato en tus trabajos de Streaming Engine. Cuando habilitas esta función, Dataflow sigue procesando los registros retrasados, pero esos registros no detienen la marca de agua, lo que permite que tus ventanas y temporizadores se ejecuten según lo programado.

Habilitar el avance de la marca de agua ansiosa te ayuda a lograr lo siguiente:

  • Latencia predecible: Genera agregaciones con ventanas a tiempo y ejecuta temporizadores de tiempo de evento según lo programado sin esperar a que los registros retrasados terminen de procesarse.
  • Uso más fluido de los trabajadores: Cierra las ventanas y ejecuta los temporizadores de forma constante a medida que los datos puntuales avanzan la marca de agua, lo que evita los picos de uso de los trabajadores debido a que las ventanas pendientes se cierran todas a la vez.

Descripción general

En una canalización de transmisión, la marca de agua es un umbral que indica que Dataflow hizo un seguimiento de que los datos hasta este punto se procesaron. Las agregaciones basadas en ventanas generan resultados puntuales, y los temporizadores de hora del evento se ejecutan solo después de que la marca de agua pasa el final de la ventana o la marca de tiempo del temporizador.

De forma predeterminada, la marca de agua se basa en la marca de tiempo mínima del evento sin procesar y nunca retrocede. Cuando llega un registro con una marca de tiempo de evento posterior a la marca de agua actual, esta se detiene hasta que el registro termina de procesarse. Debido a que las marcas de agua downstream no pueden avanzar más allá de las marcas de agua upstream, una marca de agua upstream detenida detiene todas las etapas posteriores. A medida que un registro retrasado se mueve por la canalización, la marca de agua de cada etapa permanece detenida hasta que el registro termina de procesarse en esa etapa. Incluso cuando tu canalización está en buen estado, esta cascada retrasa los resultados de las ventanas y los temporizadores de tiempo de evento para los datos puntuales en todas las etapas posteriores. Cuando los registros retrasados finalmente se borran, los marcadores de progreso avanzan con rapidez, lo que suele provocar una ráfaga de cierres de ventanas que aumenta el uso de los trabajadores.

El avance de la marca de agua anticipada cambia este comportamiento para los trabajos de Streaming Engine, ya que desvincula los registros retrasados de la progresión de la marca de agua. Cuando llega un registro con una marca de tiempo de evento posterior a la marca de agua actual, Dataflow procesa el registro sin retener la marca de agua de la etapa. La marca de agua sigue avanzando según tus datos puntuales, mientras que los registros retrasados se procesan y se generan según la configuración de retraso permitido de tu canalización.

Cuándo usar el avance de marca de agua inmediato

El avance de la marca de agua ansiosa es eficaz en las siguientes situaciones en las que el progreso de la marca de agua se detiene por los registros que llegan detrás de la marca de agua actual:

  • Ráfagas de datos retrasados: Situaciones en las que los dispositivos móviles, los sensores de IoT o los equipos de red se desconectan durante horas o días, almacenan eventos en búfer de forma local y generan una ráfaga de datos históricos cuando se vuelven a conectar.
  • Tiempos de eventos desordenados en Pub/Sub: Temas de Pub/Sub en los que los mensajes llegan con marcas de tiempo de eventos más antiguas que la marca de agua de origen o temas con poca densidad en los que la marca de agua de una suscripción inactiva avanza hasta la hora real entre los mensajes.
  • Recuperación de particiones de Kafka: Son fuentes de Kafka configuradas con la hora del evento o CreateTime, en las que el límite de una partición avanza mientras la partición está inactiva y, luego, la partición recibe una acumulación de registros más antiguos.
  • Marcas de tiempo anteriores personalizadas: Son transformaciones del usuario que generan registros con marcas de tiempo históricas mediante outputWithTimestamp.

Datos retrasados con agregaciones basadas en ventanas

Sin el avance de la marca de agua ansiosa, una marca de agua estancada mantiene las ventanas abiertas. Si la marca de agua se detiene durante un tiempo suficiente, los registros retrasados que lleguen más tarde se pueden contar como puntuales, lo que proporciona cierta protección no deseada contra los datos tardíos. Con el avance de la marca de agua ansiosa, los registros tardíos ya no detienen la marca de agua, por lo que más registros se clasifican correctamente como tardíos. Los registros tardíos dentro del retraso permitido se generan en paneles tardíos, y los registros tardíos posteriores se dejan fuera de los resultados de la ventana.

Cuándo no se aplica el avance de marca de agua inmediato

El avance de la marca de agua ansiosa no resuelve el retraso de la marca de agua causado por el procesamiento lento de los datos puntuales. Si las transformaciones tardan mucho tiempo en procesar los registros puntuales debido a operaciones con un uso intensivo de procesamiento, RPC externas lentas o cuellos de botella de CPU y memoria de los trabajadores, la marca de agua se ve retrasada por esos elementos lentos. El avance de la marca de agua ansioso solo desvincula los datos que ya están detrás de la marca de agua. No acelera el procesamiento lento de datos puntuales.

Asistencia y limitaciones

Todas las versiones del SDK de Apache Beam que se ejecutan en Streaming Engine (Java, Python y Go) admiten el avance de marcas de agua ansioso. No se requiere una actualización del SDK.

El avance de la marca de agua ansiosa tiene los siguientes requisitos y limitaciones:

  • Se requiere Streaming Engine: La canalización debe usar Streaming Engine.
  • Solo trabajos de transmisión: Solo puedes habilitar el avance de marca de agua diligente para las canalizaciones de transmisión.
  • Retraso permitido: Para controlar los registros tardíos en agregaciones basadas en ventanas o en el procesamiento con estado, establece el retraso permitido para cubrir los retrasos esperados antes de habilitar el avance de marca de agua ansioso. Los registros posteriores al retraso permitido se descartan. Para obtener más información, consulta Datos tardíos.
  • Fuentes limitadas: Si todas las fuentes de un trabajo de transmisión son limitadas, el trabajo no finaliza por sí solo cuando termina la entrada. Para detener el trabajo, desvíalo.
  • Solo trabajos nuevos o de reemplazo: No puedes cambiar el avance de la marca de agua diligente en un trabajo que se está ejecutando de forma activa. Para habilitar o inhabilitar la función en una canalización existente, debes implementar un trabajo de reemplazo con la opción actualización de canalización.

Antes de comenzar

Antes de habilitar el avance de marca de agua inmediato, haz lo siguiente:

  1. Configura el retraso permitido para cubrir las demoras previstas.
  2. Verifica que el activador, el modo de acumulación y el control de PaneInfo de tu canalización funcionen con los paneles tardíos.

Después de habilitar el avance de marca de agua inmediato, supervisa el contador droppedDueToLateness en Contadores personalizados en el panel Información del trabajo de la consola de Google Cloud para verificar que los datos tardíos descartados permanezcan en una tasa aceptable para tu caso de uso.

Habilita el avance de la marca de agua de forma inmediata

Para habilitar el avance de marca de agua ansioso, configura la opción de servicio enable_eager_watermark_advancement cuando inicies una canalización:

Java

--dataflowServiceOptions=enable_eager_watermark_advancement

Python

--dataflow_service_options=enable_eager_watermark_advancement

Go

--dataflow_service_options=enable_eager_watermark_advancement

gcloud

Cuando ejecutes una plantilla con el comando gcloud dataflow jobs run o una plantilla de Flex con el comando gcloud dataflow flex-template run, incluye las marcas --enable-streaming-engine y --additional-experiments:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=TEMPLATE_LOCATION \
    --region=REGION \
    --enable-streaming-engine \
    --additional-experiments=enable_eager_watermark_advancement

Reemplaza los siguientes valores:

  • JOB_NAME: el nombre de tu trabajo de Dataflow
  • TEMPLATE_LOCATION: Es la ruta de acceso de Cloud Storage al archivo de especificación de la plantilla de Flex.
  • REGION: Es la región en la que se ejecuta el trabajo.

Terraform

Establece additional_experiments en el recurso google_dataflow_flex_template_job o google_dataflow_job:

resource "google_dataflow_flex_template_job" "pipeline" {
  # ...
  enable_streaming_engine = true
  additional_experiments  = ["enable_eager_watermark_advancement"]
}

REST

Usa el campo additionalExperiments en el objeto RuntimeEnvironment o en el objeto FlexTemplateRuntimeEnvironment cuando inicies una plantilla de Flex:

{
  "additionalExperiments": ["enable_eager_watermark_advancement"]
}

Console

  1. En la consola de Google Cloud , ve a la página Trabajos de Dataflow.

    Ir a Trabajos

  2. Haz clic en Crear trabajo a partir de una plantilla.

  3. Selecciona una plantilla en el menú Plantilla de Dataflow.

  4. Expande Parámetros opcionales.

  5. En el campo Experimentos adicionales, ingresa enable_eager_watermark_advancement.

  6. Haga clic en Ejecutar trabajo.

Verifica que el avance de marca de agua inmediato esté habilitado

Cuando un trabajo se inicia o se actualiza con el avance de marca de agua inmediato habilitado, los registros del trabajo contienen el siguiente mensaje:

Eager watermark advancement is enabled for this job.

Cuando una actualización activa o desactiva el avance de la marca de agua ansiosa, los registros del trabajo contienen un mensaje como el siguiente:

Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true

También puedes consultar la sección Opciones de canalización del panel Información del trabajo. La opción enable_eager_watermark_advancement aparece en la fila dataflowServiceOptions o en la fila experiments si la configuras como un experimento.

Inhabilita el avance de la marca de agua ansiosa

No puedes inhabilitar el avance de marca de agua diligente en un trabajo que se está ejecutando de forma activa. Para inhabilitar la función en una canalización existente, inicia un trabajo de reemplazo con la opción de canalización --update y omite enable_eager_watermark_advancement de las opciones de reemplazo. Para obtener más información, consulta Actualiza una canalización de transmisión. Debido a que la marca de agua nunca retrocede, la marca de agua del trabajo de reemplazo continúa desde la marca de agua del trabajo anterior y reanuda el comportamiento de avance predeterminado.

Supervisa el avance de la marca de agua ansiosa

En el caso de los trabajos que tienen habilitado el avance de marca de agua inmediato, Dataflow informa las siguientes métricas por etapa a Cloud Monitoring. Usa estas métricas junto con la métrica estándar de dataflow.googleapis.com/job/per_stage_data_watermark_age (actualidad de los datos) para evaluar los datos retrasados y la latencia de la marca de agua:

  • dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: es la edad de la marca de agua de los datos de la etapa si se inhabilitara el avance de la marca de agua ansiosa. La diferencia entre esta métrica y per_stage_data_watermark_age es la latencia de la marca de agua que quita el avance de la marca de agua ansioso.
  • dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: Es la antigüedad del elemento pendiente más antiguo en la etapa o antes de ella, incluidos los registros retrasados. En el caso de las canalizaciones con agregaciones basadas en ventanas, la diferencia entre esta métrica y per_stage_data_watermark_age se aproxima a la distancia entre el registro retrasado más antiguo y la marca de agua. Si esa diferencia se acerca a la demora permitida, los registros retrasados corren el riesgo de descartarse. Para verificar si se descartaron registros tardíos, consulta el contador droppedDueToLateness en Contadores personalizados en la consola deGoogle Cloud (consulta Antes de comenzar).

Ambas métricas se informan en segundos y, además, incluyen una etiqueta stage. Para obtener más información, consulta Usa Monitoring.

¿Qué sigue?