Dans un pipeline de streaming Dataflow, les enregistrements retardés ou désordonnés peuvent bloquer le filigrane de votre pipeline. Ces types d'enregistrements résultent d'instances où des écarts de temps se produisent, tels que des événements provenant d'appareils hors connexion ou de clients présentant un décalage d'horloge. Un filigrane bloqué retarde vos résultats fenêtrés ponctuels et vos minuteurs basés sur l'heure d'événement, et peut entraîner des pics soudains d'utilisation des nœuds de calcul lorsque les données retardées sont enfin effacées.
Vous pouvez empêcher les enregistrements retardés de bloquer votre pipeline en activant l'avancement anticipé du filigrane pour vos jobs Streaming Engine. Lorsque vous activez cette fonctionnalité, Dataflow continue de traiter les enregistrements retardés, mais ceux-ci ne bloquent pas le filigrane, ce qui permet à vos fenêtres et à vos minuteurs de s'exécuter comme prévu.
L'activation de l'avancement hâtif du filigrane vous permet d'effectuer les opérations suivantes :
- Latence prévisible : générez des agrégations fenêtrées à temps et exécutez des minuteurs d'heure d'événement selon un calendrier sans attendre que les enregistrements retardés aient fini d'être traités.
- Utilisation plus fluide des nœuds de calcul : fermez les fenêtres et exécutez les minuteurs de manière constante, car les données ponctuelles font avancer le filigrane, ce qui évite les pics d'utilisation des nœuds de calcul dus à la fermeture simultanée des fenêtres en attente.
Présentation
Dans un pipeline de streaming, le filigrane est un seuil indiquant que Dataflow a suivi le traitement des données jusqu'à ce point. Les agrégations fenêtrées génèrent des résultats ponctuels, et les minuteurs selon l'heure de l'événement ne s'exécutent qu'une fois que le filigrane dépasse la fin de la fenêtre ou le code temporel du minuteur.
Par défaut, le filigrane est basé sur la valeur minimale du code temporel de l'événement non traité et ne recule jamais. Lorsqu'un enregistrement arrive avec un horodatage d'événement antérieur au filigrane actuel, le filigrane s'arrête jusqu'à ce que le traitement de cet enregistrement soit terminé. Étant donné que les filigranes en aval ne peuvent pas dépasser les filigranes en amont, un filigrane en amont bloqué bloque toutes les étapes qui le suivent. Lorsqu'un enregistrement retardé passe par votre pipeline, le filigrane de chaque étape reste bloqué jusqu'à ce que l'enregistrement ait fini d'être traité à cette étape. Même lorsque votre pipeline est sain, cette cascade retarde les résultats fenêtrés et les minuteurs d'horodatage des événements pour les données ponctuelles à toutes les étapes en aval. Lorsque les enregistrements retardés sont enfin effacés, les filigranes avancent rapidement, ce qui déclenche souvent une série de fermetures de fenêtres qui augmente l'utilisation des nœuds de calcul.
L'avancement hâtif du filigrane modifie ce comportement pour les jobs Streaming Engine en dissociant les enregistrements retardés de la progression du filigrane. Lorsqu'un enregistrement arrive avec un code temporel d'événement antérieur au filigrane actuel, Dataflow traite l'enregistrement sans retenir le filigrane de l'étape. Le filigrane continue de progresser en fonction de vos données ponctuelles, tandis que les enregistrements retardés sont traités et générés conformément à la configuration de retard autorisé de votre pipeline.
Quand utiliser l'avancement hâtif du filigrane ?
L'avancement hâtif du filigrane est efficace dans les scénarios suivants, où la progression du filigrane est bloquée par des enregistrements qui arrivent après le filigrane actuel :
- Pics de données retardées : scénarios dans lesquels des appareils mobiles, des capteurs IoT ou des équipements réseau sont hors connexion pendant des heures ou des jours, mettent en mémoire tampon les événements localement et génèrent un pic de données historiques lors de la reconnexion.
- Heures d'événements désordonnées dans Pub/Sub : sujets Pub/Sub dans lesquels les messages arrivent avec des codes temporels d'événement plus anciens que le filigrane source, ou sujets peu peuplés dans lesquels le filigrane d'un abonnement inactif avance jusqu'à l'heure réelle entre les messages.
- Récupération de partition Kafka : sources Kafka configurées avec l'heure de l'événement ou
CreateTime, où le filigrane d'une partition avance pendant que la partition est inactive, puis la partition reçoit un backlog d'enregistrements plus anciens. - Codes temporels passés personnalisés : transformations utilisateur qui génèrent des enregistrements avec des codes temporels historiques à l'aide de
outputWithTimestamp.
Données tardives avec agrégations fenêtrées
Sans l'avancement hâtif du filigrane, un filigrane bloqué maintient les fenêtres ouvertes. Si le filigrane reste bloqué suffisamment longtemps, les enregistrements retardés qui arrivent plus tard peuvent être comptabilisés comme étant à l'heure, ce qui offre une protection involontaire contre les données tardives. Avec l'avancement hâtif du filigrane, les enregistrements tardifs ne bloquent plus le filigrane. Par conséquent, davantage d'enregistrements sont correctement classés comme tardifs. Les enregistrements tardifs dans la limite du retard autorisé sont générés dans des volets tardifs, et les enregistrements tardifs après cette limite sont exclus des résultats de la fenêtre.
Cas où l'avancement hâtif du filigrane ne s'applique pas
L'avancement hâtif du filigrane ne résout pas le retard du filigrane causé par le traitement lent des données ponctuelles. Si les transformations prennent beaucoup de temps pour traiter les enregistrements ponctuels en raison d'opérations de calcul lourdes, de RPC externes lents ou de goulots d'étranglement au niveau du processeur et de la mémoire des nœuds de calcul, le filigrane est retenu par ces éléments lents. L'avancement hâtif du filigrane ne dissocie que les données qui se trouvent déjà derrière le filigrane. Il n'accélère pas le traitement ponctuel lent.
Compatibilité et limites
Toutes les versions du SDK Apache Beam qui s'exécutent sur Streaming Engine (Java, Python et Go) sont compatibles avec l'avancement hâtif du filigrane. Aucune mise à niveau du SDK n'est requise.
L'avancement hâtif du filigrane est soumis aux exigences et limites suivantes :
- Streaming Engine requis : le pipeline doit utiliser Streaming Engine.
- Jobs de streaming uniquement : vous ne pouvez activer l'avancement hâtif du filigrane que pour les pipelines de streaming.
- Retard autorisé : pour gérer les enregistrements tardifs dans les agrégations fenêtrées ou le traitement avec état, définissez le retard autorisé de manière à couvrir les retards attendus avant d'activer l'avancement hâtif du filigrane. Les enregistrements dont le retard dépasse la limite autorisée sont supprimés. Pour en savoir plus, consultez Données tardives.
- Sources limitées : si toutes les sources d'un job de traitement de flux sont limitées, le job ne se termine pas de lui-même lorsque l'entrée se termine. Pour arrêter le job, drainez-le.
- Jobs nouveaux ou de remplacement uniquement : vous ne pouvez pas modifier l'avancement hâtif du filigrane sur un job en cours d'exécution. Pour activer ou désactiver la fonctionnalité pour un pipeline existant, vous devez déployer un job de remplacement à l'aide de l'option de mise à jour du pipeline.
Avant de commencer
Avant d'activer l'avancement hâtif du filigrane, procédez comme suit :
- Configurez le retard autorisé pour couvrir les retards attendus.
- Vérifiez que le déclencheur, le mode d'accumulation et la gestion des
PaneInfode votre pipeline fonctionnent avec les volets tardifs.
Après avoir activé l'avancement hâtif du filigrane, surveillez le compteur droppedDueToLateness sous Compteurs personnalisés dans le panneau Informations sur le job de la console Google Cloud pour vérifier que les données tardives supprimées restent à un taux acceptable pour votre cas d'utilisation.
Activer l'avancement hâtif du filigrane
Pour activer l'avancement hâtif du filigrane, définissez l'option de service enable_eager_watermark_advancement lorsque vous lancez un pipeline :
Java
--dataflowServiceOptions=enable_eager_watermark_advancement
Python
--dataflow_service_options=enable_eager_watermark_advancement
Go
--dataflow_service_options=enable_eager_watermark_advancement
gcloud
Lorsque vous exécutez un modèle à l'aide de la commande gcloud dataflow jobs run ou un modèle Flex à l'aide de la commande gcloud dataflow flex-template run, incluez les options --enable-streaming-engine et --additional-experiments :
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_LOCATION \
--region=REGION \
--enable-streaming-engine \
--additional-experiments=enable_eager_watermark_advancement
Remplacez les valeurs suivantes :
JOB_NAME: nom de votre job DataflowTEMPLATE_LOCATION: chemin d'accès Cloud Storage au fichier de spécification de votre modèle FlexREGION: région dans laquelle le job est exécuté
Terraform
Définissez additional_experiments sur la ressource google_dataflow_flex_template_job ou google_dataflow_job :
resource "google_dataflow_flex_template_job" "pipeline" {
# ...
enable_streaming_engine = true
additional_experiments = ["enable_eager_watermark_advancement"]
}
REST
Utilisez le champ additionalExperiments dans l'objet RuntimeEnvironment ou dans l'objet FlexTemplateRuntimeEnvironment lors du lancement d'un modèle Flex :
{
"additionalExperiments": ["enable_eager_watermark_advancement"]
}
Console
Dans la console Google Cloud , accédez à la page Jobs de Dataflow.
Cliquez sur Create job from template (Créer une tâche à partir d'un modèle).
Sélectionnez un modèle dans le menu Modèle Dataflow.
Développez la section Paramètres facultatifs.
Dans le champ Tests supplémentaires, saisissez
enable_eager_watermark_advancement.Cliquez sur Run Job (Exécuter la tâche).
Vérifier que l'avancement hâtif du filigrane est activé
Lorsqu'un job démarre ou est mis à jour avec l'avancement hâtif du filigrane activé, les journaux du job contiennent le message suivant :
Eager watermark advancement is enabled for this job.
Lorsqu'une mise à jour active ou désactive l'avancement hâtif du filigrane, les journaux de job contiennent un message semblable à celui-ci :
Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true
Vous pouvez également consulter la section Options de pipeline du panneau Informations sur le job.
L'option enable_eager_watermark_advancement s'affiche sur la ligne dataflowServiceOptions ou sur la ligne experiments si vous l'avez définie en tant que test.
Désactiver l'avancement hâtif du filigrane
Vous ne pouvez pas désactiver l'avancement hâtif du filigrane sur un job en cours d'exécution. Pour désactiver la fonctionnalité pour un pipeline existant, lancez un job de remplacement à l'aide de l'option de pipeline --update et omettez enable_eager_watermark_advancement des options de remplacement. Pour en savoir plus, consultez Mettre à jour un pipeline de streaming.
Comme le filigrane ne recule jamais, le filigrane du job de remplacement continue à partir du filigrane du job précédent et reprend le comportement d'avancement par défaut.
Surveiller l'avancement hâtif du filigrane
Pour les jobs pour lesquels l'avancement hâtif du filigrane est activé, Dataflow transmet les métriques par étape suivantes à Cloud Monitoring. Utilisez ces métriques avec la métrique standard dataflow.googleapis.com/job/per_stage_data_watermark_age (fraîcheur des données) pour évaluer les données retardées et la latence du filigrane :
dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: âge du filigrane de données de l'étape si l'avancement hâtif du filigrane était désactivé. La différence entre cette métrique etper_stage_data_watermark_agecorrespond à la latence du filigrane que l'avancement hâtif du filigrane supprime.dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: âge de l'élément en attente le plus ancien au niveau de l'étape ou en amont de celle-ci, y compris les enregistrements retardés. Pour les pipelines avec des agrégations fenêtrées, la différence entre cette métrique etper_stage_data_watermark_ageindique approximativement le retard de l'enregistrement retardé le plus ancien par rapport au filigrane. Si cette différence se rapproche de votre retard autorisé, les enregistrements retardés risquent d'être supprimés. Pour vérifier si des enregistrements tardifs ont été supprimés, vérifiez le compteurdroppedDueToLatenesssous Compteurs personnalisés dans la consoleGoogle Cloud (voir Avant de commencer).
Ces deux métriques sont exprimées en secondes et incluent un libellé stage. Pour en savoir plus, consultez Utiliser Monitoring.
Étapes suivantes
- En savoir plus sur les filigranes et les données en retard
- Découvrez comment mettre à jour un pipeline de streaming.
- Résolvez les problèmes liés aux jobs de traitement de flux lents ou bloqués.