שימוש בקידום סימן מים נלהב

בפייפליין זורם של Dataflow, רשומות שמתעכבות או לא מגיעות לפי הסדר יכולות לעכב את סימן המים של הפייפליין. רשומות מהסוג הזה נוצרות במקרים שבהם יש פערים בזמנים, כמו אירועים ממכשירים אופליין או מלקוחות עם סטייה בשעון. סימן מים תקוע מעכב את התוצאות של חלון הזמן ואת הטיימרים של זמן האירוע, ויכול לגרום לעליות פתאומיות בשימוש ב-worker כשהנתונים המעוכבים מתנקים בסופו של דבר.

כדי למנוע עיכובים בצינור עיבוד הנתונים בגלל רשומות שהתעכבו, אתם יכולים להפעיל קידום סימני מים מוקדם במשימות של Streaming Engine. כשמפעילים את התכונה הזו, Dataflow ממשיך לעבד רשומות שהתעכבו, אבל הרשומות האלה לא מעכבות את סימן המים, וכך החלונות והטיימרים יכולים לפעול לפי לוח הזמנים.

הפעלת קידום נלהב של סימן מים עוזרת לכם:

  • זמן אחזור צפוי: פלט של צבירות בחלונות בזמן, והפעלת טיימרים של זמן אירוע לפי לוח הזמנים, בלי לחכות לסיום העיבוד של רשומות שמתעכבות.
  • ניצול חלק יותר של משאבי ה-worker: סגירת חלונות והפעלת טיימרים באופן קבוע, ככל שנתונים בזמן אמת מקדמים את סימן המים, כדי למנוע עומסים בניצול משאבי ה-worker כתוצאה מסגירה בבת אחת של חלונות שהצטברו.

סקירה כללית

בפייפליין זורם, סימן המים הוא סף שמציין ש-Dataflow עקב אחרי הנתונים עד לנקודה הזו, ושהם עברו עיבוד. בצבירות מבוססות-חלון, התוצאות מתקבלות בזמן, והטיימרים של זמן האירוע פועלים רק אחרי שסימן המים עובר את סוף החלון או את חותמת הזמן של הטיימר.

כברירת מחדל, סימן המים מבוסס על חותמת הזמן המינימלית של אירוע שלא עבר עיבוד, והוא אף פעם לא זז אחורה. כשרשומה מגיעה עם חותמת זמן של אירוע לפני סימן המים הנוכחי, סימן המים נעצר עד שהרשומה מסיימת את העיבוד. סימני מים במורד הזרם לא יכולים להתקדם מעבר לסימני מים במעלה הזרם, ולכן סימן מים שנתקע במעלה הזרם תוקע כל שלב שאחריו. כשרשומה מעוכבת עוברת בצינור עיבוד הנתונים, סימן המים של כל שלב נשאר תקוע עד שהרשומה מסיימת את העיבוד באותו שלב. גם אם הצינור תקין, המפל הזה מעכב את התוצאות בחלונות ואת הטיימרים של זמן האירוע לנתונים בזמן בכל השלבים במורד הזרם. כשהרשומות שמתעכבות מתפנות, סימני המים קופצים קדימה במהירות, ולעיתים קרובות גורמים לסגירה של הרבה חלונות בבת אחת, מה שגורם לניצול גבוה של ה-worker.

התקדמות נלהבת של סימן המים משנה את ההתנהגות הזו במשימות של Streaming Engine, על ידי הפרדת הרשומות המושהות מההתקדמות של סימן המים. כשרשומה מגיעה עם חותמת זמן של אירוע שנמצאת מאחורי סימן המים הנוכחי, Dataflow מעבד את הרשומה בלי לעכב את סימן המים של השלב. סימן המים ממשיך להתקדם על סמך הנתונים שהגיעו בזמן, ורשומות שהתעכבו מעובדות ומופקות בהתאם להגדרת האיחור המותר של צינור עיבוד הנתונים.

מתי כדאי להשתמש בקידום סימן מים מוקדם

קידום סימן המים מראש יעיל בתרחישים הבאים, שבהם ההתקדמות של סימן המים נעצרת בגלל רשומות שמגיעות אחרי סימן המים הנוכחי:

  • פרצים של נתונים שהתעכבו: תרחישים שבהם מכשירים ניידים, חיישני IoT או ציוד רשת מתנתקים מהאינטרנט למשך שעות או ימים, מאחסנים אירועים במאגר נתונים זמני באופן מקומי, ופולטים פרץ של נתונים היסטוריים כשהם מתחברים מחדש.
  • זמני אירועים לא מסודרים ב-Pub/Sub: נושאים ב-Pub/Sub שבהם ההודעות מגיעות עם חותמות זמן של אירועים שקודמים לסימן המים של המקור, או נושאים עם מעט נתונים שבהם סימן המים של מינוי לא פעיל מתקדם לזמן השעון בין ההודעות.
  • שחזור מחיצה של Kafka: מקורות Kafka שמוגדרים עם זמן אירוע או עם CreateTime, שבהם סימן המים של המחיצה מתקדם בזמן שהמחיצה לא פעילה, ואז המחיצה מקבלת צבר של רשומות ישנות יותר.
  • חותמות זמן מותאמות אישית בעבר: טרנספורמציות של משתמשים שמוציאות רשומות עם חותמות זמן היסטוריות באמצעות outputWithTimestamp.

נתונים מאוחרים עם צבירות בחלונות זמן

בלי קידום נלהב של סימני מים, סימן מים תקוע משאיר את החלונות פתוחים. אם סימן המים נשאר תקוע מספיק זמן, רשומות שהגיעו באיחור יכולות להיחשב כאילו הגיעו בזמן, מה שמספק הגנה לא מכוונת מפני נתונים שהגיעו באיחור. כשמשתמשים בקידום סימן מים נלהב, רשומות מאוחרות לא מעכבות יותר את סימן המים, ולכן יותר רשומות מסווגות בצורה נכונה כמאוחרות. רשומות מאוחרות שנמצאות בטווח האיחור המותר מופיעות בחלוניות מאוחרות, ורשומות מאוחרות שנמצאות מחוץ לטווח האיחור המותר לא נכללות בתוצאות של החלון.

מתי לא חל קידום מוקדם של סימן המים

קידום נלהב של סימן מים לא פותר את הפיגור בסימן המים שנגרם כתוצאה מעיבוד איטי של נתונים בזמן. אם לוקח הרבה זמן לעבד רשומות בזמן בטרנספורמציות בגלל פעולות שדורשות הרבה משאבי מחשוב, קריאות RPC חיצוניות איטיות או צווארי בקבוק במעבד ובזיכרון של ה-worker, סימן המים מתעכב בגלל הרכיבים האיטיים האלה. קידום סימן מים נלהב מפריד רק נתונים שכבר נמצאים מאחורי סימן המים. הוא לא מאיץ עיבוד איטי בזמן אמת.

תמיכה ומגבלות

כל הגרסאות של Apache Beam SDK שפועלות ב-Streaming Engine (Java,‏ Python ו-Go) תומכות בקידום סימני מים מוקדמים. לא צריך לשדרג את ה-SDK.

לקידום סימן מים מוקדם יש את הדרישות והמגבלות הבאות:

  • נדרש Streaming Engine: הצינור חייב להשתמש ב-Streaming Engine.
  • משימות סטרימינג בלבד: אפשר להפעיל קידום סימן מים נלהב רק בפייפליינים זורמים.
  • איחור מותר: כדי לטפל ברשומות מאוחרות בצבירות בחלונות או בעיבוד עם שמירת מצב, הגדירו איחור מותר שיכסה את העיכובים הצפויים לפני שתפעילו את קידום סימן המים הנלהב. רשומות שמאחרות יותר מהמותר נמחקות. פרטים נוספים זמינים במאמר נתונים מאוחרים.
  • מקורות מוגבלים: אם כל המקורות במשימת סטרימינג מוגבלים, המשימה לא מסתיימת מעצמה כשהקלט מסתיים. כדי לעצור את המשימה, מרוקנים אותה.
  • משימות חדשות או חלופיות בלבד: אי אפשר לשנות את ההגדרה של קידום סימן המים הנלהב במשימה שפועלת באופן פעיל. כדי להפעיל או להשבית את התכונה בצינור עיבוד נתונים קיים, צריך לפרוס משימה חלופית באמצעות האפשרות עדכון צינור עיבוד הנתונים.

לפני שמתחילים

לפני שמפעילים את קידום סימן המים הנלהב, צריך לבצע את הפעולות הבאות:

  1. מגדירים איחור מותר כדי לכסות עיכובים צפויים.
  2. בודקים שהטריגר, מצב הצבירה והטיפול ב-PaneInfo של הצינור פועלים עם חלוניות מאוחרות.

אחרי שמפעילים את קידום סימן המים הנלהב, צריך לעקוב אחרי המונה droppedDueToLateness בקטע Custom counters בחלונית Job info במסוף Google Cloud , כדי לוודא ששיעור הנתונים המאוחרים שהושמטו נשאר קביל לתרחיש לדוגמה שלכם.

הפעלת קידום סימן מים מוקדם

כדי להפעיל קידום סימן מים מוקדם, מגדירים את אפשרות השירות enable_eager_watermark_advancement כשמפעילים צינור עיבוד נתונים:

Java

--dataflowServiceOptions=enable_eager_watermark_advancement

Python

--dataflow_service_options=enable_eager_watermark_advancement

המשך

--dataflow_service_options=enable_eager_watermark_advancement

gcloud

כשמריצים תבנית באמצעות הפקודה gcloud dataflow jobs run או תבנית Flex באמצעות הפקודה gcloud dataflow flex-template run, צריך לכלול את הדגלים --enable-streaming-engine ו---additional-experiments:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=TEMPLATE_LOCATION \
    --region=REGION \
    --enable-streaming-engine \
    --additional-experiments=enable_eager_watermark_advancement

מחליפים את הערכים הבאים:

  • ‫JOB_NAME: השם של משימת Dataflow
  • TEMPLATE_LOCATION: הנתיב ב-Cloud Storage לקובץ המפרט של תבנית Flex
  • ‫REGION: האזור שבו המשימה פועלת

Terraform

מגדירים את additional_experiments במשאב google_dataflow_flex_template_job או google_dataflow_job:

resource "google_dataflow_flex_template_job" "pipeline" {
  # ...
  enable_streaming_engine = true
  additional_experiments  = ["enable_eager_watermark_advancement"]
}

REST

משתמשים בשדה additionalExperiments באובייקט RuntimeEnvironment או באובייקט FlexTemplateRuntimeEnvironment כשמפעילים תבנית Flex:

{
  "additionalExperiments": ["enable_eager_watermark_advancement"]
}

המסוף

  1. נכנסים לדף Jobs של Dataflow במסוף Google Cloud .

    מעבר לדף Jobs

  2. לוחצים על Create job from template.

  3. בוחרים תבנית מהתפריט Dataflow template.

  4. מרחיבים את הקטע פרמטרים אופציונליים.

  5. בשדה Additional experiments, מזינים את הערך enable_eager_watermark_advancement.

  6. לוחצים על Run job.

איך מוודאים שהתכונה "קידום סימן מים נלהב" מופעלת

כשמשימה מתחילה או מתעדכנת עם קידום סימן מים נלהב, יומני המשימה מכילים את ההודעה הבאה:

Eager watermark advancement is enabled for this job.

כשהעדכון מפעיל או משבית את קידום סימן המים הנלהב, יומני המשימה מכילים הודעה כמו זו:

Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true

אפשר גם לבדוק את הקטע Pipeline options בחלונית Job info. האפשרות enable_eager_watermark_advancement מופיעה בשורה dataflowServiceOptions, או בשורה experiments אם הגדרתם אותה כניסוי.

השבתת קידום סימן מים מוקדם

אי אפשר להשבית את קידום סימן המים המוקדם במשימה שפועלת באופן פעיל. כדי להשבית את התכונה בצינור עיבוד נתונים קיים, מפעילים משימת החלפה באמצעות האפשרות --update של צינור עיבוד הנתונים ומשמיטים את enable_eager_watermark_advancement מאפשרויות ההחלפה. מידע נוסף זמין במאמר עדכון של פייפליין זורם. מכיוון שסימן המים אף פעם לא זז אחורה, סימן המים של משימת ההחלפה ממשיך מסימן המים של המשימה הקודמת וחוזר להתנהגות ברירת המחדל של ההתקדמות.

מעקב אחרי התקדמות סימן המים המוקדם

במשימות שבהן מופעל קידום סימני מים מוקדם, Dataflow מדווח ל-Cloud Monitoring על המדדים הבאים לכל שלב. כדי להעריך את הנתונים שמתעכבים ואת זמן האחזור של סימן המים, השתמשו במדדים האלה יחד עם המדד הרגיל dataflow.googleapis.com/job/per_stage_data_watermark_age (עדכניות הנתונים):

  • ‫dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: מה היה גיל סימן המים של נתוני השלב אם קידום סימן המים המוקדם היה מושבת. ההבדל בין המדד הזה לבין per_stage_data_watermark_age הוא זמן האחזור של סימן המים שמוסר על ידי קידום סימן מים מוקדם.
  • ‫dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: הגיל של הרכיב הכי ישן שממתין בשלב או לפניו, כולל רשומות שהתעכבו. בצינורות עיבוד נתונים עם צבירות בחלונות, ההפרש בין המדד הזה לבין per_stage_data_watermark_age הוא קירוב של המרחק בין הרשומה המושהית הישנה ביותר לבין סימן המים. אם ההפרש הזה מתקרב לזמן האיחור המותר, רשומות שמתעכבות עלולות להימחק. כדי לבדוק אם רשומות מאוחרות הושמטו, בודקים את המונה droppedDueToLateness בקטע Custom counters במסוףGoogle Cloud (ראו לפני שמתחילים).

שני המדדים מדווחים בשניות וכוללים תווית stage. מידע נוסף מופיע במאמר שימוש ב-Monitoring.

המאמרים הבאים