שימוש ב-Cloud Monitoring לצינורות עיבוד נתונים של Dataflow

‫Cloud Monitoring מספק רישום חזק ביומן וניתוח ביצועים. השילוב של Dataflow עם Monitoring מאפשר לכם לגשת למדדים של משימות Dataflow, כמו סטטוס המשימה, מספר הרכיבים, השהיית המערכת (במשימות סטרימינג) ומונים של משתמשים, מלוחות הבקרה של Monitoring. אפשר גם להשתמש בהתראות של Monitoring כדי לקבל הודעות על תנאים שונים, כמו השהיה ארוכה במערכת הסטרימינג או משימות שנכשלו.

לפני שמתחילים

כדי להגדיר את פרויקט Dataflow, פועלים לפי המדריך ל-Java, המדריך ל-Python או המדריך ל-Go. לאחר מכן, בונה ומריץ את צינור עיבוד הנתונים.

הערה: אם היקף המדדים מוגדר עם גבולות גזרה לשירות VPC Service Controls עבור Monitoring API, חלק מהמדדים לא זמינים לעובדי Compute Engine של צינור עיבוד הנתונים מחוץ לגבולות הגזרה. מידע נוסף על גבולות גזרה לשירות זמין במאמר הגדרת גבולות גזרה לשירות ב-VPC Service Controls.

כדי לראות יומנים ב-Metrics Explorer, לחשבון השירות של העובד חייב להיות roles/monitoring.metricWriter התפקיד.

מדדים מותאמים אישית

כל מדד שמגדירים בצינור Apache Beam מדווח על ידי Dataflow ל-Monitoring כמדד מותאם אישית. ל-Apache Beam יש שלושה סוגים של מדדי צינורות: Counter,‏ Distribution ו-Gauge.

• מדדי Counter ו-Distribution של Dataflow אל Monitoring.
• המדד Distribution מדווח כמדד משנה עם ארבע סיומות: _MAX,‏ _MIN,‏ _MEAN ו-_COUNT.
• ב-Dataflow אין תמיכה ביצירת היסטוגרמה ממדדים של Distribution.
• דוחות של Dataflow מעדכנים את המעקב כל 30 שניות בערך.
• כדי למנוע התנגשויות, כל המדדים המותאמים אישית של Dataflow מיוצאים כסוג נתונים double.

• כדי לפשט את התהליך, כל המדדים המותאמים אישית של Dataflow מיוצאים כGAUGE סוג מדד. אפשר לעקוב אחרי הדלתא בחלון זמן עבור מדד GAUGE, כמו בדוגמה הבאה של Prometheus Query Language ‏ (PromQL):

  sum by (ptransform, metric_name) (
     delta({
        "__name__"="dataflow.googleapis.com/job/user_counter",
        "monitored_resource"="dataflow_job",
        "job_id"="[JobID]"
     }[${__interval}])
  )
  

• המדדים המותאמים אישית של Dataflow מופיעים ב-Monitoring כ-dataflow.googleapis.com/job/user_counter עם התוויות metric_name: metric-name ו-ptransform: ptransform-name.

• לצורך תאימות לאחור, Dataflow מדווח גם על מדדים מותאמים אישית ל-Monitoring בתור custom.googleapis.com/dataflow/metric-name.

• המדדים המותאמים אישית של Dataflow כפופים למגבלת הקרדינליות ב-Monitoring.

• בכל פרויקט יש מגבלה של 100 מדדים מותאמים אישית של Dataflow. המדדים האלה מתפרסמים כ-custom.googleapis.com/dataflow/metric-name.

החיוב על מדדים מותאמים אישית שמדווחים ל-Monitoring מבוסס על התמחור של Cloud Monitoring.

שימוש ב-Metrics Explorer

אפשר להשתמש ב-Monitoring כדי לנתח מדדים של Dataflow. כדי לראות את המדדים הרגילים שמוצגים לכל אחד מצינורות Apache Beam, פועלים לפי השלבים שמפורטים בקטע הזה. מידע נוסף על שימוש ב-Metrics Explorer זמין במאמר יצירת תרשימים באמצעות Metrics Explorer.

1. במסוף Google Cloud , בוחרים באפשרות Monitoring:

   מעקב

2. בחלונית הניווט, בוחרים באפשרות כלי לבחירת מדדים.

3. בחלונית Select a metric (בחירת מדד), כותבים Dataflow Job במסנן.

4. מהרשימה שמופיעה, בוחרים מדד למעקב עבור אחת מהמשימות.

   מידע נוסף על המדדים שקשורים ל-Dataflow

   • סטטוס המשימה: צריך לספק את סטטוס המשימה (נכשל, הצליח) כסוג enum כל 30 שניות ובעדכון. הערה: יכול להיות שהערכים של enum לא יוצגו בתרשים או ישמשו להתראות, אבל אפשר לאחזר את הערך הזה באמצעות ממשק האינטרנט של Cloud Monitoring. להתראות, משתמשים במדד Failed (נכשל) שמוגדר ל-1 אם משימה נכשלת.
   • נכשל: הערך 1 מוגדר אם משימה מסתיימת עם כשל. אפשר להשתמש במדד הזה כדי להגדיר התראות על מספר צינורות העיבוד שנכשלו ולשרטט את המספר הזה.
   • זמן שחלף: הזמן שחלף מאז תחילת העבודה (בשניות), שמתעדכן כל 30 שניות.
   • השהיית המערכת: ההשהיה המקסימלית בכל הצינור, שמדווחת בשניות.
   • Current vCPU count: מספר יחידות ה-vCPU הנוכחיות שנעשה בהן שימוש בעבודה, והוא מתעדכן כשערך משתנה.
   • ‫Total vCPU usage: המספר הכולל של מעבדים וירטואליים שנעשה בהם שימוש על ידי משימה, והערך מתעדכן כשמתבצע שינוי.
   • ‫Total Persistent Disk usage: סה"כ מצטבר של דיסק אחסון מתמיד שהיה בשימוש על ידי העבודה, נמדד ב-GB-שניות ומתעדכן כשערך משתנה. הערה: יש שני סוגים שונים של דיסק אחסון מתמיד (persistent disk) (SSD ו-HDD). שני המדדים מדווחים באמצעות אותו שם מדד, וההבדל ביניהם הוא בתווית המדד.
   • סך השימוש בזיכרון: סך הזיכרון המצטבר שהוקצה לעבודה, שנמדד בשניות GB ומעודכן כשערך משתנה.
   • מספר הרכיבים: מספר הרכיבים לכל PCollection. הערה: המדד הזה הוא ברמת PCollection, ולא ברמת העבודה, ולכן הוא עדיין לא זמין להתראות.
   • ‫Estimated byte count: מספר הבייטים שעברו עיבוד לכל PCollection. הערה: המדד הזה הוא לכל PCollection, ולא ברמת העבודה, ולכן הוא עדיין לא זמין להתראות.

כשמריצים משימות Dataflow, כדאי גם לעקוב אחרי מדדים של מקורות ויעדים. לדוגמה, יכול להיות שתרצו לעקוב אחרי מדדים של BigQuery Storage API. מידע נוסף זמין במאמרים בנושא יצירת לוחות בקרה, תרשימים והתראות ורשימה מלאה של מדדים משירות העברת הנתונים ל-BigQuery.

יצירת כללי מדיניות התראות ומרכזי בקרה

באמצעות Monitoring אפשר לגשת למדדים שקשורים ל-Dataflow. ליצור לוחות בקרה כדי לשרטט את סדרת הזמן של המדדים, וליצור כללי מדיניות התראות שיודיעו לכם כשהמדדים יגיעו לערכים שצוינו.

יצירת קבוצות של משאבים

כדי להקל על הגדרת התראות ויצירת לוחות בקרה, כדאי ליצור קבוצות משאבים שכוללות כמה צינורות עיבוד נתונים של Apache Beam.

1. במסוף Google Cloud , בוחרים באפשרות Monitoring:

   מעקב

2. בחלונית הניווט, בוחרים באפשרות קבוצות.

3. לוחצים על יצירת קבוצה.

4. מזינים שם לקבוצה.

5. מוסיפים קריטריוני סינון שמגדירים את משאבי Dataflow שנכללים בקבוצה. לדוגמה, אחד מקריטריוני הסינון יכול להיות קידומת השם של צינורות הנתונים.

6. אחרי שיוצרים את הקבוצה, אפשר לראות את המדדים הבסיסיים שקשורים למשאבים בקבוצה.

יצירת כללי מדיניות התראות למדדים של Dataflow

בעזרת Cloud Monitoring אפשר ליצור התראות ולקבל התראות כשמדד מסוים חוצה סף שצוין. לדוגמה, אפשר לקבל התראה כשהשהיית המערכת של צינור הנתונים של הסטרימינג עולה מעל ערך מוגדר מראש.

1. במסוף Google Cloud , בוחרים באפשרות Monitoring:

   מעקב

2. בחלונית הניווט, בוחרים באפשרות התראות.

3. לוחצים על יצירת מדיניות.

4. בדף Create new alerting policy (יצירת מדיניות התראות חדשה), מגדירים את תנאי ההתראה ואת ערוצי ההתראות.
   לדוגמה, כדי להגדיר התראה על השהיית המערכת לקבוצת צינורות Apache Beam, פועלים לפי השלבים הבאים:WindowedWordCount

   1. לוחצים על בחירת מדד.
   2. בשדה Select a metric (בחירת מדד), מזינים Dataflow Job.
   3. בקטע קטגוריות מדדים, בוחרים באפשרות משרה.
   4. בקטע מדדים, בוחרים באפשרות השהיית המערכת.

   בכל פעם שהתראה מופעלת, נוצר אירוע ואירוע תואם. אם ציינתם מנגנון התראה, כמו אימייל או SMS, תקבלו גם התראה.

יצירת מרכזי בקרה מותאמים אישית למעקב

אתם יכולים ליצור לוחות בקרה של Monitoring עם התרשימים הרלוונטיים ביותר שקשורים ל-Dataflow. כדי להוסיף תרשים ללוח בקרה, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , בוחרים באפשרות Monitoring:

   מעקב

2. בחלונית הניווט, בוחרים באפשרות מרכזי בקרה.

3. לוחצים על יצירת מרכז בקרה.

4. לוחצים על הוספת ווידג'ט.

5. בחלון Add widget (הוספת ווידג'ט), בקטע Data (נתונים), בוחרים באפשרות Metric (מדד).

6. בחלונית Select a metric, בשדה Metric, מזינים Dataflow Job.

7. בוחרים קטגוריית מדדים ומדד.

אפשר להוסיף ללוח הבקרה כמה תרשימים שרוצים.

קבלת מדדים של worker VM מסוכן הניטור

אתם יכולים להשתמש ב-Monitoring כדי לעקוב אחרי מדדים של דיסקים לאחסון מתמיד, מעבד (CPU), רשת ועיבוד. כשמריצים את צינור הנתונים, צריך להפעיל את סוכן Monitoring ממכונות ה-VM של העובדים ב-Dataflow. כאן מפורטת רשימת המדדים הזמינים של סוכן Monitoring.

כדי להפעיל את סוכן הניטור, משתמשים באפשרות --experiments=enable_stackdriver_agent_metrics כשמריצים את צינור הנתונים. לחשבון השירות של העובד צריך להיות התפקיד roles/monitoring.metricWriter.

כדי להשבית את סוכן המעקב בלי להפסיק את צינור הנתונים, צריך להפעיל משימת החלפה בלי הפרמטר --experiments=enable_stackdriver_agent_metrics.

אחסון ושימור

מידע על משימות Dataflow שהושלמו או בוטלו נשמר למשך 30 יום.

יומנים תפעוליים מאוחסנים ב_Default קטגוריה ביומן. שם השירות של Logging API הוא dataflow.googleapis.com. מידע נוסף על סוגי המשאבים במעקב ועל השירותים של Google Cloud Platform שמשמשים ב-Cloud Logging זמין במאמר משאבים ושירותים במעקב.

לפרטים על משך הזמן לשמירת רשומות ביומן על ידי Logging, ראו את המידע על השמירה במאמר מכסות ומגבלות: תקופות שמירה של יומנים.

מידע על צפייה ביומנים תפעוליים מופיע במאמר מעקב אחרי יומנים של צינורות נתונים וצפייה בהם.

המאמרים הבאים

מידע נוסף זמין במקורות המידע הבאים:

• מסמכי תיעוד בנושא מעקב
• שימוש בממשק המעקב של Dataflow