פרטי ההרצה

בדף הזה נסביר איך להשתמש בכרטיסייה פרטי ההפעלה בממשק המעקב של Dataflow.

סקירה כללית

כשמריצים עבודה ב-Dataflow, המערכת ממירה את השלבים של צינור הנתונים לשלבים. כל שלב מייצג טרנספורמציה נפרדת, אבל כל שלב מייצג יחידת עבודה אחת שמבוצעת על ידי Dataflow. כדי לבצע אופטימיזציה של צינור הנתונים, יכול להיות ש-Dataflow ימזג כמה שלבים לשלב אחד.

בכרטיסייה פרטי ההפעלה בממשק המעקב של Dataflow מוצג מידע על השלבים של משימה. אתם יכולים להשתמש בכרטיסייה פרטי ההפעלה כדי לפתור בעיות בביצועים, כמו:

  • שלבים איטיים שגורמים לצווארי בקבוק בביצועים
  • שלבים תקועים שלא מתקדמים
  • מכונות וירטואליות של Worker שפועלות לאט יותר ממכונות Worker אחרות

הצגת פרטי ההרצה

כדי לראות את פרטי ההפעלה של משימה:

  1. במסוף Google Cloud , נכנסים לדף Dataflow‏ > Jobs.

    מעבר לדף Jobs

  2. בוחרים משרה.

  3. לוחצים על הכרטיסייה פרטי ההפעלה.

  4. בוחרים באחד מהתצוגות הבאות:

    • התקדמות בשלב
    • תהליך עבודה של שלב
    • התקדמות העובד (משימות באצווה בלבד)

בקטעים הבאים מתוארים כל אחד מהתצוגות האלה.

תצוגת התקדמות בשלב

בתצוגה התקדמות השלב אפשר לראות את ההתקדמות הכוללת של העבודה ולהשוות את ההתקדמות היחסית בין השלבים. הפריסה של התצוגה התקדמות השלב שונה בין משימות של עיבוד נתונים באצווה לבין משימות של עיבוד נתונים בסטרימינג.

התקדמות בשלב של משימות באצווה

במשימות אצווה, התצוגה התקדמות השלב מציגה את שלבי המשימה לפי סדר זמני ההתחלה שלהם. בכל שלב מוצגים הרכיבים הבאים:

  • פס שמציג את שעת העצירה ושעת הסיום.
  • תרשים קו שמציג את ההתקדמות של השלב לאורך זמן כאחוז מסך העבודה של השלב.
  • הזמן הכולל שהוקדש לשלב.

דוגמה לתצוגת ההתקדמות של שלב במשימה באצווה.

כדי לסנן את השלבים שמוצגים, לוחצים על סינון שלבים. כדי לראות את הנתיב הקריטי, מעבירים את המתג נתיב קריטי למצב מופעל. הנתיב הקריטי הוא רצף השלבים שתורמים לזמן הריצה הכולל של המשימה. לדוגמה, הוא לא כולל ענפים שהסתיימו לפני העבודה הכוללת, וקלט שלא עיכב את העיבוד בהמשך.

בחלונית פרטי השלב מוצג מידע מפורט יותר על שלב מסוים. כדי לראות את הפרטים של שלב מסוים, לוחצים על סרגל ההתקדמות של השלב הזה. בחלונית Stage Info מוצג המידע הבא על שלב:

  • סטטוס
  • התקדמות באחוזים
  • שעת התחלה ושעת סיום
  • השלבים בצינור שכלולים בשלב הזה
  • השלבים הכי איטיים לפי זמן בפועל
  • פרטים על משתתפים שלא נכנסו בזמן

אם החלונית לא מוצגת, לוחצים על החלפת החלונית 'מידע על הבמה'.

התקדמות בשלב של משרות סטרימינג

במשימות סטרימינג, בתצוגה התקדמות השלב יש שתי תצוגות חזותיות של עדכניות הנתונים. עדכניות הנתונים היא ההפרש בין חותמת הזמן של רכיב נתונים לבין הזמן שבו הרכיב עובר עיבוד. ערכים גבוהים יותר מציינים שמשך הזמן שלוקח לצינור לעבד את נתוני הקלט ארוך יותר.

בתצוגה החזותית הראשונה מוצגת עדכניות הנתונים בכל שלב כתרשים קו. כדי לראות את עדכניות הנתונים בנקודת זמן ספציפית, מעבירים את הסמן מעל התרשים. כדי לבחור את טווח הזמן, משתמשים בכלי לבחירת זמן או לוחצים על הגרף וגוררים כדי לבחור את הטווח. כדי לסנן את השלבים שמוצגים, לוחצים על סינון שלבים.

התרשים מדגיש גם חריגות בנתונים:

  • הנתונים לא עדכניים: עדכניות הנתונים חורגת מהאחוזון ה-95 של חלון הזמן שנבחר.
  • פוטנציאל לנתונים תקועים: עדכניות הנתונים גבוהה מהאחוזון ה-99 של חלון הזמן שנבחר.

באיור השני מוצגים השלבים כסדרה של עמודות. השלבים מסודרים בסדר טופולוגי. השלבים ללא צאצאים מוצגים ראשונים, ואחריהם הצאצאים שלהם. האורך של הפסים מייצג את עדכניות הנתונים. כדי לראות את ערכי רעננות הנתונים בנקודה מסוימת, לוחצים על הגרף. הנתונים בעמודות מתעדכנים כדי להציג את עדכניות הנתונים בזמן שנבחר.

בתמונה הבאה מוצגת משימה עם ארבעה שלבים. בחותמת הזמן שנבחרה, עדכניות הנתונים היא בין 9 ל-13 שניות.

תצוגת ההתקדמות של שלב במשימת סטרימינג, שבה אפשר לראות את עדכניות הנתונים בין 8 ל-13 שניות.

בתמונה הבאה מוצגת אותה משימה עם חותמת זמן אחרת שנבחרה. בשלב הזה, עדכניות הנתונים בכל השלבים היא יותר מ-4 דקות, מה שמצביע על כך שצינור העיבוד תקוע.

תצוגת ההתקדמות של שלב בעבודת סטרימינג, שבה עדכניות הנתונים היא יותר מ-4 דקות.

בחלונית פרטי השלב מוצג מידע מפורט יותר על שלב מסוים. כדי לראות את הפרטים של שלב מסוים, לוחצים על סרגל ההתקדמות של השלב הזה. בחלונית Stage Info מוצג המידע הבא על שלב:

אם החלונית לא מוצגת, לוחצים על החלפת החלונית 'מידע על הבמה'.

תהליך עבודה של שלב

בתצוגה Stage workflow מוצגים שלבי המשרה כתרשים של זרימת עבודה. כדי לראות את הפרטים של שלב מסוים, לוחצים על התיבה של השלב הזה.

תצוגת תהליך העבודה של שלב, שבה מוצגת ההיררכיה של שלבי הביצוע של משימה.

לגבי משימות אצווה, לוחצים על נתיב קריטי כדי לראות רק את השלבים שתורמים ישירות לזמן הריצה הכולל של המשימה.

התקדמות העובדים

במשימות אצווה, בתצוגה Worker progress מוצגים העובדים בשלב מסוים. התצוגה הזו לא זמינה לעבודות סטרימינג. כדי לגשת לתצוגה הזו, בוחרים באפשרות Worker progress (התקדמות העובד) ובוחרים את השלב באפשרות Filter workers by stage (סינון העובדים לפי שלב). אפשר גם להפעיל את התצוגה הזו מהתצוגה התקדמות השלב באופן הבא:

  1. בתצוגה התקדמות בשלב, מזהים את השלב שרוצים לראות.
  2. מזיזים את העכבר מעל לעמודה של השלב.
  3. בכרטיס שלב, לוחצים על הצגת העובדים. התצוגה Worker progress (התקדמות העובד) מוצגת עם השלב שנבחר מראש.

כל עמודה מתייחסת לפריט עבודה שנקבע לו מועד לביצוע על ידי עובד. לכל עובד מוקצה תרשים קו קטן למעקב אחרי ניצול המעבד, כדי שיהיה קל לזהות בעיות של ניצול חלקי.

תצוגת ההתקדמות של העובד. לעובדים יש עמודות וגרפים קטנים שמתאימים לתזמון של פריטי עבודה ולניצול המעבד.

המאמרים הבאים