פרטי ההרצה

בדף הזה נסביר איך משתמשים בכרטיסייה פרטי ההפעלה בממשק המעקב של Dataflow.

סקירה כללית

כשמריצים עבודה ב-Dataflow, המערכת ממירה את השלבים של צינור הנתונים לשלבים. כל שלב מייצג טרנספורמציה נפרדת, אבל כל שלב מייצג יחידת עבודה אחת שמבוצעת על ידי Dataflow. כדי לבצע אופטימיזציה של צינור הנתונים, יכול להיות ש-Dataflow ימזג כמה שלבים לשלב אחד.

בכרטיסייה פרטי ההפעלה בממשק המעקב של Dataflow מוצג מידע על השלבים של משימה. אתם יכולים להשתמש בכרטיסייה פרטי ההפעלה כדי לפתור בעיות בביצועים, כמו:

• שלבים איטיים שגורמים לצווארי בקבוק בביצועים
• שלבים תקועים שלא מתקדמים
• מכונות וירטואליות של Worker שפועלות לאט יותר ממכונות Worker אחרות

הצגת פרטי ההרצה

כדי לראות את פרטי ההפעלה של משימה:

1. במסוף Google Cloud , נכנסים לדף Dataflow‏ > Jobs.

   מעבר לדף Jobs

2. בוחרים משרה.

3. לוחצים על הכרטיסייה פרטי ההפעלה.

4. בוחרים באחד מהתצוגות הבאות:

   • התקדמות בשלב
   • תהליך עבודה של שלבים
   • התקדמות העובד (משימות באצווה בלבד)

בקטעים הבאים מתוארים כל אחד מהתצוגות האלה.

תצוגת התקדמות בשלב

בתצוגה התקדמות בשלב אפשר לראות את ההתקדמות הכוללת של העבודה ולהשוות את ההתקדמות היחסית בין השלבים. הפריסה של התצוגה התקדמות השלב שונה בין משימות של עיבוד נתונים באצווה לבין משימות של עיבוד נתונים בסטרימינג.

התקדמות השלב במשימות באצווה

במשימות אצווה, בתצוגה התקדמות השלב מוצגים שלבי המשימה לפי סדר זמני ההתחלה שלהם. בכל שלב מוצגים הרכיבים הבאים:

• פס שמציג את שעת ההתחלה ושעת הסיום.
• תרשים קו שמציג את ההתקדמות של השלב לאורך זמן כאחוז מתוך סך העבודה של השלב.
• הזמן הכולל שהוקדש לשלב.

כדי לסנן את השלבים שמוצגים, לוחצים על סינון שלבים. כדי לראות את הנתיב הקריטי, מעבירים את המתג נתיב קריטי למצב מופעל. הנתיב הקריטי הוא רצף השלבים שתורמים לזמן הריצה הכולל של המשימה. לדוגמה, הוא לא כולל ענפים שהסתיימו לפני העבודה הכוללת, וקלט שלא עיכב את העיבוד בהמשך.

בחלונית פרטי השלב מוצג מידע מפורט יותר על שלב מסוים. כדי לראות את הפרטים של שלב מסוים, לוחצים על סרגל ההתקדמות של השלב הזה. בחלונית פרטי השלב מוצג המידע הבא על שלב:

• סטטוס
• התקדמות באחוזים
• שעת התחלה ושעת סיום
• שלבי הצינור שהשלב הזה כולל
• השלבים הכי איטיים לפי זמן בפועל
• פרטים על משתתפים שלא נכנסו לשיחה

אם החלונית לא מוצגת, לוחצים על Toggle panel "Stage info".

התקדמות השלב במשימות סטרימינג

במשימות סטרימינג, בתצוגה התקדמות השלב יש שתי תצוגות חזותיות של עדכניות הנתונים. עדכניות הנתונים היא ההפרש בין חותמת הזמן של רכיב נתונים לבין הזמן שבו הרכיב עובר עיבוד. ערכים גבוהים יותר מציינים שלוקח יותר זמן לצינור לעבד את נתוני הקלט.

בתצוגה החזותית הראשונה מוצגת עדכניות הנתונים בכל שלב כתרשים קו. כדי לראות את עדכניות הנתונים בנקודת זמן ספציפית, מעבירים את הסמן מעל התרשים. כדי לבחור את טווח הזמן, משתמשים בכלי לבחירת זמן או לוחצים על הגרף וגוררים כדי לבחור את הטווח. כדי לסנן את השלבים שמוצגים, לוחצים על סינון השלבים.

בתרשים מוצגות גם חריגות בנתונים:

• הנתונים לא עדכניים: עדכניות הנתונים חורגת מהאחוזון ה-95 של חלון הזמן שנבחר.
• פוטנציאל של נתונים תקועים: עדכניות הנתונים חורגת מהאחוזון ה-99 של חלון הזמן שנבחר.

באיור השני מוצגים השלבים כסדרה של עמודות. השלבים מסודרים בסדר טופולוגי. השלבים ללא צאצאים מוצגים ראשונים, ואחריהם הצאצאים שלהם. האורך של כל פס מייצג את עדכניות הנתונים. כדי לראות את ערכי רעננות הנתונים בנקודה מסוימת, לוחצים על הגרף. העמודות מתעדכנות ומציגות את עדכניות הנתונים בזמן שנבחר.

בתמונה הבאה מוצג ג'וב עם ארבעה שלבים. בחותמת הזמן שנבחרה, עדכניות הנתונים נעה בין 9 ל-13 שניות.

בתמונה הבאה מוצגת אותה משימה עם חותמת זמן אחרת שנבחרה. בשלב הזה, עדכניות הנתונים בכל השלבים היא יותר מ-4 דקות, מה שמצביע על כך שצינור הנתונים תקוע.

בחלונית פרטי השלב מוצג מידע מפורט יותר על שלב מסוים. כדי לראות את הפרטים של שלב מסוים, לוחצים על סרגל ההתקדמות של השלב הזה. בחלונית פרטי השלב מוצג המידע הבא על שלב:

• סטטוס
• השהיית המערכת: הזמן המקסימלי שפריט נתונים המתין לעיבוד
• סימן מים של הנתונים: הזמן המשוער לסיום הזנת הנתונים בשלב הזה
• פרטים על משתתפים שלא נכנסו לשיחה
• שלבי הצינור שהשלב הזה כולל

אם החלונית לא מוצגת, לוחצים על Toggle panel "Stage info".

תהליך עבודה של שלב

בתצוגה Stage workflow מוצגים שלבי המשרה כתרשים של תהליך עבודה. כדי לראות את הפרטים של שלב מסוים, לוחצים על התיבה של השלב הזה.

לגבי משימות אצווה, לוחצים על נתיב קריטי כדי לראות רק את השלבים שתורמים ישירות לזמן הריצה הכולל של המשימה.

התקדמות העובדים

בתצוגה Worker progress של משימות אצווה, מוצגים העובדים בשלב מסוים. התצוגה הזו לא זמינה לעבודות סטרימינג. כדי לגשת לתצוגה הזו, בוחרים באפשרות Worker progress (התקדמות העובדים) ובוחרים את השלב באפשרות Filter workers by stage (סינון העובדים לפי שלב). אפשר גם להפעיל את התצוגה הזו מהתצוגה התקדמות השלב באופן הבא:

1. בתצוגה התקדמות בשלב, מזהים את השלב שרוצים לראות.
2. מחזיקים את העכבר מעל לעמודה של השלב.
3. בכרטיס שלב, לוחצים על הצגת העובדים. מוצג התצוגה Worker progress (התקדמות העובד) עם השלב שנבחר מראש.

כל עמודה מתאימה לפריט עבודה שנקבע לו תזמון לעובד. לכל עובד מצורף תרשים קו קטן למעקב אחרי ניצול המעבד (CPU) שלו, כדי שיהיה קל יותר לזהות בעיות של ניצול חלקי.

המאמרים הבאים

• מידע נוסף על פתרון בעיות בצינורות Dataflow
• מידע על הרכיבים השונים של ממשק המשתמש של Dataflow לניטור מבוסס-אינטרנט