שימוש בממשק למעקב אחרי משימות ב-Dataflow

כשמריצים את צינור הנתונים באמצעות Dataflow, אפשר לראות את המשימה הזו ומשימות אחרות באמצעות ממשק המעקב של Dataflow. ממשק המעקב מאפשר לכם לראות את משימות ה-Dataflow ולבצע בהן פעולות.

אפשר לגשת לממשק המעקב של Dataflow בכתובתGoogle Cloud console.

המשימות שאפשר לבצע באמצעות ממשק המעקב כוללות את הפעולות הבאות:

  • לראות רשימה של משימות שפועלות, שהושלמו ושנכשלו.
  • צפייה בייצוג גרפי של השלבים בתהליך הגיוס וההתקדמות בכל שלב
  • הצגת תרשימים של מדדי עבודות, כמו רעננות הנתונים, ניצול המשאבים ובקשות קלט/פלט.
  • מעקב אחרי העלות המשוערת של עבודה.
  • צפייה ביומני הפייפליין.
  • לזהות אילו שלבים עלולים לגרום לעיכוב בצינור.
  • זיהוי הסיבות לזמן האחזור במקורות ובמטרות.
  • הסבר על שגיאות בצינורות עיבוד נתונים.

מעקב אחרי רכיבי ממשק

ממשק המעקב מכיל את התצוגות החזותיות והתרשימים הבאים:

מרכז הבקרה של פרויקטים במעקב
לוח בקרה שבו אפשר לעקוב אחרי משימות Dataflow ברמת הפרויקט.
רשימת משרות
רשימה של כל עבודות Dataflow שפועלות וכל העבודות שהופעלו ב-30 הימים האחרונים, יחד עם הסטטוס, האזור, הזמן שחלף ופרטים נוספים.
תרשים המשימה
ייצוג גרפי של צינור. גרף המשימות כולל גם סיכום של המשימה, יומן משימות ומידע על כל שלב בצינור.
פרטי ההרצה
הצגת שלבי הביצוע של משימה, עדכניות הנתונים של משימות סטרימינג והתקדמות העובדים של משימות באצווה.
מדדי משרות
תרשימים שמציגים מדדים לאורך משך הזמן של משרה.
עלות משוערת
העלות המשוערת של משימת Dataflow, על סמך מדדים של שימוש במשאבים.
המלצות
המלצות לשיפור הביצועים של המשימות, להפחתת העלויות ולפתרון בעיות.
שינוי גודל אוטומטי
קבוצה של תרשימים שעוזרים להבין את ההתנהגות של שינוי קנה מידה אוטומטי של משימות סטרימינג.
התראות מוכנות לשימוש
מדיניות התראות שהוגדרה מראש למשימות סטרימינג, שכוללת מעקב אחרי זמן העיבוד של ה-backlog וניצול המשאבים.
יומני צינור עיבוד נתונים
יומנים שנוצרו על ידי צינור עיבוד הנתונים ושירות Dataflow.
דגימת נתונים
כלי שמאפשר לכם לצפות בנתונים מדגמיים בכל שלב בצינור.

המאמרים הבאים