כשמריצים את צינור הנתונים באמצעות Dataflow, אפשר לראות את המשימה הזו ומשימות אחרות באמצעות ממשק המעקב של Dataflow. ממשק המעקב מאפשר לכם לראות את משימות ה-Dataflow ולבצע בהן פעולות.
אפשר לגשת לממשק המעקב של Dataflow בכתובתGoogle Cloud console.
דוגמאות למשימות שאפשר לבצע באמצעות ממשק המעקב:
- אפשר לראות רשימה של משימות שפועלות, משימות שהושלמו ומשימות שנכשלו.
- צפייה בייצוג גרפי של השלבים בעבודה וההתקדמות בכל שלב
- הצגת תרשימים של מדדי עבודות, כמו רעננות הנתונים, ניצול המשאבים ובקשות קלט/פלט.
- מעקב אחרי העלות המשוערת של עבודה.
- צפייה ביומנים של צינורות עיבוד נתונים.
- לזהות אילו שלבים עלולים לגרום לעיכוב בצינור עיבוד הנתונים.
- זיהוי הסיבות לזמן האחזור במקורות ובמקורות היעד.
- הסבר על שגיאות בצינורות עיבוד נתונים.
רכיבים של ממשק המעקב
ממשק המעקב מכיל את התצוגות החזותיות והתרשימים הבאים:
- מרכז הבקרה של פרויקטים במעקב
- לוח בקרה שבו אפשר לעקוב אחרי משימות Dataflow ברמת הפרויקט.
- רשימת משרות
- רשימה של כל עבודות Dataflow שפועלות וכל העבודות שהופעלו ב-30 הימים האחרונים, יחד עם הסטטוס, האזור, הזמן שחלף ופרטים נוספים.
- תרשים המשימה
- ייצוג גרפי של צינור. גרף המשימות כולל גם סיכום של המשימה, יומן משימות ומידע על כל שלב בצינור.
- פרטי ההרצה
- הצגת שלבי הביצוע של משימה, עדכניות הנתונים של משימות סטרימינג והתקדמות העובדים של משימות באצווה.
- מדדי משרות
- תרשימים שמציגים מדדים לאורך משך העבודה.
- עלות משוערת
- העלות המשוערת של משימת Dataflow, על סמך מדדי השימוש במשאבים.
- המלצות
- המלצות לשיפור הביצועים של העבודות, להפחתת העלויות ולפתרון שגיאות.
- התאמה אוטומטית לעומס
- קבוצה של תרשימים שעוזרים להבין את התנהגות ההתאמה האוטומטית לעומס של משימות סטרימינג.
- יומני צינור עיבוד נתונים
- יומנים שנוצרו על ידי צינור עיבוד הנתונים ושירות Dataflow.
- דגימת נתונים
- כלי שמאפשר לכם לצפות בנתונים שנדגמו בכל שלב בצינור.
המאמרים הבאים
- שימוש ב-Cloud Monitoring כדי ליצור התראות ולצפות במדדים של Dataflow, כולל מדדים מותאמים אישית
- מידע נוסף על פיתוח צינורות עיבוד נתונים מוכנים לייצור
- איך לפתור בעיות בצינורות העברת נתונים