מעקב אחרי תקינות המערכת, המכונה וצינורות הנתונים ב-Cloud Data Fusion

במדריך הזה מוסבר איך לעקוב אחרי מופעים וצינורות של Cloud Data Fusion. אתם יכולים לראות מדדים חשובים בלוח הבקרה של Cloud Data Fusion למעקב. כדי לראות את המדדים ב-Cloud Monitoring, אפשר להשתמש באגרגציה או בסינון נוספים.

לפני שמתחילים

לפני שמתחילים לעקוב אחרי מופעים וצינורות של Cloud Data Fusion, כדאי לעיין בתמחור ולהעניק את התפקידים הנדרשים.

תמחור

השימוש ב-Cloud Monitoring כרוך בעלויות. מידע נוסף מופיע במאמר בנושא תמחור של Google Cloud Observability.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להצגת מדדים, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Monitoring Viewer (roles/monitoring.viewer) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מעקב ב-Cloud Data Fusion

אפשר להציג ולסנן מדדים של המופעים וצינורות העיבוד ישירות ב-Cloud Data Fusion באמצעות לוח הבקרה למעקב:

  1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

  2. לוחצים על Instances (מכונות), ואז לוחצים על שם המכונה כדי לעבור לדף Instance details (פרטי המכונה).

    כניסה לדף Instances

  3. לוחצים על הכרטיסייה מעקב. מוצג לוח בקרה עם תרשימים של המופע ושל צינורות הנתונים שלו.

    בלוח הבקרה מוצגות התצוגות הבאות:

    • סקירה כללית: מעקב אחרי מדדי המערכת של Cloud Data Fusion.
    • מכונה: מעקב אחרי כל מכונות Cloud Data Fusion בפרויקט.
    • Pipeline: מידע על הפעלות של צינורות ועל הביצועים שלהם.

    כדי לראות מידע מפורט על המדדים בתצוגה כלשהי, מעבירים את העכבר מעל הווידג'ט ולוחצים על עוד > הצגה ב-Metrics Explorer.

ווידג'טים בלוח הבקרה של המעקב

בקטעים הבאים מתוארים הווידג'טים שזמינים בתצוגות סקירה כללית, מופע וצינור.

ווידג'טים בתצוגה 'סקירה כללית'

בטבלה הזו מפורטים הווידג'טים בתצוגה סקירה כללית:

ווידג'ט תיאור
תקינות השירות של Appfabric זמינות השירות של Appfabric
תקינות השירותים של המדדים זמינות של שירות למדדים
Wrangler service health זמינות השירות של Wrangler
מצב של מערך נתונים זמינות השירות עבור מערך נתונים
תקינות של Pipeline Studio זמינות השירות של Pipeline Studio
תקינות השירות בזמן הריצה זמינות השירותים בזמן הריצה
תקינות השירות של כלי שמירת יומנים זמינות השירות של הכלי לשמירת יומנים
סטטוס השירות של מטא-נתונים זמינות השירות למטא-נתונים

ווידג'טים בתצוגת צינורות עיבוד נתונים

בטבלה הזו מתוארים הווידג'טים בתצוגה Pipeline:

ווידג'ט תיאור
הפעלות של צינורות שבוצעו בהצלחה המספר המצטבר של הפעלות הפייפליין שהושלמו בהצלחה.
הפעלות של צינור עיבוד נתונים שנכשלו מספר מצטבר של הפעלות של צינורות נתונים שנכשלו.
הפעלות של צינורות עיבוד נתונים שהופסקו מספר מצטבר של הפעלות של צינורות שבוטלו.
הפעלות של צינורות עיבוד נתונים שנדחו מספר מצטבר של הפעלות פייפליין שנדחו.
זמן ההרצה של צינור הנתונים שהושלם בהצלחה משך הזמן שנדרש להשלמת הפעלות של צינורות שהסתיימו בהצלחה.
זמן הטעינה של צינור הנתונים הזמן שחלף עד שהרצת צינור הגיעה למצב 'פועל'.
זמן האחזור של הקצאת משאבים ב-Managed Service for Apache Spark הזמן שנדרש להקצאת אשכול Managed Service for Apache Spark.
מספר הבקשות ל-API של Managed Service for Apache Spark מספר מצטבר של בקשות ל-API שנשלחו אל Managed Service for Apache Spark.
משך זמן ההרצה של התצוגה המקדימה משך הזמן שנדרש להשלמת הרצות מוצלחות של תצוגה מקדימה.
תצוגה מקדימה של הפעלות מספר ההפעלות של התצוגה המקדימה.
בייטים שנקראו בצינור מספר מצטבר של בייטים שנקראו על ידי צינור.
בייטים שנכתבו בצינור מספר מצטבר של בייטים שנכתבו על ידי צינור.
בייטים של צינור עיבוד הנתונים שמוצגים בסדר אקראי המספר המצטבר של בייטים שבוצעו בהם פעולות ערבוב בצינור.
רשומות של תוספים שעברו עיבוד ב- מספר מצטבר של רשומות שנכנסות לתוסף.
רשומות של תוספים שעברו עיבוד ספירה מצטברת של רשומות שיוצאות מתוסף.

ווידג'טים של תצוגת מופע

בטבלה הזו מתוארים הווידג'טים בתצוגה Instance:

ווידג'ט תיאור
צינורות עיבוד נתונים שפועלים בו-זמנית מספר צינורות הנתונים שפועלים בו-זמנית.
הופעלו צינורות עיבוד נתונים בו-זמניים מספר צינורות האספקה במצב הקצאה או התחלה.
בקשות API שהתקבלו המספר המצטבר של בקשות ל-API שהתקבלו.
ספירת התגובות מה-API מספר מצטבר של תגובות ל-API שנשלחו.
מספר בדיקות ההרשאה המספר המצטבר של בדיקות ההרשאה.
שעת בדיקת ההרשאה השהיה של בדיקות ההרשאה.
מספר צינורות עיבוד הנתונים שנפרסו מספר צינורות הנתונים שנפרסו.
מספר צינורות עיבוד נתונים בטיוטה מספר צינורות העיבוד לטיוטה.
מספר מרחבי השמות מספר מרחבי השמות.

הצגת מדדים לניתוח מתקדם ב-Cloud Monitoring

כדי לראות אפשרויות נוספות לסינון ולצבירה, אפשר להציג את המדדים ב-Cloud Monitoring:

  1. במסוף Google Cloud , עוברים לדף Metrics explorer של Cloud Monitoring.

    כניסה לדף Metrics Explorer

  2. בוחרים את המשאב המפוקח Cloud Data Fusion.

  3. בוחרים מדד.

  4. בוחרים מסננים וצבירה.

המאמרים הבאים