מעקב אחרי מדדים ואופטימיזציה של משאבי המשימות

במאמר הזה מוסבר איך לעקוב אחרי המשאבים של משימת אצווה ולנסות לייעל אותם באמצעות מדדים ב-Cloud Monitoring. במאמר משאבים של משימות מוסבר בהרחבה על המשאבים שבהם מופעלת משימה.

לכל משימה, Monitoring מספק מדדים בסיסיים כמו ניצול המעבד ותנועה ברשת. עם זאת, אפשר לאסוף מדדים מסוימים, כמו זיכרון וניצול תהליכים, רק אם משימה מתקינה את סוכן התפעול. מדדים של משאבים של משימה עוזרים לכם להעריך את הביצועים ואת מידת הניצול של כל משאב. המידע הזה יכול לעזור לכם לזהות שיפורים לכל איטרציה עתידית של המשרה. לדוגמה, אתם יכולים להסיר משאבים שלא נעשה בהם שימוש כדי לבצע אופטימיזציה של העלויות, או לשפר משאבים שמוגבלים בגלל עומס או להגדיל את כמות המשאבים האלה כדי לשפר את הביצועים.

לפני שמתחילים

  1. אם עוד לא השתמשתם ב-Batch, כדאי לעיין במאמר תחילת העבודה עם Batch ולהפעיל את Batch על ידי השלמת הדרישות המוקדמות לפרויקטים ולמשתמשים.
  2. אופציונלי: כדי לאסוף מדדים נוספים לגבי משימה, יוצרים ומריצים משימה שמתקינה אוטומטית את סוכן תפעול.
  3. אם עדיין לא עשיתם את זה, מפעילים את Monitoring API בפרויקט:

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

  4. כדי לקבל את ההרשאות שנדרשות להצגת מדדי יכולת הצפייה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Monitoring Metric Viewer (roles/monitoring.metricViewer) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הצגת מדדים של משאבי משרות

במאמר בנושא צפייה במכונות וירטואליות ומעקב אחריהן בתיעוד של Compute Engine מופיע מידע רלוונטי על מדדים של מכונות וירטואליות, אבל מומלץ להשתמש בשיטות שונות כדי להציג מדדים של מכונות וירטואליות עבור משימות Batch. בפרט, במאמרי העזרה של Compute Engine מוסבר איך לראות מדדים באמצעות לוחות הבקרה המוגדרים מראש של Monitoring ל-Compute Engine או דפי Compute Engine במסוף Google Cloud . אבל חשוב לדעת שהשיטות האלה לא מציגות מידע על מכונות וירטואליות שנמחקו. לכן, אל תשתמשו בשיטות האלה אלא אם אתם רוצים לראות מדדים של משימות Batch בזמן שהן פועלות.

כדי לראות את המדדים של משימות Batch שפועלות ושל משימות Batch שהסתיימו, אפשר להשתמש בתרשימים של Metrics Explorer כמו שמוסבר בקטע הזה. חשוב לציין שהתרשימים הם זמניים, אלא אם שומרים אותם בלוחות בקרה מותאמים אישית.

כדי ליצור תרשים להצגת מדד אחד או יותר:

  1. אופציונלי: אם אתם מתכננים לשמור את התרשים, מזהים או יוצרים מרכז בקרה מותאם אישית בשביל התרשים.

  2. יצירת תרשים ב-Metrics Explorer למדד אחד או יותר.

    בלי מסננים, כל מדד של מכונת VM בתרשים כולל נתונים מכל מכונות ה-VM בפרויקט. אם רוצים לסנן את התרשים כך שיכלול רק מדדים מכל העבודות או מעבודות ספציפיות של Batch, מוסיפים את המסנן הבא:

    group=RESOURCE_GROUP_NAME

    מחליפים את RESOURCE_GROUP_NAME בשם של קבוצת משאבים למשימות Batch. מידע נוסף זמין במאמר הזה בקטע יצירת קבוצות משאבים לסינון מדדים.

יצירת קבוצות משאבים לסינון מדדים

אתם יכולים להשתמש בקבוצות משאבים כמסננים שניתנים להתאמה אישית לתרשימים ב-Metrics Explorer. כדי ליצור קבוצת משאבים לכל משימות Batch או למשימות ספציפיות בפרויקט:

  1. בוחרים תווית לשימוש כקריטריון לחברות בקבוצה, לפי המשרות שרוצים לכלול בקבוצה:

    • כל משימות Batch: משתמשים בתווית batch-node המוגדרת מראש, שמוחלת באופן אוטומטי על כל המשאבים של כל משימות Batch, והערך שלה הוא null.

    • משימות Batch ספציפיות: משתמשים בתווית שמוחלת על המשאבים רק למשימות Batch ספציפיות.

      לדוגמה, אם רוצים ליצור קבוצה על סמך שמות משרות מלאים או חלקיים, צריך להשתמש בשם התווית batch-job-id שהוגדר מראש עם ערך ספציפי. התווית batch-job-id מוחלת באופן אוטומטי על כל המשאבים של כל עבודות ה-Batch, ומוגדרת עם שם העבודה.

      לחלופין, אם משתמשים בתווית בהתאמה אישית, צריך להחיל את התווית בהתאמה אישית על כל המשאבים של משימות ה-Batch שרוצים לכלול בקבוצה כשיוצרים את המשימות.

  2. מוודאים שלפרויקט יש לפחות משימה אחת עם התווית שבחרתם, ושמשימה זו נמצאת במצב RUNNING. אחרת, התווית הזו לא תופיע כאפשרות כשמנסים ליצור את קבוצת המשאבים.

  3. יצירת קבוצת משאבים כשמציינים את הקריטריונים לחברות במועדון, צריך לפעול לפי השלבים הבאים:

    1. מגדירים את האפשרות Type (סוג) לערך Tag (תג).

    2. מגדירים את השדה Tag (תג) לשם התווית שנבחרה. לאחר מכן, מגדירים את השדות הבאים על סמך ערכי התוויות שרוצים לכלול בקבוצה.

      לדוגמה, אם רוצים שהקבוצה הזו תכלול את כל עבודות ה-Batch, מגדירים את Tag ל-batch-node ואת Operator ל-Exists. לחלופין, אם רוצים שהקבוצה הזו תכלול משימות Batch עם שמות שמתחילים ב-test, מגדירים את Tag (תג) ל-batch-job-id, את Operator (אופרטור) ל-Starts with (מתחיל ב-) ואת Value (ערך) ל-test.

המאמרים הבאים