אשכולות אימון מריצים בדיקות תקינות אוטומטיות בצמתים ומתערבים כשבדיקה נכשלת. לדוגמה, אם מזוהה שגיאת XID חמורה, יכול להיות שהכלי ירוקן את הצומת, יחזיר את משימת Slurm המושפעת לתור וייצור מחדש את הצומת. כל אחת מההתערבויות האלה נכתבת ביומנים של הפרויקט כאירוע עמידות.
בדף הזה מוסבר איך ליצור מרכז בקרה בהתאמה אישית ב-Cloud Monitoring, שבו מוצגים תרשימים של אירועי העמידות לצד מצב ה-Slurm של צומתי המחשוב, כדי שתוכלו לראות אילו פעולות שחזור השירות ביצע ואיך הן קשורות למצב של האשכול. במרכז הבקרה יש שני תרשימים:
- מצבי צומת Slurm: מספר הצמתים בכל מצב Slurm לאורך זמן, נלקח מהמדד
hypercomputecluster.googleapis.com/slurm/node_state. - אירועי עמידות: ספירה של אירועי עמידות, בחלוקה לפי סוג האירוע, שנלקחה ממדד מבוסס-יומנים שיוצרים בקטע הבא.
לפני שמתחילים
מתקינים ומפעילים את Google Cloud CLI, ואז מגדירים את הפרויקט שמכיל את אשכולות האימון:
gcloud auth login gcloud config set project PROJECT_ID
מחליפים את PROJECT_ID במזהה הפרויקט.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות ליצירת המדד מבוסס-היומנים ומרכז הבקרה, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:
-
יצירת המדד מבוסס-היומנים:
כותב הגדרות של יומנים (
roles/logging.configWriter) -
יצירת לוח הבקרה:
עורך ההגדרות של לוח הבקרה של Monitoring (
roles/monitoring.dashboardEditor)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי ליצור את המדד מבוסס-היומנים ואת מרכז הבקרה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור את המדד מבוסס-היומנים ואת מרכז הבקרה, צריך את ההרשאות הבאות:
-
יוצרים את המדד מבוסס-היומנים:
logging.logMetrics.create -
יוצרים את מרכז הבקרה:
monitoring.dashboards.create
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
יצירת המדד מבוסס-היומנים
אירועי העמידות מתועדים ביומנים של הפרויקט, ולכל אירוע יש תווית event_type עם הקידומת RESILIENCE_EVENT_TYPE_. כדי לראות את האירועים הגולמיים ב-Logs Explorer, משתמשים בשאילתה הבאה:
labels.event_type=~"RESILIENCE_EVENT_TYPE_.*"
ב-Cloud Monitoring אי אפשר ליצור תרשים של רשומות ביומן באופן ישיר, ולכן קודם צריך להפוך את השאילתה הזו למדד מבוסס-יומנים.
שומרים את ההגדרות הבאות בקובץ בשם
resilience_metric.yaml:name: training_cluster_resilience_events description: "Resilience events on training cluster nodes (VM instances)." filter: 'resource.type="gce_instance" AND labels.event_type=~"RESILIENCE_EVENT_TYPE_.*"' metricDescriptor: metricKind: DELTA valueType: INT64 unit: "1" labels: - key: cluster_id valueType: STRING description: "The ID of the training cluster." - key: event_type valueType: STRING description: "The type of resilience event." - key: slurm_job_name valueType: STRING description: "The name of the Slurm job that triggered the resilience event, if applicable." - key: slurm_job_id valueType: STRING description: "The ID of the Slurm job that triggered the resilience event, if applicable." - key: slurm_job_partition valueType: STRING description: "The partition that the resilience event acts on." labelExtractors: cluster_id: "EXTRACT(labels.cluster_id)" event_type: "EXTRACT(labels.event_type)" slurm_job_name: "EXTRACT(labels.slurm_job_name)" slurm_job_id: "EXTRACT(labels.slurm_job_id)" slurm_job_partition: "EXTRACT(labels.slurm_job_partition)"השדה
labelExtractorsמעתיק את התוויות של כל רשומת יומן למדד, וכך אפשר לפרק את התרשים לפי סוג אירוע, לפי אשכול או לפי משימת Slurm.יוצרים את המדד:
gcloud logging metrics create training_cluster_resilience_events \ --config-from-file=resilience_metric.yamlמוודאים שהמדד קיים:
gcloud logging metrics describe training_cluster_resilience_eventsאפשר גם לאמת את המדד במסוף Google Cloud בדף Log-based metrics.
יצירת מרכז הבקרה
שומרים את ההגדרות הבאות בקובץ בשם
resilience_dashboard.json:{ "displayName": "Training Clusters Resilience Dashboard", "mosaicLayout": { "columns": 48, "tiles": [ { "height": 16, "width": 24, "widget": { "title": "Slurm node states", "xyChart": { "chartOptions": { "mode": "COLOR" }, "dataSets": [ { "minAlignmentPeriod": "60s", "plotType": "LINE", "targetAxis": "Y1", "timeSeriesQuery": { "timeSeriesFilter": { "aggregation": { "alignmentPeriod": "60s", "crossSeriesReducer": "REDUCE_SUM", "groupByFields": [ "metric.label.\"state\"" ], "perSeriesAligner": "ALIGN_MEAN" }, "filter": "metric.type=\"hypercomputecluster.googleapis.com/slurm/node_state\" resource.type=\"gce_instance\"" } } } ], "yAxis": { "scale": "LINEAR" } } } }, { "yPos": 16, "height": 16, "width": 24, "widget": { "title": "Resilience events", "xyChart": { "chartOptions": { "mode": "COLOR" }, "dataSets": [ { "minAlignmentPeriod": "60s", "plotType": "STACKED_BAR", "targetAxis": "Y1", "timeSeriesQuery": { "timeSeriesFilter": { "aggregation": { "alignmentPeriod": "60s", "crossSeriesReducer": "REDUCE_COUNT", "groupByFields": [ "metric.label.\"event_type\"" ], "perSeriesAligner": "ALIGN_COUNT" }, "filter": "metric.type=\"logging.googleapis.com/user/training_cluster_resilience_events\" resource.type=\"gce_instance\"" } } } ], "yAxis": { "scale": "LINEAR" } } } } ] } }אם נתתם למדד מבוסס-היומנים שם אחר בקטע הקודם, שנו את המסנן
logging.googleapis.com/user/בהתאם.יוצרים את מרכז הבקרה:
gcloud monitoring dashboards create \ --config-from-file=resilience_dashboard.jsonבמסוף Google Cloud , נכנסים לדף Dashboards ובקטע My Dashboards פותחים את Training Clusters Resilience Dashboard. יכול להיות שיעבור כדקה עד שהמרכז בקרה יופיע.
פתרון בעיות
בקטעים הבאים מתוארות הבעיות שסביר להניח שתיתקלו בהן אחרי יצירת המדד ולוח הבקרה.
התרשים "אירועי חוסן" ריק
מדד מבוסס-יומנים לא מתמלא באופן רטרואקטיבי. הוא סופר רק רשומות ביומן שמגיעות אחרי שיוצרים את המדד. כפי שמוסבר בסקירה הכללית של מדדים מבוססי-יומנים, מדד לא מאוכלס באופן רטרואקטיבי בנתונים מרשומות ביומן שכבר קיימות ב-Cloud Logging.
אם התרחשו אירועי עמידות מאז שיצרתם את המדד והתרשים עדיין ריק, ודאו שהאירועים מופיעים ב-Logs Explorer על ידי הרצת השאילתה ביצירת המדד מבוסס-היומנים.
חלק מהאשכולות חסרים בתרשים "Slurm node states"
המדד hypercomputecluster.googleapis.com/slurm/node_state מדווח רק על ידי אשכולות שפועלת בהם גרסה עדכנית מספיק של תוכנת האשכול. אם אשכול מסוים חסר בתרשים, מעדכנים את האשכול ובודקים שוב את התרשים.
בתרשים "Slurm node states" לא מוצגים צומתי התחברות
זה תקין. לצומתי התחברות אין מצב Slurm, כמו idle או mixed, ולכן הם לא מדווחים על המדד slurm/node_state.
התרשים "אירועי חוסן" סופר יותר מדי אירועים
ב-Cloud Logging כל רשומת יומן מעובדת לפחות פעם אחת, כך ששגיאה פנימית זמנית יכולה לגרום לכך שרשומה תיספר יותר מפעם אחת. למידע נוסף, קראו את המאמר פתרון בעיות במדדים מבוססי-יומנים.
הרשומות עצמן ביומן הן המקור המהימן. כדי לקבל ספירה מדויקת של טווח תאריכים, צריך לשלוח שאילתה על האירועים ב-Logs Explorer במקום לקרוא אותם מהתרשים.
המאמרים הבאים
- איך פועלת עמידות האשכול
- צפייה במרכזי הבקרה המוכנים מראש של יכולת התצפית באשכול
- מעקב אחרי משימות אימון ב-Gemini Enterprise Agent Platform