מעקב אחרי אירועי חוסן באמצעות מרכז בקרה

אם אתם רוצים להשתמש באשכולות אימון ב-Gemini Enterprise Agent Platform, פנו לנציג המכירות שלכם כדי לקבל גישה.

אשכולות אימון מריצים בדיקות תקינות אוטומטיות בצמתים ומתערבים כשבדיקה נכשלת. לדוגמה, אם מזוהה שגיאת XID חמורה, יכול להיות שהכלי ירוקן את הצומת, יחזיר את משימת Slurm המושפעת לתור וייצור מחדש את הצומת. כל אחת מההתערבויות האלה נכתבת ביומנים של הפרויקט כאירוע עמידות.

בדף הזה מוסבר איך ליצור מרכז בקרה בהתאמה אישית ב-Cloud Monitoring, שבו מוצגים תרשימים של אירועי העמידות לצד מצב ה-Slurm של צומתי המחשוב, כדי שתוכלו לראות אילו פעולות שחזור השירות ביצע ואיך הן קשורות למצב של האשכול. במרכז הבקרה יש שני תרשימים:

  • מצבי צומת Slurm: מספר הצמתים בכל מצב Slurm לאורך זמן, נלקח מהמדד hypercomputecluster.googleapis.com/slurm/node_state.
  • אירועי עמידות: ספירה של אירועי עמידות, בחלוקה לפי סוג האירוע, שנלקחה ממדד מבוסס-יומנים שיוצרים בקטע הבא.
לוח בקרה עם שני תרשימים: צמתים בכל מצב של Slurm לאורך זמן, ותרשים עמודות אופקי מוערם שסופר אירועי עמידות לפי סוג האירוע.
תרשים 1. כשקוראים את שני התרשימים ביחד, אפשר לראות את ההשפעה של ההתאוששות: מספר הצמתים הלא פעילים יורד בזמן שהשירות מחליף צומת שנכשל בבדיקת התקינות של הפרולוג, והאירועים שגרמו לכך מופיעים מתחת.

לפני שמתחילים

מתקינים ומפעילים את Google Cloud CLI, ואז מגדירים את הפרויקט שמכיל את אשכולות האימון:

gcloud auth login
gcloud config set project PROJECT_ID

מחליפים את PROJECT_ID במזהה הפרויקט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת המדד מבוסס-היומנים ומרכז הבקרה, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי ליצור את המדד מבוסס-היומנים ואת מרכז הבקרה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור את המדד מבוסס-היומנים ואת מרכז הבקרה, צריך את ההרשאות הבאות:

  • יוצרים את המדד מבוסס-היומנים: logging.logMetrics.create
  • יוצרים את מרכז הבקרה: monitoring.dashboards.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת המדד מבוסס-היומנים

אירועי העמידות מתועדים ביומנים של הפרויקט, ולכל אירוע יש תווית event_type עם הקידומת RESILIENCE_EVENT_TYPE_. כדי לראות את האירועים הגולמיים ב-Logs Explorer, משתמשים בשאילתה הבאה:

labels.event_type=~"RESILIENCE_EVENT_TYPE_.*"

ב-Cloud Monitoring אי אפשר ליצור תרשים של רשומות ביומן באופן ישיר, ולכן קודם צריך להפוך את השאילתה הזו למדד מבוסס-יומנים.

  1. שומרים את ההגדרות הבאות בקובץ בשם resilience_metric.yaml:

    name: training_cluster_resilience_events
    description: "Resilience events on training cluster nodes (VM instances)."
    filter: 'resource.type="gce_instance" AND labels.event_type=~"RESILIENCE_EVENT_TYPE_.*"'
    metricDescriptor:
      metricKind: DELTA
      valueType: INT64
      unit: "1"
      labels:
        - key: cluster_id
          valueType: STRING
          description: "The ID of the training cluster."
        - key: event_type
          valueType: STRING
          description: "The type of resilience event."
        - key: slurm_job_name
          valueType: STRING
          description: "The name of the Slurm job that triggered the resilience event, if applicable."
        - key: slurm_job_id
          valueType: STRING
          description: "The ID of the Slurm job that triggered the resilience event, if applicable."
        - key: slurm_job_partition
          valueType: STRING
          description: "The partition that the resilience event acts on."
    labelExtractors:
      cluster_id: "EXTRACT(labels.cluster_id)"
      event_type: "EXTRACT(labels.event_type)"
      slurm_job_name: "EXTRACT(labels.slurm_job_name)"
      slurm_job_id: "EXTRACT(labels.slurm_job_id)"
      slurm_job_partition: "EXTRACT(labels.slurm_job_partition)"
    

    השדה labelExtractors מעתיק את התוויות של כל רשומת יומן למדד, וכך אפשר לפרק את התרשים לפי סוג אירוע, לפי אשכול או לפי משימת Slurm.

  2. יוצרים את המדד:

    gcloud logging metrics create training_cluster_resilience_events \
        --config-from-file=resilience_metric.yaml
    
  3. מוודאים שהמדד קיים:

    gcloud logging metrics describe training_cluster_resilience_events
    

    אפשר גם לאמת את המדד במסוף Google Cloud בדף Log-based metrics.

יצירת מרכז הבקרה

  1. שומרים את ההגדרות הבאות בקובץ בשם resilience_dashboard.json:

    {
      "displayName": "Training Clusters Resilience Dashboard",
      "mosaicLayout": {
        "columns": 48,
        "tiles": [
          {
            "height": 16,
            "width": 24,
            "widget": {
              "title": "Slurm node states",
              "xyChart": {
                "chartOptions": {
                  "mode": "COLOR"
                },
                "dataSets": [
                  {
                    "minAlignmentPeriod": "60s",
                    "plotType": "LINE",
                    "targetAxis": "Y1",
                    "timeSeriesQuery": {
                      "timeSeriesFilter": {
                        "aggregation": {
                          "alignmentPeriod": "60s",
                          "crossSeriesReducer": "REDUCE_SUM",
                          "groupByFields": [
                            "metric.label.\"state\""
                          ],
                          "perSeriesAligner": "ALIGN_MEAN"
                        },
                        "filter": "metric.type=\"hypercomputecluster.googleapis.com/slurm/node_state\" resource.type=\"gce_instance\""
                      }
                    }
                  }
                ],
                "yAxis": {
                  "scale": "LINEAR"
                }
              }
            }
          },
          {
            "yPos": 16,
            "height": 16,
            "width": 24,
            "widget": {
              "title": "Resilience events",
              "xyChart": {
                "chartOptions": {
                  "mode": "COLOR"
                },
                "dataSets": [
                  {
                    "minAlignmentPeriod": "60s",
                    "plotType": "STACKED_BAR",
                    "targetAxis": "Y1",
                    "timeSeriesQuery": {
                      "timeSeriesFilter": {
                        "aggregation": {
                          "alignmentPeriod": "60s",
                          "crossSeriesReducer": "REDUCE_COUNT",
                          "groupByFields": [
                            "metric.label.\"event_type\""
                          ],
                          "perSeriesAligner": "ALIGN_COUNT"
                        },
                        "filter": "metric.type=\"logging.googleapis.com/user/training_cluster_resilience_events\" resource.type=\"gce_instance\""
                      }
                    }
                  }
                ],
                "yAxis": {
                  "scale": "LINEAR"
                }
              }
            }
          }
        ]
      }
    }
    

    אם נתתם למדד מבוסס-היומנים שם אחר בקטע הקודם, שנו את המסנן logging.googleapis.com/user/ בהתאם.

  2. יוצרים את מרכז הבקרה:

    gcloud monitoring dashboards create \
        --config-from-file=resilience_dashboard.json
    
  3. במסוף Google Cloud , נכנסים לדף Dashboards ובקטע My Dashboards פותחים את Training Clusters Resilience Dashboard. יכול להיות שיעבור כדקה עד שהמרכז בקרה יופיע.

פתרון בעיות

בקטעים הבאים מתוארות הבעיות שסביר להניח שתיתקלו בהן אחרי יצירת המדד ולוח הבקרה.

התרשים "אירועי חוסן" ריק

מדד מבוסס-יומנים לא מתמלא באופן רטרואקטיבי. הוא סופר רק רשומות ביומן שמגיעות אחרי שיוצרים את המדד. כפי שמוסבר בסקירה הכללית של מדדים מבוססי-יומנים, מדד לא מאוכלס באופן רטרואקטיבי בנתונים מרשומות ביומן שכבר קיימות ב-Cloud Logging.

אם התרחשו אירועי עמידות מאז שיצרתם את המדד והתרשים עדיין ריק, ודאו שהאירועים מופיעים ב-Logs Explorer על ידי הרצת השאילתה ביצירת המדד מבוסס-היומנים.

חלק מהאשכולות חסרים בתרשים "Slurm node states"

המדד hypercomputecluster.googleapis.com/slurm/node_state מדווח רק על ידי אשכולות שפועלת בהם גרסה עדכנית מספיק של תוכנת האשכול. אם אשכול מסוים חסר בתרשים, מעדכנים את האשכול ובודקים שוב את התרשים.

בתרשים "Slurm node states" לא מוצגים צומתי התחברות

זה תקין. לצומתי התחברות אין מצב Slurm, כמו idle או mixed, ולכן הם לא מדווחים על המדד slurm/node_state.

התרשים "אירועי חוסן" סופר יותר מדי אירועים

ב-Cloud Logging כל רשומת יומן מעובדת לפחות פעם אחת, כך ששגיאה פנימית זמנית יכולה לגרום לכך שרשומה תיספר יותר מפעם אחת. למידע נוסף, קראו את המאמר פתרון בעיות במדדים מבוססי-יומנים.

הרשומות עצמן ביומן הן המקור המהימן. כדי לקבל ספירה מדויקת של טווח תאריכים, צריך לשלוח שאילתה על האירועים ב-Logs Explorer במקום לקרוא אותם מהתרשים.

המאמרים הבאים