מעקב אחרי מדדי זמן האחזור של ההפעלה

בדף הזה מתוארים המדדים ולוחות הבקרה שזמינים למעקב אחרי זמן האחזור בהפעלה של עומסי העבודה ב-Google Kubernetes Engine (GKE) ושל צומתי האשכולות הבסיסיים. אתם יכולים להשתמש במדדים כדי לעקוב אחרי זמן האחזור בהפעלה, לפתור בעיות ולצמצם אותו.

הדף הזה מיועד לאדמינים ולמפעילים של פלטפורמות שצריכים לעקוב אחרי זמן האחזור בהפעלה של עומסי העבודה שלהם ולשפר אותו. למידע נוסף על תפקידים נפוצים שאנחנו מתייחסים אליהם בתוכן של Google Cloud , קראו את המאמר תפקידים ומשימות נפוצים של משתמשי GKE.

סקירה כללית

זמן האחזור בהפעלה משפיע באופן משמעותי על האופן שבו האפליקציה מגיבה לעליות חדות בתנועה, על המהירות שבה הרפליקות שלה מתאוששות מהפרעות ועל היעילות של עלויות התפעול של האשכולות ועומסי העבודה. מעקב אחרי זמן האחזור בהפעלה של עומסי העבודה יכול לעזור לכם לזהות ירידה בזמן האחזור, ולעקוב אחרי ההשפעה של עדכונים בעומסי העבודה ובתשתית על זמן האחזור בהפעלה.

אופטימיזציה של זמן האחזור של תהליך ההפעלה של עומס העבודה מספקת את היתרונות הבאים:

  • מקצר את זמן האחזור של התגובה של השירות למשתמשים במהלך עליות חדות בנפח התנועה.
  • מפחית את קיבולת ההצגה העודפת שנדרשת כדי לספוג עליות חדות בביקוש בזמן שנוצרות רפליקות חדשות.
  • מפחית את זמן ההמתנה של משאבים שכבר נפרסו וממתינים להפעלת שאר המשאבים במהלך חישובי אצווה.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את Google Kubernetes Engine API.
  • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.
  • מפעילים את Cloud Logging API ואת Cloud Monitoring API.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.

    הפעלת ממשקי ה-API

דרישות

כדי להציג מדדים ומרכזי בקרה של זמן האחזור בהפעלה של עומסי עבודה, אשכול GKE צריך לעמוד בדרישות הבאות:

  • צריך להשתמש ב-GKE בגרסה 1.31.1-gke.1678000 ואילך.
  • צריך להגדיר איסוף של מדדי מערכת.
  • צריך להגדיר איסוף של יומני מערכת.
  • כדי לראות את המדדים של Pods ומאגרים, מפעילים את kube state metrics עם הרכיב POD באשכולות.

תפקידים והרשאות נדרשים

כדי לקבל את ההרשאות שדרושות בשביל ליצור יומנים, לגשת אליהם ולעבד אותם, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

  • צפייה באשכולות, בצמתים ובעומסי העבודה של GKE: צפייה ב-Kubernetes Engine (roles/container.viewer) בפרויקט
  • גישה למדדי זמן האחזור של ההפעלה וצפייה במרכזי הבקרה: צפייה ב-Monitoring‏ (roles/monitoring.viewer) בפרויקט
  • גישה ליומנים עם מידע על זמן אחזור, כמו אירועי משיכת תמונות של Kubelet, והצגה שלהם ב-Logs Explorer וב-Observability Analytics: צפייה ביומנים (roles/logging.viewer) בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מדדי זמן הטעינה של ההפעלה

מדדי זמן האחזור של ההפעלה נכללים במדדי המערכת של GKE ומיוצאים ל-Cloud Monitoring באותו פרויקט של אשכול GKE.

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת kubernetes.io/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי זמן האחזור בהפעלה
סוג המדד (רמות בהיררכיית המשאבים) והשם המוצג סוג, יחידה ומשאבים במעקב תיאור ותוויות

pod/latencies/pod_first_ready (project)

זמן האחזור עד שהפוד מוכן בפעם הראשונה

GAUGE, Double, s

k8s_pod

זמן האחזור של הפעלה מקצה לקצה של Pod (מ-Pod Created עד Ready), כולל משיכות של תמונות. נדגמים כל 60 שניות.

node/latencies/startup (project)

זמן האחזור של הפעלת הצומת

GAUGE, INT64, s

k8s_node

זמן האחזור הכולל של הפעלת הצומת, מהאירוע CreationTimestamp של מכונת GCE ועד לאירוע Kubernetes node ready בפעם הראשונה. נדגמים כל 60 שניות.

  • ‫accelerator_family: סיווג של צמתים על סמך מאיצי חומרה: gpu,‏ tpu,‏ cpu.
  • ‫kube_control_plane_available: אם הבקשה ליצירת הצומת התקבלה כש-KCP (מישור הבקרה של kube) היה זמין.

autoscaler/latencies/per_hpa_recommendation_scale_latency_seconds (project)

זמן האחזור של קנה המידה של ההמלצות לכל HPA

GAUGE, DOUBLE, s

k8s_scale

זמן האחזור של המלצות להתאמה לעומס של Horizontal Pod Autoscaler (HPA) (הזמן שבין יצירת המדדים לבין החלת ההמלצה המתאימה להתאמה לעומס על apiserver) ליעד ה-HPA. נדגם כל 60 שניות. אחרי הדגימה, הנתונים לא מוצגים במשך עד 20 שניות.

‫metric_type: סוג מקור המדד. הערך צריך להיות אחד מהבאים: "ContainerResource",‏ "External",‏ "Object",‏ "Pods" או "Resource".

הצגת מרכז הבקרה "זמן אחזור בהפעלה" של עומסי עבודה

לוח הבקרה Startup Latency לעומסי עבודה זמין רק לפריסות. כדי לראות את מדדי זמן האחזור של פריסות, מבצעים את הפעולות הבאות במסוף Google Cloud :

  1. נכנסים לדף Workloads.

    כניסה לדף Workloads

  2. כדי לפתוח את התצוגה Deployment details, לוחצים על שם עומס העבודה שרוצים לבדוק.

  3. לוחצים על הכרטיסייה Observability.

  4. בתפריט שמימין, לוחצים על זמן אחזור בהפעלה.

הצגת ההתפלגות של זמן הטעינה אחרי הפעלה של Pods

זמן האחזור של הפעלת Pods מתייחס לזמן האחזור הכולל של ההפעלה, כולל משיכות של קובצי אימג', שמודד את הזמן מהסטטוס Created של ה-Pod עד לסטטוס Ready. כדי להעריך את זמן האחזור בהפעלה של Pods, אפשר להשתמש בשני התרשימים הבאים:

  • התרשים Pod Startup Latency Distribution: בתרשים הזה מוצגים האחוזונים של זמן האחזור בהפעלה של Pods (האחוזון ה-50, האחוזון ה-95 והאחוזון ה-99), שמחושבים על סמך התצפיות של אירועי ההפעלה של Pods במרווחי זמן קבועים של 3 שעות, למשל, 12:00 AM-3:00 AM ו-3:00 AM-6:00 AM. אתם יכולים להשתמש בתרשים הזה למטרות הבאות:

    • הסבר על זמן האחזור הבסיסי של הפעלת Pod.
    • זיהוי שינויים בזמן האחזור של הפעלת Pod לאורך זמן.
    • התאמה בין שינויים בזמן האחזור של הפעלת Pod לבין אירועים שהתרחשו לאחרונה, כמו פריסות של עומסי עבודה או אירועים של Cluster Autoscaler. אתם יכולים לבחור את האירועים ברשימה הערות בחלק העליון של מרכז הבקרה.
תרשים של התפלגות זמן הטעינה אחרי הפעלה של Pod
איור: תרשים התפלגות זמן האחזור של הפעלת Pod
  • תרשים Pod Startup Count: בתרשים הזה מוצג מספר ה-Pods שהופעלו במהלך מרווחי הזמן שנבחרו. אפשר להשתמש בתרשים הזה למטרות הבאות:

    • להבין את גודלי הדגימות של Pod שמשמשים לחישוב האחוזונים של התפלגות זמן האחזור של הפעלת Pod במרווח זמן נתון.
    • הסבר על הסיבות להפעלת Pod, כמו פריסות של עומסי עבודה או אירועים של Horizontal Pod Autoscaler. אתם יכולים לבחור את האירועים ברשימה Annotations בחלק העליון של מרכז הבקרה.
תרשים של מספר ההפעלות של Pod
איור: התרשים Pod Startup Count

הצגת זמן האחזור של ההפעלה של Pods ספציפיים

אפשר לראות את זמן האחזור של ההפעלה של Pods ספציפיים בתרשים ציר הזמן Pod First Ready Latency וברשימה המשויכת.

  • אפשר להשתמש בתרשים ציר הזמן Pod First Ready Latency כדי להתאים בין הפעלות של Pods ספציפיים לבין אירועים שהתרחשו לאחרונה, כמו אירועים של Horizontal Pod Autoscaler או של Cluster Autoscaler. אתם יכולים לבחור את האירועים האלה ברשימה הערות בחלק העליון של מרכז הבקרה. התרשים הזה עוזר לכם לזהות סיבות אפשריות לשינויים בזמן האחזור בהפעלה בהשוואה לפודים אחרים.
  • ברשימה Pod First Ready Latency אפשר לזהות פודים ספציפיים שלקח להם הכי הרבה או הכי מעט זמן להתחיל. אפשר למיין את הרשימה לפי העמודה Latency. אחרי שמזהים את ה-Pods עם זמן האחזור הארוך ביותר, אפשר לפתור את בעיית זמן האחזור על ידי התאמה בין אירועי ההפעלה של ה-Pod לבין אירועים אחרים שהתרחשו לאחרונה.
התרשים "זמן האחזור עד שהמודעה הראשונה ב-Pod מוכנה"
תרשים: Pod First Ready Latency

כדי לברר מתי נוצר פוד מסוים, אפשר לבדוק את הערך בשדה timestamp באירוע המתאים של יצירת הפוד. כדי לראות את השדה timestamp, מריצים את השאילתה הבאה ב-Logs Explorer:

   log_id("cloudaudit.googleapis.com/activity") AND
   protoPayload.methodName="io.k8s.core.v1.pods.create" AND
   resource.labels.project_id=PROJECT_ID AND
   resource.labels.cluster_name=CLUSTER_NAME AND
   resource.labels.location=CLUSTER_LOCATION AND
   protoPayload.response.metadata.namespace=NAMESPACE AND
   protoPayload.response.metadata.name=POD_NAME

כדי להציג את כל אירועי היצירה של Pod בעומס העבודה, משתמשים במסנן הבא בשאילתה הקודמת: protoPayload.response.metadata.name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"

כשמשווים בין זמני האחזור של Pods נפרדים, אפשר לבדוק את ההשפעה של הגדרות שונות על זמן האחזור של הפעלת Pod, ולזהות את ההגדרה האופטימלית בהתאם לדרישות שלכם.

קביעת זמן האחזור של תזמון Pod

זמן האחזור של תזמון Pod הוא משך הזמן שעובר מרגע שנוצר Pod ועד שהוא מתוזמן בצומת. זמן האחזור של תזמון Pod משפיע על זמן ההפעלה מקצה לקצה של Pod, והוא מחושב על ידי חיסור חותמות הזמן של אירוע תזמון Pod ובקשה ליצירת Pod.

אפשר למצוא חותמת זמן של אירוע תזמון Pod ספציפי בשדה jsonPayload.eventTime באירוע תזמון Pod תואם. כדי לראות את השדה jsonPayload.eventTime, מריצים את השאילתה הבאה ב-Logs Explorer:

  log_id("events")
  jsonPayload.reason="Scheduled"
  resource.type="k8s_pod"
  resource.labels.project_id=PROJECT_ID
  resource.labels.location=CLUSTER_LOCATION
  resource.labels.cluster_name=CLUSTER_NAME
  resource.labels.namespace_name=NAMESPACE
  resource.labels.pod_name=POD_NAME

כדי להציג את כל אירועי התזמון של Pod בעומס העבודה, משתמשים במסנן הבא בשאילתה שלמעלה: resource.labels.pod_name=~"POD_NAME_PREFIX-[a-f0-9]{7,10}-[a-z0-9]{5}"

הצגת זמן האחזור של שליפת התמונה

זמן האחזור של שליפת קובץ האימג' של הקונטיינר משפיע על זמן האחזור של הפעלת Pod בתרחישים שבהם קובץ האימג' עדיין לא זמין בצומת או שצריך לרענן את קובץ האימג'. כשמבצעים אופטימיזציה של זמן האחזור של משיכת קובצי אימג', מקצרים את זמן האחזור של הפעלת עומס העבודה במהלך אירועים של הרחבה אופקית של אשכולות.

בטבלה Kubelet Image Pull Events אפשר לראות מתי נשלפו קובצי האימג' של הקונטיינרים של עומס העבודה וכמה זמן התהליך נמשך.

טבלת אירועי שליפת תמונות של Kubelet
איור: הטבלה Kubelet Image Pull Events

זמן האחזור של שליפת התמונה זמין בשדה jsonPayload.message, שמכיל הודעה כמו זו:

  "Successfully pulled image "gcr.io/example-project/image-name" in 17.093s (33.051s including waiting). Image size: 206980012 bytes."

הצגת התפלגות זמן האחזור של המלצות להתאמה לעומס (scaling) של HPA

זמן האחזור של המלצות להתאמה לעומס של Horizontal Pod Autoscaler ‏(HPA) ליעד ה-HPA הוא משך הזמן שבין יצירת המדדים לבין החלת ההמלצה המתאימה להתאמה לעומס על שרת ה-API. כשמבצעים אופטימיזציה של זמן האחזור של ההמלצות להרחבה של HPA, מקצרים את זמן האחזור של הפעלת עומס העבודה במהלך אירועי הרחבה אופקית (scale out).

אפשר לראות את קנה המידה של HPA בשני התרשימים הבאים:

  • התרשים HPA Scaling Recommendation Latency Distribution: בתרשים הזה מוצגים האחוזונים של זמן האחזור של המלצות להתאמה לעומס (אחוזון 50, אחוזון 95 ואחוזון 99), שמחושבים על סמך התצפיות של המלצות להתאמה לעומס במרווחי זמן של 3 שעות. אפשר להשתמש בתרשים הזה כדי:

    • הבנת זמן האחזור של ההמלצה הבסיסית להתאמה לעומס (scaling) של HPA.
    • לזהות שינויים בזמן האחזור של המלצות לשינוי קנה מידה של HPA לאורך זמן.
    • התרשים מאפשר למצוא קשר בין שינויים בזמן האחזור של ההמלצות לשינוי קנה המידה של HPA לבין אירועים שהתרחשו לאחרונה. אתם יכולים לבחור את האירועים ברשימה Annotations בחלק העליון של מרכז הבקרה.
תרשים התפלגות זמן האחזור של המלצות לשינוי קנה המידה של HPA
תרשים: התפלגות זמן האחזור של המלצות לשינוי קנה המידה של HPA
  • התרשים HPA Scaling Recommendation Count: בתרשים הזה מוצג מספר ההמלצות לשינוי קנה המידה של HPA שנצפו במהלך מרווח הזמן שנבחר. אפשר להשתמש בתרשים כדי לבצע את המשימות הבאות:

    • הסבר על גודלי הדגימות של ההמלצות לשינוי קנה המידה של HPA. הדגימות משמשות לחישוב האחוזונים בהתפלגות זמן האחזור, לצורך המלצות לשינוי קנה המידה של HPA במרווח זמן נתון.
    • התאמה בין המלצות להתאמה לעומס של HPA לבין אירועי הפעלה חדשים של Pod ואירועים של Horizontal Pod Autoscaler. אתם יכולים לבחור את האירועים ברשימה הערות בחלק העליון של מרכז הבקרה.
תרשים של מספר ההמלצות לשינוי קנה המידה של HPA
איור: התרשים HPA Scaling Recommendation Count

הצגת בעיות בתזמון של Pods

בעיות בתזמון Pods יכולות להשפיע על זמן האחזור של ההפעלה מקצה לקצה של עומס העבודה. כדי לצמצם את זמן האחזור של עומס העבודה מקצה לקצה, פתרו את הבעיות האלה וצמצמו את מספר הבעיות.

אלה שני התרשימים שזמינים למעקב אחרי בעיות כאלה:

  • בתרשים Unschedulable/Pending/Failed Pods מוצג מספר ה-Pods שלא ניתן לתזמן, שנמצאים בהמתנה ונכשלו לאורך זמן.
  • בתרשים Backoff/Waiting/Readiness Failed Containers מוצג מספר הקונטיינרים במצבים האלה לאורך זמן.

הצגת מרכז הבקרה של זמן האחזור בהפעלה של צמתים

כדי לראות את מדדי זמן האחזור של הפעלת הצמתים, מבצעים את הפעולות הבאות במסוףGoogle Cloud :

  1. נכנסים לדף Kubernetes Clusters.

    כניסה לדף Kubernetes Clusters

  2. כדי לפתוח את התצוגה Cluster details, לוחצים על שם האשכול שרוצים לבדוק.

  3. לוחצים על הכרטיסייה Observability.

  4. בתפריט שמימין, לוחצים על זמן אחזור בהפעלה.

הצגת ההתפלגות של זמן הטעינה אחרי הפעלה של צמתים

זמן האחזור של הפעלת צומת מתייחס לזמן האחזור הכולל של ההפעלה, שמודד את הזמן מ-CreationTimestamp של הצומת עד לסטטוס Kubernetes node ready. אפשר לראות את זמן האחזור של הפעלת הצומת בשני התרשימים הבאים:

  • התרשים Node Startup Latency Distribution: בתרשים הזה מוצגים האחוזונים של זמן האחזור של הפעלת הצומת (האחוזון ה-50, האחוזון ה-95 והאחוזון ה-99), שמחושבים על סמך התצפיות של אירועי הפעלת הצומת במרווחי זמן קבועים של 3 שעות, למשל 12:00 AM-3:00 AM ו-3:00 AM-6:00 AM. אתם יכולים להשתמש בתרשים הזה למטרות הבאות:

    • להבין את זמן האחזור הבסיסי של הפעלת הצומת.
    • לזהות שינויים בזמן האחזור של הפעלת הצומת לאורך זמן.
    • התאמה בין שינויים בזמן האחזור של הפעלת הצומת לבין אירועים שהתרחשו לאחרונה, כמו עדכונים של אשכולות או עדכונים של מאגרי צמתים. אתם יכולים לבחור את האירועים ברשימה הערות בחלק העליון של מרכז הבקרה.
תרשים התפלגות של זמן הטעינה אחרי הפעלה של צומת
איור: תרשים התפלגות זמן האחזור של הפעלת הצומת
  • תרשים Node Startup Count: התרשים הזה מציג את מספר הצמתים שהופעלו במהלך מרווחי הזמן שנבחרו. אפשר להשתמש בתרשים למטרות הבאות:

    • הסבר על גודל הדגימה של הצמתים, שמשמש לחישוב האחוזונים של התפלגות זמן האחזור של הפעלת הצומת במרווח זמן נתון.
    • להבין את הסיבות להפעלת צמתים, כמו עדכונים של מאגר צמתים או אירועים של מידרוג אוטומטי באשכול. אתם יכולים לבחור את האירועים ברשימה Annotations בחלק העליון של מרכז הבקרה.
תרשים של מספר הצמתים שהופעלו
איור: תרשים של מספר הצמתים שהופעלו

הצגת זמן האחזור של ההפעלה בצמתים נפרדים

כשמשווים בין זמני האחזור של צמתים נפרדים, אפשר לבדוק את ההשפעה של הגדרות שונות של צמתים על זמן האחזור של הפעלת הצומת, ולזהות את ההגדרה האופטימלית בהתאם לדרישות שלכם. אפשר לראות את זמן האחזור של ההפעלה של צמתים ספציפיים בתרשים ציר הזמן Node Startup Latency וברשימה המשויכת.

  • אפשר להשתמש בתרשים ציר הזמן Node Startup Latency כדי לקשר בין הפעלות של צמתים ספציפיים לבין אירועים שהתרחשו לאחרונה, כמו עדכונים של אשכולות או עדכונים של מאגרי צמתים. אתם יכולים לזהות את הסיבות האפשריות לשינויים בזמן האחזור בהפעלה בהשוואה לצמתים אחרים. אתם יכולים לבחור את האירועים ברשימה הערות בחלק העליון של מרכז הבקרה.

  • ברשימה Node Startup Latency אפשר לזהות צמתים ספציפיים שההפעלה שלהם נמשכה הכי הרבה או הכי מעט זמן. אפשר למיין את הרשימה לפי העמודה Latency. כשמזהים צמתים עם זמן האחזור הגבוה ביותר, אפשר לפתור את בעיית הירידה בזמן האחזור על ידי התאמה בין אירועי ההתחלה של הצומת לבין אירועים אחרים שהתרחשו לאחרונה.

התרשים "זמן האחזור של הפעלת הצומת"
איור: תרשים זמן האחזור של הפעלת הצומת

כדי לדעת מתי נוצר צומת מסוים, אפשר לבדוק את הערך של השדה protoPayload.metadata.creationTimestamp באירוע המתאים של יצירת הצומת. כדי לראות את השדה protoPayload.metadata.creationTimestamp, מריצים את השאילתה הבאה ב-Logs Explorer:

   log_id("cloudaudit.googleapis.com/activity") AND
   protoPayload.methodName="io.k8s.core.v1.nodes.create" AND
   resource.labels.project_id=PROJECT_ID AND
   resource.labels.cluster_name=CLUSTER_NAME AND
   resource.labels.location=CLUSTER_LOCATION AND
   protoPayload.response.metadata.name=NODE_NAME

הצגת זמן האחזור של ההפעלה במאגר צמתים

אם למאגרי הצמתים יש הגדרות שונות, למשל כדי להריץ עומסי עבודה שונים, יכול להיות שתצטרכו לעקוב אחרי זמן האחזור של הפעלת הצומת בנפרד לפי מאגרי צמתים. כשמשווים בין זמני האחזור של הפעלת הצמתים במאגרי הצמתים, אפשר להבין איך הגדרת הצומת משפיעה על זמן האחזור של הפעלת הצומת, וכך לבצע אופטימיזציה של זמן האחזור.

כברירת מחדל, בלוח הבקרה Node Startup Latency מוצגת התפלגות זמן הטעינה אחרי הפעלה של כל הצמתים וזמן הטעינה אחרי הפעלה של צמתים ספציפיים בכל מאגרי הצמתים באשכול. כדי לראות את זמן האחזור של הפעלת צומת במאגר צמתים ספציפי, בוחרים את שם מאגר הצמתים באמצעות המסנן $node_pool_name_var שבחלק העליון של לוח הבקרה.

המאמרים הבאים