איסוף והצגה של מדדי מצב של kube

בדף הזה מוסבר איך להגדיר אשכול Google Kubernetes Engine ‏(GKE) כדי לשלוח קבוצה נבחרת של מצבי kube, כולל מדדים של פודים ופריסות, ל-Cloud Monitoring באמצעות השירות המנוהל של Google Cloud ל-Prometheus. בנוסף, מוסבר איך המדדים האלה מעוצבים כשהם נכתבים ב-Monitoring ואיך שולחים שאילתות לגבי מדדים.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את Google Kubernetes Engine API.
  • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.

דרישות

כדי לאסוף מדדי מצב של Kube, אשכול GKE צריך לעמוד בדרישות הבאות:

  • האשכול צריך להריץ את הגרסאות הבאות, בהתאם למדד שרוצים להפעיל:
    • כדי להפעיל את חבילת המדדים של JobSet, באשכול צריכה לפעול גרסה ‎1.32.1-gke.1357001‎ ואילך. החל מגרסה 1.32.1-gke.1357001, חבילת המדדים של JobSet מופעלת כברירת מחדל באשכולות חדשים של GKE Standard ו-Autopilot.
    • המדד kube_jobset_restarts זמין באשכולות בגרסה 1.32 החל מ-‎1.32.4-gke.1767000 ובאשכולות בגרסה 1.33 החל מ-‎1.33.0-gke.1868000.
    • כדי להפעיל חבילות מדדים אחרות שמתוארות בדף הזה, באשכול צריכה לפעול גרסה GKE 1.27.2-gke.1200 ואילך. החל מגרסה 1.29.2-gke.2000 לאשכולות GKE Standard ומגרסה 1.27.4-gke.900 לאשכולות GKE Autopilot, חבילת המדדים של מצב Kube מופעלת כברירת מחדל.
  • באשכול צריכה להיות הפעלה של מדדי המערכת.
  • באשכול צריך להפעיל את השירות המנוהל של Google Cloud ל-Prometheus לאיסוף מנוהל. כברירת מחדל, האיסוף המנוהל של השירות המנוהל של Google Cloud ל-Prometheus מופעל באשכולות חדשים.

הגדרת האיסוף של מדדי מצב של Kube

אפשר להפעיל את Kube State Metrics באמצעות מסוף Google Cloud , ה-CLI של gcloud או Terraform:

המסוף

אפשר להפעיל את Kube State Metrics מהכרטיסייה Observability של אשכול או של פריסה בתוך אשכול. אפשר גם לראות תצוגה מקדימה של התרשימים והמדדים הזמינים לפני שמפעילים את חבילת המדדים.

בכרטיסייה Observability של אשכול, אפשר לסנן את קבוצת התרשימים של מדדי המצב של kube לפי שני הפריטים הבאים:

  • מצב עומסי העבודה: כולל את המדדים של המשאבים Pods,‏ Deployments,‏ StatefulSets,‏ DaemonSets ו-HorizontalPodAutoscaler.
  • ‫Storage > Persistent: כולל את המדדים של Persistent Volumes ו-Persistent Volume Claims.

אפשר להפעיל את שתי קבוצות המדדים או רק אחת מהן.

כדי להפעיל את Kube State Metrics בכרטיסייה Observability באשכול:

  1. במסוף Google Cloud , נכנסים לדף Kubernetes clusters:

    נכנסים לדף Kubernetes clusters.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Kubernetes Engine.

  2. לוחצים על שם האשכול ובוחרים בכרטיסייה Observability.

  3. בוחרים באפשרות Workloads State או באפשרות Storage > Persistent מרשימת התכונות.

  4. לוחצים על הפעלת החבילה.

    אם חבילת המדדים של מצב kube כבר מופעלת, תראו קבוצה של תרשימים למדדים של מצב kube.

כדי להפעיל את Kube State Metrics מהכרטיסייה Observability בפריסה:

  1. נכנסים לדף Workloads במסוף Google Cloud :

    נכנסים לדף Workloads.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Kubernetes Engine.

  2. לוחצים על שם הפריסה ובוחרים בכרטיסייה Observability.

  3. בוחרים באפשרות Kube State מרשימת התכונות.

  4. לוחצים על הפעלת החבילה. החבילה מופעלת לכל האשכול.

    אם חבילת המדדים של מצב ה-kube כבר מופעלת, תראו קבוצה של תרשימים למדדים מ-Pods, מפריסות ומ-Horizontal Pod Autoscalers.

כדי להגדיר את kube state metrics מהכרטיסייה Details של האשכול:

  1. במסוף Google Cloud , נכנסים לדף Kubernetes clusters:

    נכנסים לדף Kubernetes clusters.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Kubernetes Engine.

  2. לוחצים על שם האשכול.

  3. בשורה Features, לוחצים על סמל העריכה של Cloud Monitoring.

  4. בתיבת הדו-שיח Edit Cloud Monitoring שמופיעה, מוודאים שהאפשרות Enable Cloud Monitoring מסומנת.

  5. בתפריט הנפתח Components, בוחרים את הרכיבים של kube-state-metrics שמהם רוצים לאסוף מדדים.

  6. לוחצים על OK.

  7. לוחצים על שמירת השינויים.

gcloud

מעדכנים את האשכול כדי לאסוף מדדים:

gcloud container clusters update CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --enable-managed-prometheus \
    --monitoring=SYSTEM,DAEMONSET,DEPLOYMENT,HPA,POD,STATEFULSET,STORAGE

מחליפים את מה שכתוב בשדות הבאים:

קבוצת הערכים שסופקה לדגל monitoring מבטלת כל הגדרה קודמת.

Terraform

כדי להגדיר את האיסוף של מדדי המצב של kube באמצעות Terraform, עיינו בבלוק monitoring_config במרשם של Terraform ל-google_container_cluster. מידע כללי על השימוש ב- Google Cloud עם Terraform מופיע במאמר Terraform עם Google Cloud.

מכסה

מדדי Kube State Metrics צורכים את המכסה בקשות הטמעת נתונים של סדרת זמנים לדקה של Cloud Monitoring API. לפני שמפעילים את Kube State Metrics, בודקים את השיא האחרון בשימוש במכסה הזו. אם יש לכם הרבה אשכולות באותו פרויקט או שאתם כבר מתקרבים למגבלת המכסה, אתם יכולים לבקש להגדיל את מגבלת המכסה לפני שתפעילו את אחת מחבילות ה-observability.

תמחור

מדדי המצב של Kube משתמשים בשירות המנוהל של Google Cloud ל-Prometheus כדי לטעון מדדים ל-Cloud Monitoring. החיובים ב-Cloud Monitoring על הטמעת המדדים האלה מבוססים על מספר הדגימות שהוטמעו.

למידע נוסף, ראו התמחור של Cloud Monitoring.

פורמט המדד

כל המדדים של מצב ה-kube ב-Kubernetes שנכתבים ב-Cloud Monitoring משתמשים בסוג המשאב prometheus_target. לכל שם של מדד יש את הקידומת prometheus.googleapis.com/ וסיומת שמציינת את סוג המדד של Prometheus, כמו /gauge,‏ /histogram או /counter. אחרת, כל שם של מדד זהה לשם המדד שמוצג על ידי Kubernetes בקוד פתוח.

ייצוא מ-Cloud Monitoring

אפשר לייצא את מדדי המצב של kube מ-Cloud Monitoring באמצעות Cloud Monitoring API. כל המדדים של מצב ה-kube נקלטים באמצעות השירות המנוהל של Google Cloud ל-Prometheus, ולכן אפשר לשלוח שאילתות למדדים של מצב ה-kube באמצעות שפת השאילתות של Prometheus‏ (PromQL). אפשר גם לשלוח שאילתות באמצעות שפת שאילתת מעקב (MQL).

מדדי שאילתות

כששולחים שאילתות על מדדי מצב של Kube, השם שבו משתמשים תלוי בשאלה אם משתמשים ב-PromQL או בתכונות שמבוססות על Cloud Monitoring, כמו MQL או הממשק מבוסס התפריטים של Metrics Explorer.

בטבלאות הבאות של מדדי מצב kube מוצגות שתי גרסאות של כל שם מדד:

  • שם המדד ב-PromQL: כשמשתמשים ב-PromQL בדפי Cloud Monitoring במסוף Google Cloud או בשדות PromQL ב-Cloud Monitoring API, משתמשים בשם המדד ב-PromQL.
  • שם המדד ב-Cloud Monitoring כשמשתמשים בתכונות אחרות של Cloud Monitoring, משתמשים בשם המדד ב-Cloud Monitoring שמופיע בטבלאות שבהמשך. השם הזה חייב לכלול את הקידומת prometheus.googleapis.com/, שהושמטה מהרשומות בטבלה.

מדדי אחסון

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי אחסון של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_persistentvolume_capacity_bytes

kube_persistentvolume_capacity_bytes/gauge

GAUGE, DOUBLE, By

prometheus_target

1.27.2-gke.1200

קיבולת Persistentvolume בבייטים. נדגם כל 30 שניות.

‫persistentvolume: persistentvolume.

kube_persistentvolume_claim_ref

kube_persistentvolume_claim_ref/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מידע על ההפניה להצהרה על נפח אחסון מתמיד. נדגם כל 30 שניות.

  • ‫claim_name: claim_name.
  • ‫name: שם.
  • ‫persistentvolume: persistentvolume.

kube_persistentvolume_info

kube_persistentvolume_info/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מידע על persistentvolume. נדגם כל 30 שניות.

  • ‫csi_driver: csi_driver.
  • csi_volume_handle: csi_volume_handle.
  • local_fs: local_fs.
  • ‫local_path: local_path.
  • ‫persistentvolume: persistentvolume.
  • ‫storageclass: storageclass.

kube_persistentvolume_status_phase

kube_persistentvolume_status_phase/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

השלב מציין אם אמצעי אחסון זמין, קשור לתביעה או שוחרר על ידי תביעה. נדגם כל 30 שניות.

  • ‫persistentvolume: persistentvolume.
  • ‫phase: שלב.

kube_persistentvolumeclaim_info

kube_persistentvolumeclaim_info/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מידע על הצהרה על נפח אחסון מתמיד. נדגם כל 30 שניות.

  • ‫persistentvolumeclaim: persistentvolumeclaim.
  • ‫storageclass: storageclass.
  • ‫volumename: volumename.

kube_persistentvolumeclaim_resource_requests_storage_bytes

kube_persistentvolumeclaim_resource_requests_storage_bytes/gauge

GAUGE, DOUBLE, By

prometheus_target

1.27.2-gke.1200

קיבולת האחסון שנדרשת על ידי ההצהרה על נפח אחסון מתמיד. נדגם כל 30 שניות.

‫persistentvolumeclaim: persistentvolumeclaim.

kube_persistentvolumeclaim_status_phase

kube_persistentvolumeclaim_status_phase/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

השלב שבו נמצאת כרגע הבקשה לנפח אחסון קבוע. נדגם כל 30 שניות.

  • ‫persistentvolumeclaim: persistentvolumeclaim.
  • ‫phase: שלב.

למידע נוסף, ראו מדדי PersistentVolume ומדדי PersistentVolumeClaim.

מדדי Pod

Pod הוא קבוצה של קונטיינר אחד או יותר עם מפרט להפעלת הקונטיינרים, שחולקים משאבי אחסון ורשת.

טבלה של מדדי Pod

מדדי Pod מאפשרים לכם לעקוב אחרי ההתנהגות של ה-Pods ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube.

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי Pod של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_pod_container_status_ready

kube_pod_container_status_ready/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מציין אם בדיקת המוכנות של הקונטיינרים הצליחה. נדגם כל 30 שניות.

  • container: מאגר.
  • ‫pod: פוד.
  • ‫uid: uid.

kube_pod_container_status_waiting_reason

kube_pod_status_container_status_waiting_reason/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מתאר את הסיבה לכך שהמאגר נמצא כרגע במצב המתנה. נדגם כל 30 שניות.

  • container: מאגר.
  • ‫pod: פוד.
  • ‫reason: הסיבה.
  • ‫uid: uid.

kube_pod_status_phase

kube_pod_status_phase/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

השלב הנוכחי של הפודים. נדגם כל 30 שניות.

  • ‫phase: שלב.
  • ‫pod: פוד.
  • ‫uid: uid.

kube_pod_status_unschedulable

kube_pod_status_unschedulable/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

תיאור הסטטוס Unschedulable של ה-Pod. נדגם כל 30 שניות.

  • ‫pod: פוד.
  • ‫uid: uid.

מידע נוסף זמין במאמר מדדי Pod.

שאילתות לדוגמה למדדי Pod

כדי לבדוק אם יש פודים שלא ניתן לתזמן, משתמשים בביטוי PromQL הבא:

sum(kube_pod_status_unschedulable{cluster="CLUSTER", namespace="NAMESPACE"})

כדי לקבל התראה על מספר הפודים שלא ניתן לתזמן במרחב שמות, אפשר להשתמש בביטוי PromQL הבא:

sum(kube_pod_status_unschedulable{cluster="CLUSTER", namespace="NAMESPACE"}) > LIMIT

אפשר להשתמש במדד kube_pod_container_status_waiting_reason כדי ליצור התראה על קונטיינר שנתקע במצב המתנה ספציפי, באמצעות ביטוי PromQL כמו זה:

max_over_time(kube_pod_container_status_waiting_reason{reason="REASON", cluster="CLUSTER", namespace="NAMESPACE"}[5m]) >= 1

הערך של REASON מציין את מצב ההמתנה של מאגר התגים, לדוגמה:

  • CrashLoopBackOff
  • ImagePullBackOff
  • ContainerCreating

כדי ליצור התראה על קונטיינר שנתקע באחד ממצבי ההמתנה, משתמשים בביטוי PromQL הבא:

max_over_time(kube_pod_container_status_waiting_reason{cluster="CLUSTER", namespace="NAMESPACE"}[5m]) >= 1

כדי לקבוע כמה קונטיינרים נכשלים בבדיקות המוכנות, משתמשים בביטוי PromQL הבא:

sum(kube_pod_container_status_ready) by (pod, container) == 0

חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.

מדריכים אינטראקטיביים

המדדים של Kube State משמשים גם בפלייבוקים האינטראקטיביים של GKE לפתרון בעיות בפודים שלא ניתנים לתזמון או שנמצאים בלולאת קריסה. למידע נוסף על מצבי הכשל האלה, קראו את מאמרי העזרה הבאים:

אם חבילת המדדים של מצב ה-kube לא מופעלת, הדרך העיקרית לזהות בעיות בתזמון pod היא לשלוח שאילתה לאירועי היומן "Failed Scheduling". אחרי שמפעילים את חבילת המדדים של מצב ה-kube, אפשר להשתמש במדד kube_pod_status_unschedulable, שמשרת את אותה מטרה אבל קל יותר לצבור אותו ולהציג אותו בתרשים. בעזרת המדד אפשר לראות כמה Pods לא ניתנים לתזמון ומתי הבעיה התחילה.

באופן דומה, המדד kubernetes.io/container/restart_count של מערכת GKE יכול לעזור לכם לזהות פודים שנתקעו בלולאת קריסה. המדד kube_pod_container_status_waiting_reason גם מונה פודים בלולאת קריסה, ומאפשר לכם לקבוע אם הפודים תקועים במצבי המתנה אחרים מלבד CrashLookBackOff, כמו ImagePullBackOff ו-ContainerCreating.

כדי לעיין בפלייבוקים האינטראקטיביים:

  1. נכנסים לדף  Dashboards במסוף Google Cloud :

    עוברים אל מרכזי בקרה.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Monitoring.

  2. כדי לסנן את רשימת לוחות הבקרה, לוחצים על הקטגוריה G​C​P.
  3. לוחצים על השם של לוח הבקרה GKE Interactive Playbook ברשימה.

מדדי פריסה

פריסה היא בקר שמעדכן את מצב המשאבים, כמו Pods, כדי לנהל אירועים כמו השקות והשבתות.

טבלה של מדדי פריסה

המדדים של Deployment מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי פריסה של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_deployment_spec_replicas

kube_deployment_spec_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר ה-pods הרצוי לפריסה. נדגם כל 30 שניות.

‫deployment: פריסה.

kube_deployment_status_replicas_available

kube_deployment_status_replicas_available/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הרפליקות הזמינות לכל פריסה. נדגם כל 30 שניות.

‫deployment: פריסה.

kube_deployment_status_replicas_updated

kube_deployment_status_replicas_updated/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הרפליקות המעודכנות בכל פריסה. נדגם כל 30 שניות.

‫deployment: פריסה.

מידע נוסף זמין במאמר מדדי פריסה.

שאילתות לדוגמה למדדי פריסה

כדי ליצור תרשימים ומדיניות התראות לפריסות ספציפיות, אפשר לסנן את מדדי הפריסה לפי אשכול, מרחב שמות ושם הפריסה.

לדוגמה, כדי להשוות בין מספר הרפליקות הזמינות למספר הרפליקות הצפוי בפריסה אחת, אפשר להשתמש בשאילתות PromQL הבאות כדי להציג את שני המדדים בתרשים אחד:

kube_deployment_spec_replicas{cluster="CLUSTER", namespace="NAMESPACE", deployment=DEPLOYMENT"}
וגם
kube_deployment_status_replicas_available{cluster="CLUSTER", namespace="NAMESPACE", deployment=DEPLOYMENT"}

כדי לקבל התראה על פריסה שנכשלה או נתקעה, אתם יכולים להשתמש בביטוי PromQL הבא:

(
  kube_deployment_spec_replicas{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}
    >
  kube_deployment_status_replicas_available{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}
) and (
  changes(kube_deployment_status_replicas_updated{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}[10m])
    ==
  0
)

חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.

מדדי StatefulSet

‫StatefulSet הוא בקר שמנהל את הפריסה וההתאמה לעומס (scaling) של קבוצת Pods לאפליקציות עם שמירת מצב (stateful). הבקר הזה מנהל את הסדר והייחודיות של Pods.

טבלת המדדים של StatefulSet

המדדים של StatefulSet מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי StatefulSet של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_statefulset_replicas

kube_statefulset_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר ה-Pods הרצוי ל-StatefulSet. נדגם כל 30 שניות.

‫statefulset: statefulset.

kube_statefulset_status_replicas_ready

kube_statefulset_status_replicas_ready/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הרפליקות המוכנות לכל StatefulSet. נדגם כל 30 שניות.

‫statefulset: statefulset.

kube_statefulset_status_replicas_updated

kube_statefulset_status_replicas_updated/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הרפליקות המעודכנות לכל StatefulSet. נדגם כל 30 שניות.

‫statefulset: statefulset.

מידע נוסף זמין במאמר מדדי StatefulSet.

שאילתות לדוגמה למדדי StatefulSet

אפשר ליצור תרשימים ומדיניות התראות ל-StatefulSets ספציפיים על ידי סינון מדדי StatefulSet לפי אשכול, מרחב שמות ושם ה-StatefulSet.

לדוגמה, כדי להשוות בין מספר הרפליקות הזמינות למספר הרפליקות הצפוי ב-StatefulSet יחיד, אתם יכולים להשתמש בשאילתות PromQL הבאות כדי לשרטט את שני המדדים בתרשים אחד:

kube_statefulset_replicas{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
וגם
kube_statefulset_status_replicas_ready{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}

כדי לקבל התראה על השקה של StatefulSet שנכשלה או נתקעה, אתם יכולים להשתמש בביטוי PromQL הבא:

(
  kube_statefulset_replicas{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
    >
  kube_statefulset_status_replicas_ready{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
) and (
  changes(kube_statefulset_status_replicas_updated{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}[10m])
    ==
  0
)

חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.

מדדי DaemonSet

‫DaemonSet הוא בקר שעוזר לוודא שקבוצה מסוימת של צמתים מריצה עותק של Pod. לדוגמה, כשמוסיפים צמתים לאשכול, ה-DaemonSet מוסיף Pods לצמתים. הבקר הזה עוזר לוודא שתהליכים מסוימים פועלים בכל צומת.

טבלה של מדדי DaemonSet

המדדים של DaemonSet מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי DaemonSet של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_daemonset_status_desired_number_scheduled

kube_daemonset_status_desired_number_scheduled/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הצמתים שבהם אמור לפעול ה-daemon pod. נדגם כל 30 שניות.

‫daemonset: daemonset.

kube_daemonset_status_number_misscheduled

kube_daemonset_status_number_misscheduled/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הצמתים שמריצים pod של daemon, אבל לא אמורים לעשות זאת. נדגם כל 30 שניות.

‫daemonset: daemonset.

kube_daemonset_status_number_ready

kube_daemonset_status_number_ready/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הצמתים שבהם אמור לפעול ה-daemon pod, ושאחד או יותר מה-daemon pods שלהם פועלים ומוכנים. נדגם כל 30 שניות.

‫daemonset: daemonset.

kube_daemonset_status_updated_number_scheduled

kube_daemonset_status_updated_number_scheduled/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הצמתים שבהם פועל daemon pod מעודכן. נדגם כל 30 שניות.

‫daemonset: daemonset.

למידע נוסף, ראו מדדי DaemonSet.

שאילתות לדוגמה למדדי DaemonSet

אפשר ליצור תרשימים ומדיניות התראות ל-DaemonSets ספציפיים על ידי סינון מדדי daemonset לפי אשכול, מרחב שמות ושם ה-DaemonSet.

לדוגמה, כדי להשוות בין מספר הרפליקות הזמינות למספר הרפליקות הצפוי ב-DaemonSet יחיד, אפשר להשתמש בשאילתות PromQL הבאות כדי להציג את שני המדדים בתרשים אחד:

kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonsetset=DAEMONSET"}
וגם
kube_daemonset_status_desired_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset=DAEMONSET"}

כדי לקבל התראה על השקה של DaemonSet שנכשלה או נתקעה, אתם יכולים להשתמש בביטוי PromQL הבא:

(
  (
    kube_daemonset_status_number_misscheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
      !=
    0
  ) or (
    kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
      !=
    kube_daemonset_status_desired_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
  )
) and (
  changes(kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}[5m])
    ==
  0
)

חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.

מדדי HorizontalPodAutoscaler

‫HorizontalPodAutoscaler‏ (HPA) הוא בקר שמשנה מדי פעם את מספר הפודים בעומס עבודה, כמו Deployment או StatefulSet, בתגובה למדד מסוים כמו ניצול המעבד (CPU) או ניצול זיכרון. שינוי מספר ה-Pods שזמינים לעומס עבודה שומר על עומס העבודה מגיב אבל יעיל.

מידע נוסף על HPA זמין במאמר הצגת פרטים על Horizontal Pod Autoscaler.

טבלה של מדדי HPA

המדדים של HorizontalPodAutoscaler מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי HorizontalPodAutoscaler של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_horizontalpodautoscaler_spec_max_replicas

kube_horizontalpodautoscaler_spec_max_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

המספר המקסימלי של Pods שאפשר להגדיר באמצעות ההתאמה האוטומטית לעומס. המספר לא יכול להיות קטן מ-MinReplicas. נדגם כל 30 שניות.

‫horizontalpodautoscaler: horizontalpodautoscaler.

kube_horizontalpodautoscaler_spec_min_replicas

kube_horizontalpodautoscaler_spec_min_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

הגבול התחתון למספר הפודים שאפשר להגדיר באמצעות ה-autoscaler, ברירת המחדל היא 1. נדגם כל 30 שניות.

‫horizontalpodautoscaler: horizontalpodautoscaler.

kube_horizontalpodautoscaler_spec_target_metric

kube_horizontalpodautoscaler_spec_target_metric/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מפרטי המדדים שמשמשים את המידרוג האוטומטי הזה כשמחשבים את מספר הרפליקות הרצוי. נדגם כל 30 שניות.

  • ‫horizontalpodautoscaler: horizontalpodautoscaler.
  • metric_name: metric_name.
  • metric_target_type: metric_target_type.

kube_horizontalpodautoscaler_status_condition

kube_horizontalpodautoscaler_status_condition/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

המצב של המדרוג האוטומטי הזה. נדגם כל 30 שניות.

  • condition: מצב.
  • ‫horizontalpodautoscaler: horizontalpodautoscaler.
  • ‫namespace: מרחב שמות.
  • status: סטטוס.

kube_horizontalpodautoscaler_status_current_replicas

kube_horizontalpodautoscaler_status_status_current_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

המספר הנוכחי של רפליקות של Pods שמנוהלות על ידי המידרוג האוטומטי הזה. נדגם כל 30 שניות.

‫horizontalpodautoscaler: horizontalpodautoscaler.

kube_horizontalpodautoscaler_status_desired_replicas

kube_horizontalpodautoscaler_status_desired_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.27.2-gke.1200

מספר הרפליקות הרצוי של Pods שמנוהלים על ידי ה-autoscaler הזה. נדגם כל 30 שניות.

‫horizontalpodautoscaler: horizontalpodautoscaler.

מידע נוסף זמין במאמר מדדים של Horizontal Pod Autoscaler (HPA).

שאילתות לדוגמה למדדי HPA

לדוגמה, כדי לקבוע אם ה-HPA מתקרב למספר המקסימלי של רפליקות, אפשר לשרטט את היחס הבא:

kube_horizontalpodautoscaler_status_current_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"} /
kube_horizontalpodautoscaler_spec_max_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}

כשה-HPA פועל עם המספר המקסימלי של רפליקות, יכול להיות שתרצו להגדיל את המפרט של המספר המקסימלי של הפודים. כדי ליצור התראה שתיידע אתכם על המקרה הזה, אתם יכולים להשתמש בביטוי PromQL הבא:

kube_horizontalpodautoscaler_status_current_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}
  ==
kube_horizontalpodautoscaler_spec_max_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}

אפשר גם להשוות בין הערכים של המדדים kube_horizontalpodautoscaler_status_current_replicas ו-kube_horizontalpodautoscaler_status_desired_replicas כדי לבדוק אם יש הבדל בין מספר הרפליקות הנוכחי למספר הרפליקות הנדרש. הבדל כזה יכול להצביע על מגבלת משאבים באשכול. הביטוי הבא ב-PromQL מחפש הבדלים בין המספר הנוכחי של הרפליקות לבין המספרים הדרושים, המינימליים והמקסימליים של הרפליקות, וגם שינויים במספר הנוכחי של הרפליקות:

(kube_horizontalpodautoscaler_status_desired_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
  !=
kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
  and
(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
  >
kube_horizontalpodautoscaler_spec_min_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
  and
(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
  <
kube_horizontalpodautoscaler_spec_max_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
  and
changes(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}[15m]) == 0

התוויות condition ו-status במדד kube_horizontalpodautoscaler_status_condition יכולות גם לעזור לכם לזהות מתי מתרחשים מצבי כשל שונים ב-HPA. לדוגמה:

  • התנאי ScalingLimited והסטטוס true מציינים שה-HPA מוגבל על ידי מספר הרפליקות המינימלי או המקסימלי שלו:
    kube_horizontalpodautoscaler_status_condition{status="true", condition="ScalingLimited"} == 1
  • התנאי AbleToScale והסטטוס false מציינים שה-HPA נתקל בבעיות באחזור או בעדכון של קנה המידה:

    kube_horizontalpodautoscaler_status_condition{status="false", condition="AbleToScale"} == 1

  • התנאי ScalingActive והסטטוס false מציינים שה-HPA מושבת או לא יכול לחשב קנה מידה חדש:

    kube_horizontalpodautoscaler_status_condition{status="false", condition="ScalingActive"} == 1

חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.

מדדי JobSet

‫Jobset הוא ממשק API של עומסי עבודה שמאפשר לנהל קבוצה של משימות ב-Kubernetes כיחידה אחת. התרחיש הנפוץ ביותר לשימוש ב-JobSet הוא אימון מבוזר, אבל אפשר גם להשתמש בו כדי להריץ עומסי עבודה באצווה.

מידע נוסף על JobSets זמין במסמכי התיעוד של JobSet.

טבלה של מדדי JobSet

המדדים של JobSet מאפשרים לכם לעקוב אחרי ההתנהגות של ה-JobSets ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

מדדי JobSet של מצב Kube
שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת תיאור ותוויות

kube_jobset_specified_replicas

kube_jobset_specified_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

מספר הרפליקות שצוינו לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • ‫replicated_job_name: replicated_job_name.

kube_jobset_ready_replicas

kube_jobset_ready_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

מספר הרפליקות במצב READY לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • ‫replicated_job_name: replicated_job_name.

kube_jobset_succeeded_replicas

kube_jobset_succeeded_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

מספר הרפליקות במצב SUCCEEDED לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • ‫replicated_job_name: replicated_job_name.

kube_jobset_failed_replicas

kube_jobset_failed_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

‫מספר הרפליקות במצב FAILED לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • ‫replicated_job_name: replicated_job_name.

kube_jobset_active_replicas

kube_jobset_active_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

מספר הרפליקות במצב ACTIVE לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • ‫replicated_job_name: replicated_job_name.

kube_jobset_suspended_replicas

kube_jobset_suspended_replicas/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

מספר הרפליקות במצב SUSPENDED לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • ‫replicated_job_name: replicated_job_name.

kube_jobset_status_condition

kube_jobset_status_condition/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.1-gke.1357001

תנאי הסטטוס הנוכחיים של JobSet. נדגם כל 30 שניות.

  • ‫jobset_name: jobset_name.
  • condition: מצב.

kube_jobset_restarts

kube_jobset_restarts/gauge

GAUGE, DOUBLE, 1

prometheus_target

1.32.4-gke.1767000

1.33.0-gke.1868000

מספר ההפעלות מחדש של JobSet. נדגם כל 30 שניות.

‫jobset_name: jobset_name.

שאילתות לדוגמה למדדי JobSet

כדי ליצור תרשימים ומדיניות התראות ל-JobSets ספציפיים, אפשר לסנן את המדדים של JobSet לפי אשכול, מרחב שמות ושם ה-JobSet.

לדוגמה, כדי להשוות בין מספר הרפליקות במצב READY לבין מספר הרפליקות הצפוי ב-JobSet יחיד, אפשר להציג את שני המדדים בתרשים אחד באמצעות השאילתות הבאות ב-PromQL:

kube_jobset_specified_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
וגם
kube_jobset_ready_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}

כדי לקבל התראה על השקה של JobSet שנכשלה או לא זמינה, אתם יכולים להשתמש בביטוי PromQL הבא:

kube_jobset_specified_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
  >
kube_jobset_ready_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}

התווית condition במדד kube_jobset_status_condition יכולה גם לעזור לכם לזהות מתי קבוצות של משימות נתקלות במצבי כשל שונים, לדוגמה:

  • התנאי Failed מציין שההרצה של ה-JobSet נכשלה:
    kube_jobset_status_condition{jobset_name="JOBSET_NAME, condition="Failed"} == 1
  • התנאי Suspended מציין שה-JobSet מושהה:
    kube_jobset_status_condition{jobset_name="JOBSET_NAME, condition="Suspended"} == 1

חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.

המאמרים הבאים