בדף הזה מוסבר איך להגדיר אשכול Google Kubernetes Engine (GKE) כדי לשלוח קבוצה נבחרת של מצבי kube, כולל מדדים של פודים ופריסות, ל-Cloud Monitoring באמצעות השירות המנוהל של Google Cloud ל-Prometheus. בנוסף, מוסבר איך המדדים האלה מעוצבים כשהם נכתבים ב-Monitoring ואיך שולחים שאילתות לגבי מדדים.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:
- מפעילים את Google Kubernetes Engine API. הפעלת Google Kubernetes Engine API
- כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה
gcloud components updateכדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.
דרישות
כדי לאסוף מדדי מצב של Kube, אשכול GKE צריך לעמוד בדרישות הבאות:
- האשכול צריך להריץ את הגרסאות הבאות, בהתאם למדד שרוצים להפעיל:
- כדי להפעיל את חבילת המדדים של JobSet, באשכול צריכה לפעול גרסה 1.32.1-gke.1357001 ואילך. החל מגרסה 1.32.1-gke.1357001, חבילת המדדים של JobSet מופעלת כברירת מחדל באשכולות חדשים של GKE Standard ו-Autopilot.
- המדד
kube_jobset_restartsזמין באשכולות בגרסה 1.32 החל מ-1.32.4-gke.1767000 ובאשכולות בגרסה 1.33 החל מ-1.33.0-gke.1868000. - כדי להפעיל חבילות מדדים אחרות שמתוארות בדף הזה, באשכול צריכה לפעול גרסה GKE 1.27.2-gke.1200 ואילך. החל מגרסה 1.29.2-gke.2000 לאשכולות GKE Standard ומגרסה 1.27.4-gke.900 לאשכולות GKE Autopilot, חבילת המדדים של מצב Kube מופעלת כברירת מחדל.
- באשכול צריכה להיות הפעלה של מדדי המערכת.
- באשכול צריך להפעיל את השירות המנוהל של Google Cloud ל-Prometheus לאיסוף מנוהל. כברירת מחדל, האיסוף המנוהל של השירות המנוהל של Google Cloud ל-Prometheus מופעל באשכולות חדשים.
הגדרת האיסוף של מדדי מצב של Kube
אפשר להפעיל את Kube State Metrics באמצעות מסוף Google Cloud , ה-CLI של gcloud או Terraform:
המסוף
אפשר להפעיל את Kube State Metrics מהכרטיסייה Observability של אשכול או של פריסה בתוך אשכול. אפשר גם לראות תצוגה מקדימה של התרשימים והמדדים הזמינים לפני שמפעילים את חבילת המדדים.
בכרטיסייה Observability של אשכול, אפשר לסנן את קבוצת התרשימים של מדדי המצב של kube לפי שני הפריטים הבאים:
- מצב עומסי העבודה: כולל את המדדים של המשאבים Pods, Deployments, StatefulSets, DaemonSets ו-HorizontalPodAutoscaler.
- Storage > Persistent: כולל את המדדים של Persistent Volumes ו-Persistent Volume Claims.
אפשר להפעיל את שתי קבוצות המדדים או רק אחת מהן.
כדי להפעיל את Kube State Metrics בכרטיסייה Observability באשכול:
-
במסוף Google Cloud , נכנסים לדף Kubernetes clusters:
נכנסים לדף Kubernetes clusters.
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Kubernetes Engine.
לוחצים על שם האשכול ובוחרים בכרטיסייה Observability.
בוחרים באפשרות Workloads State או באפשרות Storage > Persistent מרשימת התכונות.
לוחצים על הפעלת החבילה.
אם חבילת המדדים של מצב kube כבר מופעלת, תראו קבוצה של תרשימים למדדים של מצב kube.
כדי להפעיל את Kube State Metrics מהכרטיסייה Observability בפריסה:
-
נכנסים לדף Workloads במסוף Google Cloud :
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Kubernetes Engine.
לוחצים על שם הפריסה ובוחרים בכרטיסייה Observability.
בוחרים באפשרות Kube State מרשימת התכונות.
לוחצים על הפעלת החבילה. החבילה מופעלת לכל האשכול.
אם חבילת המדדים של מצב ה-kube כבר מופעלת, תראו קבוצה של תרשימים למדדים מ-Pods, מפריסות ומ-Horizontal Pod Autoscalers.
כדי להגדיר את kube state metrics מהכרטיסייה Details של האשכול:
-
במסוף Google Cloud , נכנסים לדף Kubernetes clusters:
נכנסים לדף Kubernetes clusters.
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Kubernetes Engine.
לוחצים על שם האשכול.
בשורה Features, לוחצים על סמל העריכה של Cloud Monitoring.
בתיבת הדו-שיח Edit Cloud Monitoring שמופיעה, מוודאים שהאפשרות Enable Cloud Monitoring מסומנת.
בתפריט הנפתח Components, בוחרים את הרכיבים של kube-state-metrics שמהם רוצים לאסוף מדדים.
לוחצים על OK.
לוחצים על שמירת השינויים.
gcloud
מעדכנים את האשכול כדי לאסוף מדדים:
gcloud container clusters update CLUSTER_NAME \
--location=COMPUTE_LOCATION \
--enable-managed-prometheus \
--monitoring=SYSTEM,DAEMONSET,DEPLOYMENT,HPA,POD,STATEFULSET,STORAGE
מחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: השם של האשכול הקיים. COMPUTE_LOCATION: המיקום של האשכול ב-Compute Engine.
קבוצת הערכים שסופקה לדגל monitoring מבטלת כל הגדרה קודמת.
Terraform
כדי להגדיר את האיסוף של מדדי המצב של kube באמצעות Terraform, עיינו בבלוק monitoring_config במרשם של Terraform ל-google_container_cluster.
מידע כללי על השימוש ב- Google Cloud עם Terraform מופיע במאמר Terraform עם Google Cloud.
מכסה
מדדי Kube State Metrics צורכים את המכסה בקשות הטמעת נתונים של סדרת זמנים לדקה של Cloud Monitoring API. לפני שמפעילים את Kube State Metrics, בודקים את השיא האחרון בשימוש במכסה הזו. אם יש לכם הרבה אשכולות באותו פרויקט או שאתם כבר מתקרבים למגבלת המכסה, אתם יכולים לבקש להגדיל את מגבלת המכסה לפני שתפעילו את אחת מחבילות ה-observability.
תמחור
מדדי המצב של Kube משתמשים בשירות המנוהל של Google Cloud ל-Prometheus כדי לטעון מדדים ל-Cloud Monitoring. החיובים ב-Cloud Monitoring על הטמעת המדדים האלה מבוססים על מספר הדגימות שהוטמעו.
למידע נוסף, ראו התמחור של Cloud Monitoring.
פורמט המדד
כל המדדים של מצב ה-kube ב-Kubernetes שנכתבים ב-Cloud Monitoring משתמשים בסוג המשאב prometheus_target.
לכל שם של מדד יש את הקידומת prometheus.googleapis.com/ וסיומת שמציינת את סוג המדד של Prometheus, כמו /gauge, /histogram או /counter. אחרת, כל שם של מדד זהה לשם המדד שמוצג על ידי Kubernetes בקוד פתוח.
ייצוא מ-Cloud Monitoring
אפשר לייצא את מדדי המצב של kube מ-Cloud Monitoring באמצעות Cloud Monitoring API. כל המדדים של מצב ה-kube נקלטים באמצעות השירות המנוהל של Google Cloud ל-Prometheus, ולכן אפשר לשלוח שאילתות למדדים של מצב ה-kube באמצעות שפת השאילתות של Prometheus (PromQL). אפשר גם לשלוח שאילתות באמצעות שפת שאילתת מעקב (MQL).
מדדי שאילתות
כששולחים שאילתות על מדדי מצב של Kube, השם שבו משתמשים תלוי בשאלה אם משתמשים ב-PromQL או בתכונות שמבוססות על Cloud Monitoring, כמו MQL או הממשק מבוסס התפריטים של Metrics Explorer.
בטבלאות הבאות של מדדי מצב kube מוצגות שתי גרסאות של כל שם מדד:
- שם המדד ב-PromQL: כשמשתמשים ב-PromQL בדפי Cloud Monitoring במסוף Google Cloud או בשדות PromQL ב-Cloud Monitoring API, משתמשים בשם המדד ב-PromQL.
- שם המדד ב-Cloud Monitoring כשמשתמשים בתכונות אחרות של Cloud Monitoring, משתמשים בשם המדד ב-Cloud Monitoring שמופיע בטבלאות שבהמשך. השם הזה חייב לכלול את הקידומת
prometheus.googleapis.com/, שהושמטה מהרשומות בטבלה.
מדדי אחסון
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.27.2-gke.1200 |
קיבולת Persistentvolume בבייטים. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מידע על ההפניה להצהרה על נפח אחסון מתמיד. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
מידע על persistentvolume. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
השלב מציין אם אמצעי אחסון זמין, קשור לתביעה או שוחרר על ידי תביעה. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
מידע על הצהרה על נפח אחסון מתמיד. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
קיבולת האחסון שנדרשת על ידי ההצהרה על נפח אחסון מתמיד. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
השלב שבו נמצאת כרגע הבקשה לנפח אחסון קבוע. נדגם כל 30 שניות.
|
למידע נוסף, ראו מדדי PersistentVolume ומדדי PersistentVolumeClaim.
מדדי Pod
Pod הוא קבוצה של קונטיינר אחד או יותר עם מפרט להפעלת הקונטיינרים, שחולקים משאבי אחסון ורשת.
טבלה של מדדי Pod
מדדי Pod מאפשרים לכם לעקוב אחרי ההתנהגות של ה-Pods ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube.
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.27.2-gke.1200 |
מציין אם בדיקת המוכנות של הקונטיינרים הצליחה. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
מתאר את הסיבה לכך שהמאגר נמצא כרגע במצב המתנה. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
השלב הנוכחי של הפודים. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
תיאור הסטטוס Unschedulable של ה-Pod. נדגם כל 30 שניות.
|
מידע נוסף זמין במאמר מדדי Pod.
שאילתות לדוגמה למדדי Pod
כדי לבדוק אם יש פודים שלא ניתן לתזמן, משתמשים בביטוי PromQL הבא:
sum(kube_pod_status_unschedulable{cluster="CLUSTER", namespace="NAMESPACE"})
כדי לקבל התראה על מספר הפודים שלא ניתן לתזמן במרחב שמות, אפשר להשתמש בביטוי PromQL הבא:
sum(kube_pod_status_unschedulable{cluster="CLUSTER", namespace="NAMESPACE"}) > LIMIT
אפשר להשתמש במדד kube_pod_container_status_waiting_reason כדי ליצור התראה על קונטיינר שנתקע במצב המתנה ספציפי, באמצעות ביטוי PromQL כמו זה:
max_over_time(kube_pod_container_status_waiting_reason{reason="REASON", cluster="CLUSTER", namespace="NAMESPACE"}[5m]) >= 1
הערך של REASON מציין את מצב ההמתנה של מאגר התגים, לדוגמה:
CrashLoopBackOffImagePullBackOffContainerCreating
כדי ליצור התראה על קונטיינר שנתקע באחד ממצבי ההמתנה, משתמשים בביטוי PromQL הבא:
max_over_time(kube_pod_container_status_waiting_reason{cluster="CLUSTER", namespace="NAMESPACE"}[5m]) >= 1
כדי לקבוע כמה קונטיינרים נכשלים בבדיקות המוכנות, משתמשים בביטוי PromQL הבא:
sum(kube_pod_container_status_ready) by (pod, container) == 0
חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.
מדריכים אינטראקטיביים
המדדים של Kube State משמשים גם בפלייבוקים האינטראקטיביים של GKE לפתרון בעיות בפודים שלא ניתנים לתזמון או שנמצאים בלולאת קריסה. למידע נוסף על מצבי הכשל האלה, קראו את מאמרי העזרה הבאים:
אם חבילת המדדים של מצב ה-kube לא מופעלת, הדרך העיקרית לזהות בעיות בתזמון pod היא לשלוח שאילתה לאירועי היומן "Failed Scheduling". אחרי שמפעילים את חבילת המדדים של מצב ה-kube, אפשר להשתמש במדד kube_pod_status_unschedulable, שמשרת את אותה מטרה אבל קל יותר לצבור אותו ולהציג אותו בתרשים. בעזרת המדד אפשר לראות כמה Pods לא ניתנים לתזמון ומתי הבעיה התחילה.
באופן דומה, המדד kubernetes.io/container/restart_count של מערכת GKE יכול לעזור לכם לזהות פודים שנתקעו בלולאת קריסה. המדד kube_pod_container_status_waiting_reason גם מונה פודים בלולאת קריסה, ומאפשר לכם לקבוע אם הפודים תקועים במצבי המתנה אחרים מלבד CrashLookBackOff, כמו ImagePullBackOff ו-ContainerCreating.
כדי לעיין בפלייבוקים האינטראקטיביים:
-
נכנסים לדף Dashboards במסוף Google Cloud :
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Monitoring.
- כדי לסנן את רשימת לוחות הבקרה, לוחצים על הקטגוריה GCP.
- לוחצים על השם של לוח הבקרה GKE Interactive Playbook ברשימה.
מדדי פריסה
פריסה היא בקר שמעדכן את מצב המשאבים, כמו Pods, כדי לנהל אירועים כמו השקות והשבתות.
טבלה של מדדי פריסה
המדדים של Deployment מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.27.2-gke.1200 |
מספר ה-pods הרצוי לפריסה. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הרפליקות הזמינות לכל פריסה. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הרפליקות המעודכנות בכל פריסה. נדגם כל 30 שניות. |
מידע נוסף זמין במאמר מדדי פריסה.
שאילתות לדוגמה למדדי פריסה
כדי ליצור תרשימים ומדיניות התראות לפריסות ספציפיות, אפשר לסנן את מדדי הפריסה לפי אשכול, מרחב שמות ושם הפריסה.
לדוגמה, כדי להשוות בין מספר הרפליקות הזמינות למספר הרפליקות הצפוי בפריסה אחת, אפשר להשתמש בשאילתות PromQL הבאות כדי להציג את שני המדדים בתרשים אחד:
kube_deployment_spec_replicas{cluster="CLUSTER", namespace="NAMESPACE", deployment=DEPLOYMENT"}
kube_deployment_status_replicas_available{cluster="CLUSTER", namespace="NAMESPACE", deployment=DEPLOYMENT"}
כדי לקבל התראה על פריסה שנכשלה או נתקעה, אתם יכולים להשתמש בביטוי PromQL הבא:
(
kube_deployment_spec_replicas{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}
>
kube_deployment_status_replicas_available{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}
) and (
changes(kube_deployment_status_replicas_updated{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}[10m])
==
0
)
חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.
מדדי StatefulSet
StatefulSet הוא בקר שמנהל את הפריסה וההתאמה לעומס (scaling) של קבוצת Pods לאפליקציות עם שמירת מצב (stateful). הבקר הזה מנהל את הסדר והייחודיות של Pods.
טבלת המדדים של StatefulSet
המדדים של StatefulSet מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.27.2-gke.1200 |
מספר ה-Pods הרצוי ל-StatefulSet. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הרפליקות המוכנות לכל StatefulSet. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הרפליקות המעודכנות לכל StatefulSet. נדגם כל 30 שניות. |
מידע נוסף זמין במאמר מדדי StatefulSet.
שאילתות לדוגמה למדדי StatefulSet
אפשר ליצור תרשימים ומדיניות התראות ל-StatefulSets ספציפיים על ידי סינון מדדי StatefulSet לפי אשכול, מרחב שמות ושם ה-StatefulSet.
לדוגמה, כדי להשוות בין מספר הרפליקות הזמינות למספר הרפליקות הצפוי ב-StatefulSet יחיד, אתם יכולים להשתמש בשאילתות PromQL הבאות כדי לשרטט את שני המדדים בתרשים אחד:
kube_statefulset_replicas{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
kube_statefulset_status_replicas_ready{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
כדי לקבל התראה על השקה של StatefulSet שנכשלה או נתקעה, אתם יכולים להשתמש בביטוי PromQL הבא:
(
kube_statefulset_replicas{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
>
kube_statefulset_status_replicas_ready{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
) and (
changes(kube_statefulset_status_replicas_updated{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}[10m])
==
0
)
חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.
מדדי DaemonSet
DaemonSet הוא בקר שעוזר לוודא שקבוצה מסוימת של צמתים מריצה עותק של Pod. לדוגמה, כשמוסיפים צמתים לאשכול, ה-DaemonSet מוסיף Pods לצמתים. הבקר הזה עוזר לוודא שתהליכים מסוימים פועלים בכל צומת.
טבלה של מדדי DaemonSet
המדדים של DaemonSet מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הצמתים שבהם אמור לפעול ה-daemon pod. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הצמתים שמריצים pod של daemon, אבל לא אמורים לעשות זאת. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הצמתים שבהם אמור לפעול ה-daemon pod, ושאחד או יותר מה-daemon pods שלהם פועלים ומוכנים. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הצמתים שבהם פועל daemon pod מעודכן. נדגם כל 30 שניות. |
למידע נוסף, ראו מדדי DaemonSet.
שאילתות לדוגמה למדדי DaemonSet
אפשר ליצור תרשימים ומדיניות התראות ל-DaemonSets ספציפיים על ידי סינון מדדי daemonset לפי אשכול, מרחב שמות ושם ה-DaemonSet.
לדוגמה, כדי להשוות בין מספר הרפליקות הזמינות למספר הרפליקות הצפוי ב-DaemonSet יחיד, אפשר להשתמש בשאילתות PromQL הבאות כדי להציג את שני המדדים בתרשים אחד:
kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonsetset=DAEMONSET"}
kube_daemonset_status_desired_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset=DAEMONSET"}
כדי לקבל התראה על השקה של DaemonSet שנכשלה או נתקעה, אתם יכולים להשתמש בביטוי PromQL הבא:
(
(
kube_daemonset_status_number_misscheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
!=
0
) or (
kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
!=
kube_daemonset_status_desired_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
)
) and (
changes(kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}[5m])
==
0
)
חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.
מדדי HorizontalPodAutoscaler
HorizontalPodAutoscaler (HPA) הוא בקר שמשנה מדי פעם את מספר הפודים בעומס עבודה, כמו Deployment או StatefulSet, בתגובה למדד מסוים כמו ניצול המעבד (CPU) או ניצול זיכרון. שינוי מספר ה-Pods שזמינים לעומס עבודה שומר על עומס העבודה מגיב אבל יעיל.
מידע נוסף על HPA זמין במאמר הצגת פרטים על Horizontal Pod Autoscaler.
טבלה של מדדי HPA
המדדים של HorizontalPodAutoscaler מאפשרים לעקוב אחרי ההתנהגות של הבקר ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.27.2-gke.1200 |
המספר המקסימלי של Pods שאפשר להגדיר באמצעות ההתאמה האוטומטית לעומס. המספר לא יכול להיות קטן מ-MinReplicas. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
הגבול התחתון למספר הפודים שאפשר להגדיר באמצעות ה-autoscaler, ברירת המחדל היא 1. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מפרטי המדדים שמשמשים את המידרוג האוטומטי הזה כשמחשבים את מספר הרפליקות הרצוי. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
המצב של המדרוג האוטומטי הזה. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.27.2-gke.1200 |
המספר הנוכחי של רפליקות של Pods שמנוהלות על ידי המידרוג האוטומטי הזה. נדגם כל 30 שניות. |
|
|
prometheus_target 1.27.2-gke.1200 |
מספר הרפליקות הרצוי של Pods שמנוהלים על ידי ה-autoscaler הזה. נדגם כל 30 שניות. |
מידע נוסף זמין במאמר מדדים של Horizontal Pod Autoscaler (HPA).
שאילתות לדוגמה למדדי HPA
לדוגמה, כדי לקבוע אם ה-HPA מתקרב למספר המקסימלי של רפליקות, אפשר לשרטט את היחס הבא:
kube_horizontalpodautoscaler_status_current_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"} /
kube_horizontalpodautoscaler_spec_max_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}
כשה-HPA פועל עם המספר המקסימלי של רפליקות, יכול להיות שתרצו להגדיל את המפרט של המספר המקסימלי של הפודים. כדי ליצור התראה שתיידע אתכם על המקרה הזה, אתם יכולים להשתמש בביטוי PromQL הבא:
kube_horizontalpodautoscaler_status_current_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}
==
kube_horizontalpodautoscaler_spec_max_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}
אפשר גם להשוות בין הערכים של המדדים kube_horizontalpodautoscaler_status_current_replicas ו-kube_horizontalpodautoscaler_status_desired_replicas כדי לבדוק אם יש הבדל בין מספר הרפליקות הנוכחי למספר הרפליקות הנדרש. הבדל כזה יכול להצביע על מגבלת משאבים באשכול. הביטוי הבא ב-PromQL מחפש הבדלים בין המספר הנוכחי של הרפליקות לבין המספרים הדרושים, המינימליים והמקסימליים של הרפליקות, וגם שינויים במספר הנוכחי של הרפליקות:
(kube_horizontalpodautoscaler_status_desired_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
!=
kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
and
(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
>
kube_horizontalpodautoscaler_spec_min_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
and
(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
<
kube_horizontalpodautoscaler_spec_max_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
and
changes(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}[15m]) == 0
התוויות condition ו-status במדד kube_horizontalpodautoscaler_status_condition יכולות גם לעזור לכם לזהות מתי מתרחשים מצבי כשל שונים ב-HPA. לדוגמה:
- התנאי
ScalingLimitedוהסטטוסtrueמציינים שה-HPA מוגבל על ידי מספר הרפליקות המינימלי או המקסימלי שלו:kube_horizontalpodautoscaler_status_condition{status="true", condition="ScalingLimited"} == 1 התנאי
AbleToScaleוהסטטוסfalseמציינים שה-HPA נתקל בבעיות באחזור או בעדכון של קנה המידה:kube_horizontalpodautoscaler_status_condition{status="false", condition="AbleToScale"} == 1התנאי
ScalingActiveוהסטטוסfalseמציינים שה-HPA מושבת או לא יכול לחשב קנה מידה חדש:kube_horizontalpodautoscaler_status_condition{status="false", condition="ScalingActive"} == 1
חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.
מדדי JobSet
Jobset הוא ממשק API של עומסי עבודה שמאפשר לנהל קבוצה של משימות ב-Kubernetes כיחידה אחת. התרחיש הנפוץ ביותר לשימוש ב-JobSet הוא אימון מבוזר, אבל אפשר גם להשתמש בו כדי להריץ עומסי עבודה באצווה.
מידע נוסף על JobSets זמין במסמכי התיעוד של JobSet.
טבלה של מדדי JobSet
המדדים של JobSet מאפשרים לכם לעקוב אחרי ההתנהגות של ה-JobSets ולקבל התראות. בטבלה הבאה מפורטים המדדים שזמינים בחבילת המדדים של מצב ה-kube:
לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.
| שם המדד ב-PromQL (שלב ההשקה) ושם המדד ב-Cloud Monitoring | סוג, יחידה, משאבים במעקב וגרסת GKE נדרשת | תיאור ותוויות |
|---|---|---|
|
|
prometheus_target 1.32.1-gke.1357001 |
מספר הרפליקות שצוינו לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.1-gke.1357001 |
מספר הרפליקות במצב READY לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.1-gke.1357001 |
מספר הרפליקות במצב SUCCEEDED לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.1-gke.1357001 |
מספר הרפליקות במצב FAILED לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.1-gke.1357001 |
מספר הרפליקות במצב ACTIVE לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.1-gke.1357001 |
מספר הרפליקות במצב SUSPENDED לכל משימה משוכפלת ב-JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.1-gke.1357001 |
תנאי הסטטוס הנוכחיים של JobSet. נדגם כל 30 שניות.
|
|
|
prometheus_target 1.32.4-gke.1767000 1.33.0-gke.1868000 |
מספר ההפעלות מחדש של JobSet. נדגם כל 30 שניות. |
שאילתות לדוגמה למדדי JobSet
כדי ליצור תרשימים ומדיניות התראות ל-JobSets ספציפיים, אפשר לסנן את המדדים של JobSet לפי אשכול, מרחב שמות ושם ה-JobSet.
לדוגמה, כדי להשוות בין מספר הרפליקות במצב READY לבין מספר הרפליקות הצפוי ב-JobSet יחיד, אפשר להציג את שני המדדים בתרשים אחד באמצעות השאילתות הבאות ב-PromQL:
kube_jobset_specified_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
kube_jobset_ready_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
כדי לקבל התראה על השקה של JobSet שנכשלה או לא זמינה, אתם יכולים להשתמש בביטוי PromQL הבא:
kube_jobset_specified_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
>
kube_jobset_ready_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
התווית condition במדד kube_jobset_status_condition יכולה גם לעזור לכם לזהות מתי קבוצות של משימות נתקלות במצבי כשל שונים, לדוגמה:
- התנאי
Failedמציין שההרצה של ה-JobSet נכשלה:kube_jobset_status_condition{jobset_name="JOBSET_NAME, condition="Failed"} == 1 - התנאי
Suspendedמציין שה-JobSet מושהה:kube_jobset_status_condition{jobset_name="JOBSET_NAME, condition="Suspended"} == 1
חלק מהביטויים של השאילתות וההתראות בקטע הזה הותאמו מהקובץ kubernetes-apps.yaml במאגר Prometheus community Kubernetes Helm Charts ב-GitHub.
המאמרים הבאים
- עיון בחבילות המדדים הזמינות האחרות
- איסוף מדדי Kubernetes ספציפיים שלא נכללים בחבילה הזו
- הצגת מדדי ניראות
- שימוש במדדים לבדיקת ביצועים של אפליקציות