בדף הזה מוסבר על אירועי החשיפה והמדדים שמופקים על ידי מידרוג אוטומטי של אשכולות ב-Google Kubernetes Engine (GKE). ניתוח של היומנים והמדדים האלה מאפשר לכם לקבל תובנות לגבי האופן שבו הכלי למידרוג אוטומטי מנהל את ההתאמה לעומס של האשכול, לעקוב אחרי מגמות בהקצאת צמתים ולהבין את הסיבות להחלטות שלו.
אתם יכולים להשתמש במידע הבא כדי לבחון את המידרוג האוטומטי של האשכול:
- יומני אירועים של הרשאות גישה: יומני אירועים ב-Cloud Logging שמספקים מידע מפורט על פעולות ספציפיות של התאמה לעומס, כמו החלטות לגבי
scaleUp,scaleDownו-noScaleUp. האירועים שמתוארים במדריך הזה נפרדים מאירועי Kubernetes שנוצרים על ידי הכלי להתאמה לעומס (autoscaler) של האשכול. - מדדים של Cloud Monitoring: מדדים מצטברים של סדרות זמן שמספקים מגמות ברמה גבוהה לגבי ניסיונות הקצאה של צמתים, כשלים ו-Pods בהמתנה ב-ComputeClasses.
דרישות
כדי לראות אירועים של המידרוג האוטומטי, צריך להפעיל את Cloud Logging באשכול. האירועים לא יופקו אם הרישום ביומן מושבת.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:
- מפעילים את Google Kubernetes Engine API. הפעלת Google Kubernetes Engine API
- כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה
gcloud components updateכדי להוריד את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.
- מוודאים שיש לכם אשכול Standard קיים. אם אין לכם אשכול, צרו אשכול Standard.
צפייה באירועים
אירועי החשיפה של המידרוג האוטומטי של אשכולות מאוחסנים ביומן של Cloud Logging, באותו פרויקט שבו נמצא אשכול GKE. אפשר גם לראות את האירועים האלה בהתראות בדף Google Kubernetes Engine במסוף Google Cloud .
צפייה ביומני אירועים של הרשאות גישה
כדי לראות את היומנים:
נכנסים לדף Kubernetes Clusters במסוף Google Cloud .
בוחרים את שם האשכול כדי להציג את הדף Cluster Details.
בדף Cluster Details, לוחצים על הכרטיסייה Logs.
בכרטיסייה Logs, לוחצים על הכרטיסייה Autoscaler Logs כדי לראות את היומנים.
(אופציונלי) כדי להחיל מסננים מתקדמים יותר לצמצום התוצאות, לוחצים על הלחצן עם החץ בצד שמאל של הדף כדי להציג את היומנים ב-Logs Explorer.
צפייה בהתראות לגבי אירועי חשיפה
כדי לראות את ההתראות לגבי אירועי החשיפה בדף של Google Kubernetes Engine:
נכנסים לדף Google Kubernetes Engine במסוף Google Cloud :
בודקים את העמודה Notifications של אשכולות ספציפיים כדי למצוא התראות שקשורות לשינוי קנה המידה.
כדי לקבל מידע מפורט, פעולות מומלצות וגישה ליומנים של האירוע, לוחצים על ההתראה.
מעקב אחרי סטטוס Pod בהמתנה באמצעות Cloud Monitoring
בנוסף לאירועי החשיפה, בגרסה 1.37 של GKE ואילך, המידרוג האוטומטי של אשכול GKE מייצא את המדד kubernetes.io/autoscaler/cluster_pending_pods_per_ccc בזמן אמת ל-Cloud Monitoring. המדד הזה מספק ספירה של Pods במצב Pending, כפי שנראו ועובדו על ידי ה-autoscaler של האשכול, והוא זמין לסוג המשאב במעקב k8s_entity.
המדד הזה שימושי במיוחד כדי להבין את הביקוש ל-ComputeClasses שונים.
תוויות של מקשים
המדד כולל את תוויות המפתח הבאות:
-
resource.labels.entity_type: סוג הישות, שתמיד יהיהComputeClassבמדד הזה. -
resource.labels.entity_name: השם של ComputeClass שה-Pods מבקשים. ריק ("") לפודים בלי ComputeClass ספציפי. -
metric.labels.reason: השלב הנוכחי של ה-Pod בתצוגה של ה-autoscaler של האשכול (unprocessed,provisioning_in_progress,unable_to_provision,no_action_taken). -
metric.labels.type: סוג ה-Pod (system_podאוuser_pod).
תרחישים לדוגמה
בדוגמאות הבאות מוסבר איך לשלוח שאילתות לגבי המדד הזה באמצעות PromQL:
מעקב אחרי הביקוש להגדלת קנה המידה לפי ComputeClass:
sum by (entity_name) ( kubernetes_io:autoscaler_cluster_pending_pods_per_ccc{ monitored_resource="k8s_entity", entity_type="ComputeClass", type="user_pod" } )השאילתה הזו מציגה את המספר הכולל של Pods של משתמשים בהמתנה לכל ComputeClass, ומציינת איפה נמצא הביקוש הנוכחי להתאמה לעומס.
מעקב אחרי הגדלות חסומות:
sum by (entity_name, type) ( kubernetes_io:autoscaler_cluster_pending_pods_per_ccc{ monitored_resource="k8s_entity", entity_type="ComputeClass", reason="unable_to_provision" } )השאילתה הזו עוזרת לזהות במהירות אם יש בעיות ב-ComputeClasses שבהן המידרוג האוטומטי באשכול לא יכול להקצות צמתים.
ניתוח המדד הזה מאפשר לכם לקבל תובנות לגבי צבר המשימות של הכלי להרחבה אוטומטית של אשכולות, והיכולת שלו להקצות צמתים לסוגים שונים של עומסי עבודה שמוגדרים על ידי ComputeClasses. כדי לפתור בעיות ספציפיות בתזמון של ComputeClass, קראו את המאמר פתרון בעיות ב-ComputeClass.
מעקב אחרי הקצאת צמתים
המדדים הבאים של Cloud Monitoring זמינים בגרסה 1.37 ואילך של GKE, ומספקים הרשאות גישה לפעילויות הקצאת הצמתים של המידרוג האוטומטי באשכול, בחלוקה לפי ComputeClasses. המדדים האלה משתמשים בסוג המשאב במעקב k8s_entity. בסוג המשאב הזה, הערך של התווית resource.labels.entity_type הוא ComputeClass, והערך של התווית resource.labels.entity_name הוא השם של ComputeClass שמגדיר את קבוצת הצמתים שמוקצים. מחרוזת ריקה ("") בתווית resource.labels.entity_name מציינת שקבוצת הצמתים שמוקצית לא משויכת ל-ComputeClass ספציפי.
שימוש משולב במדדים וביומנים
כדי לעקוב אחרי בעיות פוטנציאליות במידרוג האוטומטי של האשכולות ולאבחן אותן, אתם יכולים להשתמש בשילוב של מדדים ויומנים כדי לבצע משימות כמו:
- זיהוי מגמות והגדרת התראות באמצעות מדדים: אתם יכולים להשתמש במדדים של Cloud Monitoring כדי לעקוב אחרי התקינות המצטברת של הקצאת ההרשאות, להציג מגמות לאורך זמן ולהגדיר כללי התראות (למשל, התראות על עלייה חדה במספר הכשלים בהקצאת ההרשאות או על ניצול המכסה).
- בדיקת שורש הבעיה באמצעות יומנים: ניסיונות כושלים של סילומיות אנכית (scale up) יוצרים גם רשומות ביומן החשיפה (כמו אירועי
noScaleUpאוeventResult) ב-Cloud Logging. כשהמדדים מצביעים על עלייה חדה במספר הכשלים בחלון זמן מסוים, בודקים את היומנים התואמים כדי לראות את ה-Pods הספציפיים, את מאגרי הצמתים המטורגטים ואת הודעות השגיאה המפורטות.
מעקב אחרי ניסיונות הקצאת צמתים
המדד kubernetes.io/autoscaler/cluster_node_provisioning_attempts_count_per_ccc עוקב אחרי התדירות שבה המידרוג האוטומטי מנסה להוסיף צמתים לקבוצת צמתים שמוגדרת על ידי ComputeClass ספציפי.
מחרוזת ריקה ("") בתווית resource.labels.entity_name מציינת שפעילות ההקצאה לא משויכת ל-ComputeClass ספציפי.
בדוגמה הבאה של PromQL, מתבצע מעקב אחרי פעילות הגדלת ההתאמה לעומס (scale-up) לכל ComputeClass:
sum by (entity_name) (
increase(
kubernetes_io:autoscaler_cluster_node_provisioning_attempts_count_per_ccc{
monitored_resource="k8s_entity",
entity_type="ComputeClass"
}[5m]
)
)
מעקב אחרי כשלים בהקצאת צמתים
המדד kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc מספק ספירה של ניסיונות כושלים להגדלת קנה המידה. אפשר להשתמש במדד הזה כדי לזהות צווארי בקבוק בתשתית או הגדרות שגויות.
התוויות החשובות למדד הזה כוללות:
-
resource.labels.entity_name: השם של ComputeClass שמגדיר את קבוצת הצמתים שההקצאה שלה נכשלה. הערך ריק ("") אם קבוצת הצמתים לא מוגדרת על ידי ComputeClass ספציפי. -
metric.labels.reason: קוד המחרוזת שמייצג את סיבת הכישלון.
בדוגמה הבאה של PromQL, אפשר לזהות את הסיבות העיקריות לכשלים לפי ComputeClass:
sum by (reason, entity_name) (
increase(
kubernetes_io:autoscaler_cluster_node_provisioning_failed_attempts_count_per_ccc{
monitored_resource="k8s_entity",
entity_type="ComputeClass"
}[1h]
)
)
הסיבות לכשל (metric.labels.reason)
התווית metric.labels.reason במדד kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc מספקת קוד מחרוזת שמציין את הסיבה לכשל בהקצאת הצומת. במדריך לפתרון בעיות הסבר על סיבות לכישלון מפורטות הסיבות השונות ופעולות אפשריות לתיקון.
סוגי אירועים
כל האירועים שנרשמים ביומן הם בפורמט JSON, ואפשר למצוא אותם בשדה jsonPayload של רשומת היומן. כל חותמות הזמן באירועים הן חותמות זמן של מערכת UNIX בשניות.
סיכום של סוגי האירועים שנוצרים על ידי המידרוג האוטומטי של אשכולות:
| סוג אירוע | תיאור |
|---|---|
status |
מתרחש מדי פעם ומתאר את הגודל של כל מאגרי הצמתים שמותאמים אוטומטית לעומס ואת גודל היעד של כל מאגרי הצמתים שמותאמים אוטומטית לעומס, כפי שנצפה על ידי המידרוג האוטומטי של האשכול. |
scaleUp |
מתרחש כשהמידרוג האוטומטי של האשכול מגדיל את האשכול. |
scaleDown |
מתרחש כשהמידרוג האוטומטי של האשכול מקטין את האשכול. |
eventResult |
מתרחש כשאירוע scaleUp או scaleDown מסתיים בהצלחה או נכשל. |
nodePoolCreated |
האירוע מתרחש כשמגדירים את הכלי למידרוג אוטומטי של אשכולות עם הקצאת צמתים אוטומטית מופעלת, ונוצר מאגר צמתים חדש. |
nodePoolDeleted |
מתרחש כשמחיקה של מאגר צמתים מתבצעת על ידי Cluster Autoscaler, עם הפעלה של הקצאת צמתים אוטומטית. |
noScaleUp |
מתרחש כשיש באשכול Pods שלא ניתן לתזמן, והמידרוג האוטומטי של האשכול לא יכול להגדיל את האשכול כדי להכיל את ה-Pods. |
noScaleDown |
האירוע מתרחש כשיש צמתים שהמערכת חוסמת את המחיקה שלהם על ידי Cluster Autoscaler. |
אירוע סטטוס
אירוע status מופק מדי פעם, ומתאר את הגודל בפועל של כל מאגרי הצמתים שמותאמים אוטומטית ואת גודל היעד של כל מאגרי הצמתים שמותאמים אוטומטית, כפי שנצפה על ידי המידרוג האוטומטי של האשכול.
דוגמה
ביומן לדוגמה הבא מוצג אירוע status:
{
"status": {
"autoscaledNodesCount": 4,
"autoscaledNodesTarget": 4,
"measureTime": "1582898536"
}
}
אירוע ScaleUp
אירוע scaleUp מופעל כשהמידרוג האוטומטי של האשכול מגדיל את האשכול.
המידרוג האוטומטי מגדיל את גודל מאגרי הצמתים באשכול על ידי הרחבה אנכית בהתאם לעומס של קבוצות מופעי המכונה המנוהלים (MIG) הבסיסיות עבור מאגרי הצמתים. למידע נוסף על אופן הפעולה של הגדלת קנה המידה, ראו How does scale up work? במאמר השאלות הנפוצות בנושא מידרוג אוטומטי של אשכולות Kubernetes.
האירוע מכיל מידע על קבוצות ה-MIG שהוגדלו, בכמה צמתים, ואילו Pods שלא ניתן לתזמן הפעילו את האירוע.
רשימת הפודים שמפעילים את ההתראה מקוצרת ל-50 רשומות אקראיות. המספר בפועל של הפודים שהפעילו את ההתראה מופיע בשדה triggeringPodsTotalCount.
דוגמה
ביומן לדוגמה הבא מוצג אירוע scaleUp:
{
"decision": {
"decideTime": "1582124907",
"eventId": "ed5cb16d-b06f-457c-a46d-f75dcca1f1ee",
"scaleUp": {
"increasedMigs": [
{
"mig": {
"name": "test-cluster-default-pool-a0c72690-grp",
"nodepool": "default-pool",
"zone": "us-central1-c"
},
"requestedNodes": 1
}
],
"triggeringPods": [
{
"controller": {
"apiVersion": "apps/v1",
"kind": "ReplicaSet",
"name": "test-85958b848b"
},
"name": "test-85958b848b-ptc7n",
"namespace": "default"
}
],
"triggeringPodsTotalCount": 1
}
}
}
אירוע ScaleDown
אירוע scaleDown מופעל כשהמידרוג האוטומטי של האשכול מקטין את האשכול.
למידע נוסף על אופן הפעולה של צמצום אנכית, ראו איך פועל צמצום אנכית? בשאלות הנפוצות בנושא מידרוג אוטומטי של אשכולות Kubernetes.
השדות cpuRatio ו-memRatio מתארים את ניצול המעבד (CPU) וניצול הזיכרון של הצומת, באחוזים. הניצול הזה הוא סכום של בקשות Pod חלקי ה-allocatable של הצומת, ולא ניצול בפועל.
רשימת ה-Pods שפונו נחתכת ל-50 רשומות שרירותיות. המספר בפועל של הפודים שפונו מופיע בשדה evictedPodsTotalCount.
כדי לוודא שהמידרוג האוטומטי של האשכול הקטין את הצמתים, משתמשים בשאילתה הבאה:
resource.type="k8s_cluster" \
resource.labels.location=COMPUTE_REGION \
resource.labels.cluster_name=CLUSTER_NAME \
log_id("container.googleapis.com/cluster-autoscaler-visibility") \
( "decision" NOT "noDecisionStatus" )
מחליפים את מה שכתוב בשדות הבאים:
CLUSTER_NAME: שם האשכול.
COMPUTE_REGION: האזור של האשכול ב-Compute Engine, למשלus-central1.
דוגמה
ביומן לדוגמה הבא מוצג אירוע scaleDown:
{
"decision": {
"decideTime": "1580594665",
"eventId": "340dac18-8152-46ff-b79a-747f70854c81",
"scaleDown": {
"nodesToBeRemoved": [
{
"evictedPods": [
{
"controller": {
"apiVersion": "apps/v1",
"kind": "ReplicaSet",
"name": "kube-dns-5c44c7b6b6"
},
"name": "kube-dns-5c44c7b6b6-xvpbk"
}
],
"evictedPodsTotalCount": 1,
"node": {
"cpuRatio": 23,
"memRatio": 5,
"mig": {
"name": "test-cluster-default-pool-c47ef39f-grp",
"nodepool": "default-pool",
"zone": "us-central1-f"
},
"name": "test-cluster-default-pool-c47ef39f-p395"
}
}
]
}
}
}
אפשר גם לראות את האירוע scale-down בצמתים שבהם לא פועל עומס עבודה (בדרך כלל רק פודים של המערכת שנוצרו על ידי DaemonSets).
כדי לראות את יומני האירועים, משתמשים בשאילתה הבאה:
resource.type="k8s_cluster" \
resource.labels.project_id=PROJECT_ID \
resource.labels.location=COMPUTE_REGION \
resource.labels.cluster_name=CLUSTER_NAME \
severity>=DEFAULT \
logName="projects/PROJECT_ID/logs/events" \
("Scale-down: removing empty node")
מחליפים את מה שכתוב בשדות הבאים:
PROJECT_ID: מזהה הפרויקט.
CLUSTER_NAME: שם האשכול.
COMPUTE_REGION: האזור של האשכול ב-Compute Engine, למשלus-central1.
אירוע EventResult
אירוע eventResult מופעל כשאירוע scaleUp או scaleDown מסתיים בהצלחה או נכשל. האירוע הזה מכיל רשימה של מזהי אירועים (מהשדה eventId באירועי scaleUp או scaleDown), יחד עם הודעות שגיאה. הודעת שגיאה ריקה מציינת שהאירוע הושלם בהצלחה. רשימה של אירועי eventResult נצברת בשדה results.
כדי לאבחן שגיאות, עיינו בקטעים שגיאות ScaleUp ושגיאות ScaleDown.
דוגמה
הדוגמה הבאה מציגה אירוע eventResult ביומן:
{
"resultInfo": {
"measureTime": "1582878896",
"results": [
{
"eventId": "2fca91cd-7345-47fc-9770-838e05e28b17"
},
{
"errorMsg": {
"messageId": "scale.down.error.failed.to.delete.node.min.size.reached",
"parameters": [
"test-cluster-default-pool-5c90f485-nk80"
]
},
"eventId": "ea2e964c-49b8-4cd7-8fa9-fefb0827f9a6"
}
]
}
}
אירוע NodePoolCreated
אירוע nodePoolCreated מופק כשמידרוג אוטומטי של אשכולות עם הקצאת צמתים אוטומטית מופעל, ונוצר מאגר צמתים חדש. האירוע הזה מכיל את השם של מאגר הצמתים שנוצר ורשימה של קבוצות ה-MIG הבסיסיות שלו. אם מאגר הצמתים נוצר בגלל אירוע scaleUp, השדה triggeringScaleUpId כולל את הערך eventId של אירוע ה-scaleUp המתאים.
דוגמה
ביומן לדוגמה הבא מוצג אירוע nodePoolCreated:
{
"decision": {
"decideTime": "1585838544",
"eventId": "822d272c-f4f3-44cf-9326-9cad79c58718",
"nodePoolCreated": {
"nodePools": [
{
"migs": [
{
"name": "test-cluster-nap-n1-standard--b4fcc348-grp",
"nodepool": "nap-n1-standard-1-1kwag2qv",
"zone": "us-central1-f"
},
{
"name": "test-cluster-nap-n1-standard--jfla8215-grp",
"nodepool": "nap-n1-standard-1-1kwag2qv",
"zone": "us-central1-c"
}
],
"name": "nap-n1-standard-1-1kwag2qv"
}
],
"triggeringScaleUpId": "d25e0e6e-25e3-4755-98eb-49b38e54a728"
}
}
}
אירוע NodePoolDeleted
אירוע nodePoolDeleted מופק כשמידרוג אוטומטי של אשכולות עם הקצאת צמתים אוטומטית מופעל מוחק מאגר צמתים.
דוגמה
ביומן לדוגמה הבא מוצג אירוע nodePoolDeleted:
{
"decision": {
"decideTime": "1585830461",
"eventId": "68b0d1c7-b684-4542-bc19-f030922fb820",
"nodePoolDeleted": {
"nodePoolNames": [
"nap-n1-highcpu-8-ydj4ewil"
]
}
}
}
אירוע NoScaleUp
אירוע noScaleUp מופק מדי פעם כשיש באשכול Pods שלא ניתן לתזמן, והמידרוג האוטומטי של האשכול לא יכול להגדיל את האשכול כדי להכיל את ה-Pods.
- אירועי noScaleUp הם אירועים שנעשה בהם מאמץ מרבי, כלומר הם לא מכסים את כל הסיבות האפשריות לכך שהאשכול לא יכול לבצע התאמה אוטומטית של קנה המידה.
- אירועי noScaleUp מוגבלים כדי להגביל את נפח היומן שנוצר. כל סיבה מתמשכת מופקת רק כל כמה דקות.
- כל הסיבות יכולות להתחלק באופן שרירותי בין כמה אירועים. לדוגמה, אין ערובה לכך שכל הסיבות לדחיית MIG של קבוצת Pod אחת יופיעו באותו אירוע.
- רשימת קבוצות ה-Pod שלא טופלו נחתכת ל-50 רשומות שרירותיות. המספר בפועל של קבוצות Pod שלא טופלו מופיע בשדה
unhandledPodGroupsTotalCount.
שדות של סיבות
השדות הבאים עוזרים להסביר למה לא בוצעה הרחבה:
-
reason: סיבה גלובלית לכך שהמידרוג האוטומטי של האשכול לא יכול להגדיל את קנה המידה. פרטים נוספים זמינים בקטע הסיבות ברמה העליונה ל-NoScaleUp. -
napFailureReason: סיבה גלובלית שמונעת מהכלי להקצאת משאבים אוטומטית לאשכול להקצות מאגרי צמתים נוספים (לדוגמה, הקצאת צמתים אוטומטית מושבתת). לפרטים נוספים, קראו את הקטע סיבות ברמה העליונה של NoScaleUp להקצאת צמתים אוטומטית. -
skippedMigs[].reason: מידע על הסיבה לדילוג על קבוצת MIG מסוימת. הכלי Cluster autoscaler מדלג על חלק מקבוצות ה-MIG ולא מתייחס אליהן כשהוא מנסה להגדיל את מספר הפודים (לדוגמה, כי הוספה של עוד צומת תחרוג ממגבלות המשאבים של האשכול). פרטים נוספים זמינים בקטע סיבות ברמת ה-MIG לאירועי NoScaleUp. -
unhandledPodGroups: מכיל מידע על הסיבה לכך שקבוצה מסוימת של פודים שלא ניתן לתזמן לא מפעילה התאמה לעומס (scaling up). ה-Pods מקובצים לפי הבקר המיידי שלהם. פודים בלי בקר נמצאים בקבוצות משלהם. כל קבוצת Pods מכילה Pod לדוגמה ומספר Pods בקבוצה, וגם את הסיבות הבאות:-
napFailureReasons: הסיבות לכך שהמידרוג האוטומטי של אשכולות לא יכול להקצות מאגר צמתים חדש כדי להכיל את קבוצת ה-Pods הזו (לדוגמה, ל-Pods יש אילוצי זיקה). פרטים נוספים זמינים בקטע סיבות ברמת ה-Pod להקצאת צמתים אוטומטית (NAP) ללא הגדלת קנה מידה. -
rejectedMigs[].reason: הסיבות שבגללן המידרוג האוטומטי של האשכול לא יכול להגדיל את קבוצת ה-MIG הספציפית כדי להכיל את קבוצת ה-Pods הזו (לדוגמה, הצומת של ה-MIG קטן מדי בשביל ה-Pods). פרטים נוספים זמינים בקטע סיבות ברמת ה-MIG לאירועי NoScaleUp.
-
דוגמה
ביומן לדוגמה הבא מוצג אירוע noScaleUp:
{
"noDecisionStatus": {
"measureTime": "1582523362",
"noScaleUp": {
"skippedMigs": [
{
"mig": {
"name": "test-cluster-nap-n1-highmem-4-fbdca585-grp",
"nodepool": "nap-n1-highmem-4-1cywzhvf",
"zone": "us-central1-f"
},
"reason": {
"messageId": "no.scale.up.mig.skipped",
"parameters": [
"max cluster cpu limit reached"
]
}
}
],
"unhandledPodGroups": [
{
"napFailureReasons": [
{
"messageId": "no.scale.up.nap.pod.zonal.resources.exceeded",
"parameters": [
"us-central1-f"
]
}
],
"podGroup": {
"samplePod": {
"controller": {
"apiVersion": "v1",
"kind": "ReplicationController",
"name": "memory-reservation2"
},
"name": "memory-reservation2-6zg8m",
"namespace": "autoscaling-1661"
},
"totalPodCount": 1
},
"rejectedMigs": [
{
"mig": {
"name": "test-cluster-default-pool-b1808ff9-grp",
"nodepool": "default-pool",
"zone": "us-central1-f"
},
"reason": {
"messageId": "no.scale.up.mig.failing.predicate",
"parameters": [
"NodeResourcesFit",
"Insufficient memory"
]
}
}
]
}
],
"unhandledPodGroupsTotalCount": 1
}
}
}
אירוע NoScaleDown
אירוע noScaleDown מופק מדי פעם כשיש צמתים שהמידרוג האוטומטי של האשכול חוסם את המחיקה שלהם.
- צמתים שאי אפשר להסיר בגלל ניצול גבוה לא נכללים באירועי noScaleDown.
- אירועי noScaleDown הם אירועים מסוג "השתדלות מרבית", כלומר הם לא מכסים את כל הסיבות האפשריות לכך שהכלי להתאמה אוטומטית של קנה המידה של האשכול לא יכול לבצע הפחתה בהתאם לעומס.
- אירועי NoScaleDown מוגבלים כדי להגביל את נפח היומן שנוצר. כל סיבה מתמשכת תדווח רק כל כמה דקות.
- רשימת הצמתים מקוצרת ל-50 רשומות שרירותיות. המספר המדויק של הצמתים מופיע בשדה
nodesTotalCount.
שדות של סיבות
השדות הבאים עוזרים להסביר למה לא בוצע צמצום אנכית:
-
reason: סיבה כללית לכך שהמידרוג האוטומטי של האשכול לא יכול לצמצם את האשכול (לדוגמה, תקופת השהיה אחרי הרחבה שבוצעה לאחרונה). פרטים נוספים זמינים בקטע הסיבות העיקריות ל-NoScaleDown. -
nodes[].reason: מספק סיבות לכל צומת לכך שהמידרוג האוטומטי של גודל האשכול לא יכול למחוק צומת מסוים (לדוגמה, אין מקום להעביר אליו את ה-Pods של הצומת). פרטים נוספים מופיעים בקטע סיבות ברמת הצומת ל-NoScaleDown.
דוגמה
ביומן לדוגמה הבא מוצג אירוע noScaleDown:
{
"noDecisionStatus": {
"measureTime": "1582858723",
"noScaleDown": {
"nodes": [
{
"node": {
"cpuRatio": 42,
"mig": {
"name": "test-cluster-default-pool-f74c1617-grp",
"nodepool": "default-pool",
"zone": "us-central1-c"
},
"name": "test-cluster-default-pool-f74c1617-fbhk"
},
"reason": {
"messageId": "no.scale.down.node.no.place.to.move.pods"
}
}
],
"nodesTotalCount": 1,
"reason": {
"messageId": "no.scale.down.in.backoff"
}
}
}
}
Messages
האירועים שמופקים על ידי המידרוג האוטומטי של אשכולות משתמשים בהודעות עם פרמטרים כדי לספק הסברים לאירוע. השדה parameters זמין עם השדה messageId, כמו בדוגמה הזו ליומן של אירוע NoScaleUp.
בקטע הזה מפורטים תיאורים של messageId שונים והפרמטרים התואמים שלהם. עם זאת, הקטע הזה לא מכיל את כל ההודעות האפשריות, ואנחנו עשויים להרחיב אותו בכל שלב.
שגיאות ב-ScaleUp
הודעות השגיאה של אירועי scaleUp מופיעות באירוע eventResult התואם, בשדה resultInfo.results[].errorMsg.
כשפעולת הגדלה נכשלת כי היא חורגת מהמכסה, זו שגיאה ביצירת צומת שמפעילה תקופת השהיה מעריכית לפני ניסיון חוזר (exponential backoff) במערכת, שיכולה להימשך עד 30 דקות. מידע נוסף זמין במאמר תקופות השהיה.
| הודעה | פרטים | פרמטרים | צמצום הפגיעה |
|---|---|---|---|
"scale.up.error.out.of.resources" |
שגיאות משאבים מתרחשות כשמנסים לבקש משאבים חדשים באזור שלא יכול להכיל את הבקשה, כי משאב של Compute Engine, כמו מעבדי GPU או מעבדי CPU, לא זמין כרגע. | מזהי ה-MIG שנכשלו. | פועלים לפי השלבים לפתרון בעיות שקשורות לזמינות המשאבים במאמרי העזרה של Compute Engine. |
"scale.up.error.quota.exceeded" |
אירוע ה-scaleUp נכשל כי לא ניתן היה להגדיל חלק מקבוצות ה-MIG, בגלל חריגה מהמכסה של Compute Engine. | מזהי ה-MIG שנכשלו. | בודקים בכרטיסייה Errors של קבוצת ה-MIG במסוף Google Cloud כדי לראות איזו מכסה חורגת. אחרי שאתם יודעים איזו מכסה חרגה, פועלים לפי ההוראות כדי לבקש הגדלה של המכסה. |
"scale.up.error.waiting.for.instances.timeout" |
הגדלת קבוצת מופעי מכונה מנוהלים נכשלה בגלל זמן קצוב לתפוגה. | מזהי ה-MIG שנכשלו. | אם המכונות מופעלות אבל לא נרשמות במישור הבקרה, פועלים לפי השלבים שמפורטים בקטע איתור מכונה שנכשלה ברישום הצומת. לסיבות אחרות, ראו מכונות MIG לא הופיעו בזמן. השגיאה הזו היא בדרך כלל זמנית. אם השגיאה נמשכת, פנו ל-Cloud Customer Care כדי לבדוק את הבעיה. |
"scale.up.error.ip.space.exhausted" |
אי אפשר להגדיל את קבוצת המכונות כי נגמרו כתובות ה-IP במופעים של חלק מקבוצות המכונות המנוהלות. המשמעות היא שאין באשכול מספיק כתובות IP פנויות להוספת צמתים או Pods חדשים. | מזהי ה-MIG שנכשלו. | פועלים לפי השלבים לפתרון בעיות שמפורטים בקטע אין מספיק מקום פנוי בכתובת ה-IP לפודים. |
"scale.up.error.service.account.deleted" |
אי אפשר להגדיל את המכסה כי חשבון השירות נמחק. | מזהי ה-MIG שנכשלו. | נסו לבטל מחיקה של חשבון השירות. אם התהליך לא מצליח, פנו ל-Cloud Customer Care כדי לבדוק את הנושא. |
הסיבות לאירוע noScaleUp
אירוע noScaleUp מופק מדי פעם כשיש פודים שלא ניתנים לתזמון באשכול, והכלי להתאמה אוטומטית של קנה המידה של האשכול לא יכול להגדיל את האשכול כדי לתזמן את הפודים. אירועי noScaleUp נועדו לספק את המידע הכי מדויק, אבל הם לא מכסים את כל המקרים האפשריים.
סיבות ברמה העליונה ל-NoScaleUp
הודעות הסיבה ברמה העליונה לאירועי noScaleUp מופיעות בשדה noDecisionStatus.noScaleUp.reason. ההודעה מכילה סיבה ברמה העליונה לכך שהמידרוג האוטומטי של האשכול לא יכול להגדיל את האשכול.
| הודעה | פרטים | צמצום הפגיעה |
|---|---|---|
"no.scale.up.in.backoff" |
לא מתבצעת הגדלה כי היא נמצאת בתקופת השהיה (חסומה באופן זמני). ההודעה הזו יכולה להופיע במהלך אירועי הרחבה עם מספר גדול של Pods. | ההודעה הזו אמורה להיות זמנית. בדקו את השגיאה הזו אחרי כמה דקות. אם ההודעה הזו ממשיכה להופיע, פנו ל-Cloud Customer Care כדי לבדוק את הבעיה. |
סיבות ברמה העליונה לכך שאין הגדלה של הקצאת צמתים אוטומטית (NAP)
הודעות הסיבה להקצאת צמתים אוטומטית ברמה העליונה לאירועי noScaleUp מופיעות בשדה noDecisionStatus.noScaleUp.napFailureReason. ההודעה מכילה סיבה ברמה העליונה לכך שהמידרוג האוטומטי של האשכול לא יכול להקצות מאגרי צמתים חדשים.
| הודעה | פרטים | צמצום הפגיעה |
|---|---|---|
"no.scale.up.nap.disabled" |
לא ניתן להגדיל את הקצאת הצמתים האוטומטית (NAP) כי היא לא מופעלת ברמת האשכול. אם הקצאת הצמתים האוטומטית מושבתת, צמתים חדשים לא יוקצו באופן אוטומטי אם לפוד בהמתנה יש דרישות שאי אפשר למלא באמצעות מאגרי הצמתים הקיימים. |
בודקים את הגדרות האשכול ושוקלים להפעיל הקצאת צמתים אוטומטית. |
סיבות ברמת ה-MIG לאירועי NoScaleUp
הודעות הסיבה ברמת ה-MIG לאירועי noScaleUp מופיעות בשדות noDecisionStatus.noScaleUp.skippedMigs[].reason ו-noDecisionStatus.noScaleUp.unhandledPodGroups[].rejectedMigs[].reason.
ההודעה מכילה את הסיבה לכך שהמידרוג האוטומטי של האשכול לא יכול להגדיל את קבוצת ה-MIG הספציפית.
| הודעה | פרטים | פרמטרים | צמצום הפגיעה |
|---|---|---|---|
"no.scale.up.mig.skipped" |
אי אפשר להגדיל את קבוצת המכונות המנוהלת כי המערכת דילגה עליה במהלך הסימולציה. | הסיבות לכך שהמערכת דילגה על ה-MIG (לדוגמה, חסרה דרישה של Pod). | בודקים את הפרמטרים שכלולים בהודעת השגיאה ומטפלים בסיבה שבגללה המערכת דילגה על ה-MIG. |
"no.scale.up.mig.failing.predicate" |
אי אפשר להגדיל את מאגר הצמתים כי הפרדיקט לתזמון של הפודים בהמתנה נכשל. | שם הפרדיקט שנכשל והסיבות לכישלון. | בודקים את הדרישות של ה-Pod, כמו כללי אפיניות, פגמים או סבילות ודרישות משאבים. |
סיבות לאירועי NoScaleUp ברמת קבוצת הפודים בהקצאת צמתים אוטומטית (NAP)
הודעות הסיבה להקצאת צמתים אוטומטית ברמת קבוצת ה-Pod לאירועי noScaleUp מופיעות בשדה noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[]. ההודעה מכילה את הסיבה לכך שהמידרוג האוטומטי של אשכולות לא יכול להקצות מאגר צמתים חדש כדי לתזמן קבוצת Pods מסוימת.
| הודעה | פרטים | פרמטרים | צמצום הפגיעה |
|---|---|---|---|
"no.scale.up.nap.pod.gpu.no.limit.defined" |
הקצאת צמתים אוטומטית לא הצליחה להקצות אף קבוצת צמתים כי ל-Pod בהמתנה יש בקשת GPU, אבל מגבלות המשאבים של ה-GPU לא מוגדרות ברמת האשכול. | סוג ה-GPU המבוקש. | בודקים את בקשת ה-GPU של ה-Pod בהמתנה, ומעדכנים את הגדרת מגבלות ה-GPU להקצאת צמתים אוטומטית ברמת האשכול. |
"no.scale.up.nap.pod.gpu.type.not.supported" |
הקצאת צמתים אוטומטית (NAP) לא הקצתה קבוצת צמתים ל-Pod כי יש לו בקשות לסוג GPU לא ידוע. | סוג ה-GPU המבוקש. | בודקים את ההגדרות של ה-Pod בהמתנה לסוג ה-GPU כדי לוודא שהן תואמות לסוג GPU נתמך. |
"no.scale.up.nap.pod.zonal.resources.exceeded" |
הקצאת צמתים אוטומטית (NAP) לא הקצתה קבוצת צמתים לפוד באזור הזה, כי פעולה כזו הייתה מפרה את מגבלות המשאבים המקסימליות ברמת האשכול, חורגת מהמשאבים הזמינים באזור או שאין סוג מכונה שמתאים לבקשה. | שם האזור הרלוונטי. | בודקים ומעדכנים את מגבלות המשאבים המקסימליות ברמת האשכול, את בקשות המשאבים של Pod או את האזורים הזמינים להקצאת צמתים אוטומטית. |
"no.scale.up.nap.pod.zonal.failing.predicates" |
הקצאת צמתים אוטומטית (NAP) לא הקצתה קבוצת צמתים ל-Pod באזור הזה בגלל פרדיקטים שנכשלו. | שם האזור שנבדק והסיבות לכך שהפרדיקטים נכשלו, לדוגמה: node(s) didn't match Pod's node affinity/selector או node(s) didn't match pod anti-affinity rules. |
בודקים את הסיבות לכשל של הפרדיקט ברשומת היומן. מעדכנים את אילוצי התזמון של ה-Pod בהמתנה (בוררי צמתים, כללי שיוך לצמתים, דרישות PersistentVolume, טולרנטיות או אילוצי פריסת טופולוגיה), או מעדכנים את הגדרת הקצאת הצמתים האוטומטית של האשכול. להוראות מפורטות לפתרון בעיות, קראו את המאמר הקצאת צמתים אוטומטית (NAP) נכשלת בפרדיקטים של תזמון. |
שגיאות ScaleDown
הודעות על אירועי שגיאה של אירועי scaleDown מופיעות באירוע eventResult התואם, בשדה resultInfo.results[].errorMsg.
| הודעת אירוע | פרטים | פרמטר | צמצום הפגיעה |
|---|---|---|---|
"scale.down.error.failed.to.mark.to.be.deleted" |
לא ניתן היה לסמן צומת למחיקה. | שם הצומת שנכשל. | ההודעה הזו אמורה להיות זמנית. אם הבעיה נמשכת, פנו ל-Cloud Customer Care כדי לבדוק את הנושא. |
"scale.down.error.failed.to.evict.pods" |
המידרוג האוטומטי של האשכול לא יכול לצמצם אנכית בהתאם לעומס (scale down) כי אי אפשר לפנות חלק מה-Pods מצומת. | שם הצומת שנכשל. | בודקים את PodDisruptionBudget של ה-Pod ומוודאים שהכללים מאפשרים פינוי של רפליקות של אפליקציות כשהדבר מקובל. למידע נוסף, קראו את המאמר הגדרת תקציב שיבושים לאפליקציה במסמכי התיעוד של Kubernetes. |
"scale.down.error.failed.to.delete.node.min.size.reached" |
אי אפשר לצמצם את האשכול באמצעות מידרוג אוטומטי כי אי אפשר למחוק צומת, כי האשכול כבר בגודל המינימלי. | שם הצומת שנכשל. | בודקים את ערך המינימום שהוגדר להתאמה אוטומטית לעומס (automatic scaling) של מאגר צמתים, ומשנים את ההגדרות לפי הצורך. מידע נוסף זמין במאמר שגיאה: הצמתים באשכול הגיעו לגודל המינימלי. |
סיבות לאירוע noScaleDown
אירוע noScaleDown מופק מדי פעם כשיש צמתים שהמידרוג האוטומטי של האשכול חוסם את המחיקה שלהם. אירועי noScaleDown הם אירועים שנעשה מאמץ לזהות אותם, והם לא מכסים את כל המקרים האפשריים.
הסיבות העיקריות ל-NoScaleDown
הודעות הסיבה ברמה העליונה לאירועי noScaleDown מופיעות בשדה noDecisionStatus.noScaleDown.reason. ההודעה מכילה סיבה ברמה העליונה לכך שהמידרוג האוטומטי של האשכול לא יכול להקטין את האשכול.
| הודעת אירוע | פרטים | צמצום הפגיעה |
|---|---|---|
"no.scale.down.in.backoff" |
מידרוג אוטומטי של אשכולות לא יכול לצמצם אנכית בהתאם לעומס כי הצמצום האנכי בהתאם לעומס נמצא בתקופת השהיה לפני ניסיון חוזר (חסומה באופן זמני). | ההודעה הזו אמורה להיות זמנית, והיא יכולה להופיע אם לאחרונה היה אירוע של הגדלת נפח. אם ההודעה ממשיכה להופיע, פנו ל-Cloud Customer Care כדי לבדוק את הבעיה. |
"no.scale.down.in.progress" |
המידרוג האוטומטי של האשכול לא יכול לצמצם אנכית בהתאם לעומס (scale down) כי צמצום קודם עדיין בתהליך. |
ההודעה הזו אמורה להיות זמנית, כי בסופו של דבר ה-Pod יוסר. אם ההודעה הזו מופיעה לעיתים קרובות, כדאי לבדוק את תקופת החסד לסיום של ה-Pods שחוסמים את הצמצום האנכי בהתאם לעומס. כדי לפתור את הבעיה מהר יותר, אפשר גם למחוק את ה-Pod אם אין בו יותר צורך. |
סיבות ברמת הצומת ל-NoScaleDown
הודעות הסיבה ברמת הצומת לאירועי noScaleDown מופיעות ב-noDecisionStatus.noScaleDown.nodes[].reason field. ההודעה מכילה את הסיבה לכך שהכלי לשינוי גודל של אשכולות לא יכול להסיר צומת מסוים.
| הודעת אירוע | פרטים | פרמטרים | צמצום הפגיעה |
|---|---|---|---|
"no.scale.down.node.scale.down.disabled.annotation" |
המידרוג האוטומטי של אשכולות לא יכול להסיר צומת ממאגר הצמתים כי הצומת מסומן ב-cluster-autoscaler.kubernetes.io/scale-down-disabled: true.
|
לא רלוונטי | התכונה Cluster autoscaler מדלגת על צמתים עם ההערה הזו בלי להתחשב בשימוש בהם, וההודעה הזו נרשמת ביומן בלי קשר לגורם השימוש של הצומת. אם רוצים שהמידרוג האוטומטי של האשכול יצמצם את הצמתים האלה, צריך להסיר את האנוטציה. |
"no.scale.down.node.node.group.min.size.reached" |
Cluster autoscaler לא יכול לצמצם אנכית בהתאם לעומס (scale down) כשגודל קבוצת הצמתים חורג מהגודל המינימלי. זה קורה כי הסרת צמתים תפר את מגבלות המשאבים המינימליות ברמת האשכול, שמוגדרות בהגדרות של הקצאת הצמתים האוטומטית. |
לא רלוונטי | בודקים את ערך המינימום שהוגדר להתאמה אוטומטית לעומס של מאגר הצמתים. אם רוצים שהמידרוג האוטומטי יצמצם אנכית בהתאם לעומס את הצומת הזה, צריך לשנות את ערך המינימום. |
"no.scale.down.node.minimal.resource.limits.exceeded" |
המידרוג האוטומטי של האשכול לא יכול לצמצם אנכית בהתאם לעומס (scale down) את הצמתים, כי זה יפר את מגבלות המשאבים המינימליות ברמת האשכול. אלה מגבלות המשאבים שהוגדרו להקצאת צמתים אוטומטית. |
לא רלוונטי | בודקים את המגבלות של הזיכרון ושל ה-vCPU, ואם רוצים שהמידרוג האוטומטי של האשכול יצמצם את הצומת הזה, מקטינים את המגבלות. |
"no.scale.down.node.no.place.to.move.pods" |
המידרוג האוטומטי של האשכול לא יכול לצמצם אנכית בהתאם לעומס (scale down) כי אין לאן להעביר את ה-Pods. | לא רלוונטי | אם אתם מצפים שה-Pod יתוזמן מחדש, בדקו את דרישות התזמון של ה-Pods בצומת שלא מנוצל מספיק כדי לקבוע אם אפשר להעביר אותם לצומת אחר באשכול. מידע נוסף זמין במאמר שגיאה: אין מקום להעביר Pods. |
"no.scale.down.node.pod.not.backed.by.controller" |
ה-Pod חוסם את הצמצום האנכי בהתאם לעומס (scale down) כי הוא לא מגובה על ידי בקר. באופן ספציפי, המידרוג האוטומטי של האשכול לא יכול לצמצם אנכית בהתאם לעומס (scale down) צומת שלא מנוצל מספיק, בגלל Pod שחסר לו בקר מזוהה. הבקרים המותרים כוללים את ReplicationController, DaemonSet, Job, StatefulSet או ReplicaSet. |
שם ה-Pod שחוסם. | מגדירים את ההערה
"cluster-autoscaler.kubernetes.io/safe-to-evict": "true"
ל-Pod או מגדירים בקר קביל. |
"no.scale.down.node.pod.not.safe.to.evict.annotation" |
ל-Pod בצומת יש את ההערה safe-to-evict=false. |
שם ה-Pod שחוסם. | אם אפשר לפנות את ה-Pod בבטחה, עורכים את המניפסט של ה-Pod ומעדכנים את ההערה ל-"cluster-autoscaler.kubernetes.io/safe-to-evict": "true". |
"no.scale.down.node.pod.kube.system.unmovable" |
ה-Pod חוסם את הצמצום האנכי בהתאם לעומס (scale down) כי הוא לא DaemonSet, לא משוכפל, Pod בלי PodDisruptionBudget במרחב השמות kube-system. |
שם ה-Pod שחוסם. | בגרסאות GKE שקודמות ל-1.32.4-gke.1236000, המנגנון להתאמה אוטומטית לעומס של האשכול לא מסיר Podים במרחב השמות כדי לפתור את הבעיה, צריך להוסיף PodDisruptionBudget לפודים של |
"no.scale.down.node.pod.not.enough.pdb" |
ה-Pod חוסם את הצמצום האנכי בהתאם לעומס (scale down) כי אין לו מספיק PodDisruptionBudget. | שם ה-Pod שחוסם. | בודקים את PodDisruptionBudget של ה-Pod, ואולי כדאי להגדיר אותו כך שיהיה פחות מגביל. למידע נוסף, ראו שגיאה: אין מספיק PodDisruptionBudget. |
"no.scale.down.node.pod.controller.not.found" |
ה-Pod חוסם את הצמצום האנכי בהתאם לעומס (scale down) כי לא נמצא הבקר שלו (לדוגמה, Deployment או ReplicaSet). | לא רלוונטי | כדי לזהות אילו פעולות בוצעו וגרמו לכך שה-Pod המשיך לפעול אחרי שהבקר שלו הוסר, צריך לבדוק את היומנים. כדי לפתור את הבעיה, צריך למחוק את ה-Pod באופן ידני. |
"no.scale.down.node.pod.unexpected.error" |
ה-Pod חוסם את ההקטנה בגלל שגיאה לא צפויה. | לא רלוונטי | שורש הבעיה שגורם לשגיאה הזו לא ידוע. פנו ל-Cloud Customer Care כדי לבדוק את הנושא. |
המאמרים הבאים
- מידע נוסף על מידרוג אוטומטי של אשכול
- איך משתמשים בהקצאת צמתים אוטומטית
- פתרון בעיות שקשורות לכך שהמידרוג האוטומטי של האשכול לא מצמצם אנכית בהתאם לעומס (scale down)
- פתרון בעיות שקשורות למידרוג אוטומטי של אשכולות שלא מתבצעת בו סילומיות אנכית (scale up).
- לצפייה בסרטון ב-YouTube בנושא פתרון בעיות שקשורות לשינוי קנה מידה