פתרון בעיות שקשורות למידרוג אוטומטי של אשכולות שלא מתרחב

אם ה-Pods ב-Google Kubernetes Engine (GKE) תקועים במצב Pending ולא נוספים צמתים חדשים, בדרך כלל זה מצביע על בעיה בפונקציונליות של הגדלת קנה המידה במגדיל העומס של האשכול. הבעיה הזו יכולה למנוע מהאפליקציות שלכם להתאים את המשאבים לעומס כדי לעמוד בביקוש, לעכב פריסות ולהשפיע על זמינות השירות.

בדף הזה מוסבר איך לאבחן ולפתור בעיות נפוצות שמונעות מהמידרוג האוטומטי של האשכול להוסיף צמתים חדשים. אם תפתרו את הבעיות האלה, מתזמן Kubernetes יוכל למקם את עומסי העבודה שלכם במהירות, והאשכול יוכל להסתגל לעומס גובר.

המידע הזה חשוב למפתחי אפליקציות שצריכים שהאפליקציות והשירותים שלהם יתזמנו ויפעלו בצורה מהימנה, ולמנהלי פלטפורמות ולמפעילים שאחראים לוודא שהאשכול יכול להקצות משאבים באופן דינמי כדי לעמוד בדרישות של עומסי העבודה ולשמור על רמות השירות. מידע נוסף על התפקידים הנפוצים ודוגמאות למשימות שאנחנו מתייחסים אליהן בתוכן של Google Cloud , זמין במאמר תפקידים ומשימות נפוצים של משתמשי GKE.

הבנת מתי המידרוג האוטומטי של האשכול מרחיב אנכית את הצמתים שלך

לפני שמתחילים בפתרון הבעיות, כדאי להבין מתי המידרוג האוטומטי של האשכול ינסה להרחיב אנכית את הצמתים. המידרוג האוטומטי של האשכול מוסיף צמתים רק כשאין מספיק משאבים קיימים.

כל 10 שניות, המידרוג האוטומטי של האשכול בודק אם יש Pods שלא ניתן לתזמן. פוד הופך ל-Unschedulable כשהמתזמן של Kubernetes לא יכול למקם אותו באף צומת קיים בגלל מחסור במשאבים, אילוצים של הצומת או דרישות של הפוד שלא נענו.

כשהמידרוג האוטומטי של האשכול מוצא פודים שלא ניתנים לתזמון, הוא בודק אם הוספת צומת תאפשר לתזמן את הפוד. אם הוספת צומת תאפשר לתזמן Pod, הכלי למידרוג אוטומטי של אשכולות יוסיף צומת חדש לקבוצת מופעי מכונה מנוהלים (MIG). לאחר מכן, מתזמן Kubernetes יכול לתזמן את ה-Pod בצומת החדש שהוקצה.

איך בודקים אם יש פודים שלא ניתן לתזמן

כדי לקבוע אם צריך להגדיל את האשכול, בודקים אם יש Pods שלא תזמנתם:

  1. נכנסים לדף Workloads במסוף Google Cloud .

    כניסה לדף Workloads

  2. בשדה Filter, מזינים את הערך unschedulable ולוחצים על Enter.

    אם מופיעים פודים ברשימה, יש לכם פודים שלא ניתן לתזמן. כדי לפתור בעיות של Pods שלא ניתן לתזמן, קראו את המאמר שגיאה: לא ניתן לתזמן Pod. לרוב, פתרון הסיבה הבסיסית לפודים שלא ניתנים לתזמון יכול לאפשר ל-Cluster Autoscaler להגדיל את קנה המידה. כדי לזהות ולפתור שגיאות שספציפיות ל-Cluster Autoscaler, עיינו בקטעים הבאים.

    אם לא מופיעים פודים, אין צורך להגדיל את קנה המידה של המידרוג האוטומטי של האשכול והוא פועל כצפוי.

איך בודקים אם היו בעבר פודים שלא ניתן לתזמן

אם אתם בודקים מה גרם לכישלון של המידרוג האוטומטי באשכול בעבר, בדקו אם יש Pods שלא ניתן לתזמן:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. מציינים טווח תאריכים לרשומות ביומן שרוצים להציג.

  3. בחלונית השאילתה, מזינים את השאילתה הבאה:

    logName="projects/PROJECT_ID/logs/events"
    jsonPayload.source.component="default-scheduler"
    jsonPayload.reason="FailedScheduling"
    

    מחליפים את PROJECT_ID במזהה הפרויקט.

  4. לוחצים על Run query.

    אם מופיעות תוצאות, סימן שהיו פודים שלא ניתן לתזמן בטווח הזמן שציינתם.

איך בודקים אם הבעיה נגרמת בגלל מגבלה

אחרי שמוודאים שיש פודים שלא תזמנתם, צריך לוודא שהבעיה עם הכלי להתאמה לעומס (autoscaler) של האשכול לא נגרמת בגלל אחת מהמגבלות של הכלי להתאמה לעומס של האשכול.

ניתוח מדדי Cloud Monitoring כדי לזהות בעיות בהגדלת קנה המידה

מידרוג אוטומטי של אשכולות GKE חושף מדדים ל-Cloud Monitoring שמספקים תובנות לגבי ההחלטות שלו, במיוחד ביחס ל-ComputeClasses. המדדים האלה זמינים ב-GKE מגרסה 1.37 ואילך, והם כוללים את המדדים הבאים.

  • Pending Pods: kubernetes.io/autoscaler/cluster_pending_pods_per_ccc מציג Pods שה-autoscaler מנסה לתזמן.
  • ניסיונות הקצאה: kubernetes.io/autoscaler/cluster_node_provisioning_attempts_count_per_ccc עוקב אחרי התדירות שבה המידרוג האוטומטי מנסה להוסיף צמתים.
  • Provisioning failures: kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc מציג ניסיונות כושלים ליצירת צומת ואת הסיבות לכך.

המדדים האלה משתמשים בסוג המשאב k8s_entity, שבו הערך של השדה resource.labels.entity_type הוא ComputeClass. הערך של השדה resource.labels.entity_name מציין את השם של ComputeClass. אם הערך בשדה entity_name הוא מחרוזת ריקה (""), המדד מתייחס להחלטות של מידרוג אוטומטי באשכול שלא קשורות ל-ComputeClass.

אפשר להשתמש ב-Metrics Explorer כדי לסנן ולקבץ את התוצאות לפי השדה entity_name. לדוגמה, אפשר להשתמש במחרוזת resource.labels.entity_name = "" כדי לראות פעילויות שלא קשורות ל-ComputeClasses, ובתוויות של מדדים (כמו reason) כדי להבין אם בעיות בהגדלת קנה המידה הן ספציפיות ל-ComputeClass.

לדוגמאות של שאילתות, ראו מעקב אחרי הקצאת צמתים ומעקב אחרי סטטוס Pod בהמתנה.

לצפייה בשגיאות

לרוב אפשר לאבחן את הסיבה לבעיות בהגדלת קנה המידה באמצעות הודעות השגיאה:

הצגת שגיאות בהתראות

אם הבעיה שבה נתקלתם קרתה לפני פחות מ-72 שעות, אתם יכולים לראות התראות על שגיאות במסוף Google Cloud . ההתראות האלה מספקות תובנות חשובות לגבי הסיבה לכך שהמידרוג האוטומטי של האשכול לא הגדיל את קנה המידה, ומציעות עצות לפתרון השגיאה ולהצגת יומנים רלוונטיים להמשך הבדיקה.

כדי לראות את ההתראות במסוף Google Cloud :

  1. נכנסים לדף Kubernetes clusters במסוף Google Cloud .

    מעבר לאשכולות של Kubernetes

  2. מעיינים בעמודה התראות. ההתראות הבאות קשורות לבעיות בהגדלת קנה המידה:

    • Can't scale up
    • Can't scale up pods
    • Can't scale up a node pool
  3. לוחצים על ההתראה הרלוונטית כדי לפתוח חלונית עם פרטים על הגורם לבעיה ופעולות מומלצות לפתרון שלה.

  4. אופציונלי: כדי לראות את היומנים של האירוע הזה, לוחצים על יומנים. הפעולה הזו תעביר אתכם ל-Logs Explorer עם שאילתה שמולאה מראש, כדי לעזור לכם לחקור לעומק את אירוע ההתאמה לעומס. מידע נוסף על אופן הפעולה של אירועי הרחבה אנכית, ראו הצגת אירועי מידרוג אוטומטי של אשכולות.

אם אתם עדיין נתקלים בבעיות אחרי שפעלתם לפי ההנחיות שבהודעה, תוכלו להיעזר בטבלאות של הודעות השגיאה.

הצגת שגיאות באירועים

אם הבעיה שזיהיתם קרתה לפני יותר מ-72 שעות, אתם יכולים לראות את האירועים ב-Cloud Logging. אם מתרחשת שגיאה, היא בדרך כלל מתועדת באירוע.

כדי להציג את יומני המידרוג האוטומטי של אשכולות במסוף Google Cloud :

  1. נכנסים לדף Kubernetes clusters במסוף Google Cloud .

    מעבר לאשכולות של Kubernetes

  2. בוחרים את שם האשכול שרוצים לחקור כדי לפתוח את דף הפרטים שלו (Cluster details).

  3. בדף Cluster details, לוחצים על הכרטיסייה Logs.

  4. בכרטיסייה Logs, לוחצים על הכרטיסייה Autoscaler Logs כדי לראות את היומנים.

  5. אופציונלי: כדי להחיל מסננים מתקדמים יותר לצמצום התוצאות, לוחצים על הלחצן עם החץ בצד שמאל של הדף כדי להציג את היומנים ב-Logs Explorer.

מידע נוסף על אירועי הרחבה אנכית בהתאם לעומס זמין במאמר הצגת אירועים של מידרוג אוטומטי באשכול. כאן תוכלו לקרוא דוגמה לפתרון בעיות באמצעות Cloud Logging.

דוגמה: פתרון בעיה שקיימת יותר מ-72 שעות

בדוגמה הבאה מוסבר איך לחקור ולפתור בעיה שבה אשכול לא משתנה לעומס (scale up).

תרחיש: בשעה האחרונה, Pod סומן כ-unschedulable. המידרוג האוטומטי של האשכול לא הקצה צמתים חדשים לתזמון ה-Pod.

הפתרון:

  1. הבעיה התרחשה לפני יותר מ-72 שעות, ולכן אתם בודקים אותה באמצעות Cloud Logging במקום להסתכל על הודעות ההתראה.
  2. ב-Cloud Logging אפשר למצוא את פרטי הרישום ביומן של אירועי התאמה אוטומטית של קנה מידה באשכול, כפי שמתואר בקטע הצגת שגיאות באירועים.
  3. מחפשים אירועים של scaleUp שמכילים את ה-Pod שאתם חוקרים בשדה triggeringPods. אפשר לסנן את רשומות היומן, כולל סינון לפי ערך ספציפי של שדה JSON. מידע נוסף זמין במאמר שאילתות מתקדמות ביומנים.

  4. לא מופיעים אירועי הגדלה. אבל אם כן, אתם יכולים לנסות למצוא EventResult שמכיל את אותו eventId כמו האירוע scaleUp. אחר כך תוכלו לבדוק את השדה errorMsg ולעיין ברשימה של הודעות השגיאה האפשריות של scaleUp.

  5. לא מצאתם אירועים מסוג scaleUp, אז אתם ממשיכים לחפש אירועים מסוג noScaleUp ובודקים את השדות הבאים:

    • ‫unhandledPodGroups: מכיל מידע על ה-Pod (או על הבקר של ה-Pod).
    • ‫reason: מספק סיבות גלובליות לכך שהגדלת קנה המידה עלולה להיחסם.
    • ‫skippedMigs: מספק סיבות לכך שחלק מקבוצות ה-MIG לא נכללות.
  6. אתם מוצאים אירוע noScaleUp של ה-Pod, ולכל קבוצות ה-MIG בשדה rejectedMigs יש את אותו מזהה הודעה של סיבה "no.scale.up.mig.failing.predicate" עם שני פרמטרים: "NodeAffinity" ו-"node(s) did not match node selector".

פתרון:

אחרי שמעיינים ברשימה של הודעות השגיאה, מגלים שהמידרוג האוטומטי של אשכולות לא יכול להרחיב אנכית את מאגר הצמתים בגלל פרדיקט תזמון שנכשל לפודים בהמתנה. הפרמטרים הם השם של הפרדיקט שנכשל והסיבה לכישלון.

כדי לפתור את הבעיה, אתם בודקים את המניפסט של ה-Pod ומגלים שיש לו בורר צמתים שלא תואם לאף MIG באשכול. מוחקים את הסלקטור מהמניפסט של ה-Pod ויוצרים מחדש את ה-Pod. הכלי Cluster autoscaler מוסיף צומת חדש וה-Pod מתוזמן.

פתרון שגיאות בהגדלת קנה המידה

אם אתם משתמשים ב-ComputeClasses בהתאמה אישית והבעיות בהגדלת קנה המידה קשורות להגדרות הספציפיות של הצמתים שמוגדרות ב-ComputeClass, קראו את המאמר פתרון בעיות ב-ComputeClass בהתאמה אישית.

אחרי שזיהיתם את השגיאה, תוכלו להיעזר בטבלאות הבאות כדי להבין מה גרם לשגיאה ואיך לפתור אותה.

שגיאות ב-ScaleUp

הודעות השגיאה של אירועי scaleUp מופיעות באירוע eventResult התואם, בשדה resultInfo.results[].errorMsg.

כשפעולת הגדלה נכשלת כי היא חורגת מהמכסה, זו שגיאה ביצירת צומת שמפעילה תקופת השהיה של המערכת, שיכולה להימשך עד 30 דקות. מידע נוסף זמין במאמר תקופות השהיה.

הודעה פרטים פרמטרים צמצום הפגיעה
"scale.up.error.out.of.resources" שגיאות במשאבים מתרחשות כשמנסים לבקש משאבים חדשים באזור שלא יכול למלא את הבקשה, כי משאב של Compute Engine, כמו מעבדי GPU או מעבדי CPU, לא זמין כרגע. מזהי ה-MIG שנכשלו. פועלים לפי השלבים לפתרון בעיות שקשורות לזמינות המשאבים במאמרי העזרה של Compute Engine.
"scale.up.error.quota.exceeded" אירוע ה-scaleUp נכשל כי לא ניתן היה להגדיל חלק מקבוצות ה-MIG, בגלל חריגה מהמכסה של Compute Engine. מזהי ה-MIG שנכשלו. בודקים בכרטיסייה Errors של קבוצת ה-MIG במסוף Google Cloud כדי לראות איזו מכסה חורגת. אחרי שאתם יודעים איזו מכסה חרגה, פועלים לפי ההוראות כדי לבקש הגדלה של המכסה.
"scale.up.error.waiting.for.instances.timeout" הגדלת קבוצת מופעי מכונה מנוהלים נכשלה בגלל זמן קצוב לתפוגה. מזהי ה-MIG שנכשלו. אם המכונות מופעלות אבל לא נרשמות במישור הבקרה, פועלים לפי השלבים שמפורטים בקטע איתור מכונה שנכשלה ברישום הצומת. לסיבות אחרות, ראו מכונות MIG לא הופיעו בזמן. השגיאה הזו היא בדרך כלל זמנית. אם השגיאה נמשכת, פנו ל-Cloud Customer Care כדי לבדוק את הבעיה.
"scale.up.error.ip.space.exhausted" אי אפשר להגדיל את קבוצת המכונות כי נגמרו כתובות ה-IP במופעים של חלק מקבוצות המכונות המנוהלות. המשמעות היא שאין באשכול מספיק כתובות IP פנויות להוספת צמתים או Pods חדשים. מזהי ה-MIG שנכשלו. פועלים לפי השלבים לפתרון בעיות שמפורטים בקטע אין מספיק מקום פנוי בכתובת ה-IP לפודים.
"scale.up.error.service.account.deleted" אי אפשר להגדיל את המכסה כי חשבון השירות נמחק. מזהי ה-MIG שנכשלו. נסו לבטל מחיקה של חשבון השירות. אם התהליך לא מצליח, פנו ל-Cloud Customer Care כדי לבדוק את הנושא.

הסיבות לאירוע noScaleUp

אירוע noScaleUp מופק מדי פעם כשיש פודים שלא ניתנים לתזמון באשכול, והכלי להתאמה אוטומטית של קנה המידה של האשכול לא יכול להגדיל את האשכול כדי לתזמן את הפודים. אירועי noScaleUp נועדו לספק את המידע הכי מדויק, אבל הם לא מכסים את כל המקרים האפשריים.

הסיבות העיקריות ל-NoScaleUp

הודעות הסיבה ברמה העליונה לאירועי noScaleUp מופיעות בשדה noDecisionStatus.noScaleUp.reason. ההודעה מכילה סיבה ברמה העליונה לכך שהמידרוג האוטומטי של האשכול לא יכול להגדיל את האשכול.

הודעה פרטים צמצום הפגיעה
"no.scale.up.in.backoff" לא מתבצעת הגדלה כי היא נמצאת בתקופת השהיה (חסומה באופן זמני). ההודעה הזו יכולה להופיע במהלך אירועי הרחבה עם מספר גדול של Pods. ההודעה הזו אמורה להיות זמנית. בדקו את השגיאה הזו אחרי כמה דקות. אם ההודעה הזו ממשיכה להופיע, פנו ל-Cloud Customer Care כדי לבדוק את הבעיה.

סיבות ברמה העליונה לכך שאין הגדלה של הקצאת צמתים אוטומטית (NAP)

הודעות הסיבה להקצאת צמתים אוטומטית ברמה העליונה לאירועי noScaleUp מופיעות בשדה noDecisionStatus.noScaleUp.napFailureReason. ההודעה מכילה סיבה ברמה העליונה לכך שהמידרוג האוטומטי של האשכול לא יכול להקצות מאגרי צמתים חדשים.

הודעה פרטים צמצום הפגיעה
"no.scale.up.nap.disabled"

לא ניתן להגדיל את הקצאת הצמתים האוטומטית (NAP) כי היא לא מופעלת ברמת האשכול.

אם הקצאת הצמתים האוטומטית מושבתת, צמתים חדשים לא יוקצו באופן אוטומטי אם לפוד בהמתנה יש דרישות שאי אפשר למלא באמצעות מאגרי הצמתים הקיימים.

בודקים את הגדרות האשכול ושוקלים להפעיל הקצאת צמתים אוטומטית.

סיבות ברמת ה-MIG לאירועי NoScaleUp

הודעות הסיבה ברמת ה-MIG לאירועי noScaleUp מופיעות בשדות noDecisionStatus.noScaleUp.skippedMigs[].reason ו-noDecisionStatus.noScaleUp.unhandledPodGroups[].rejectedMigs[].reason. ההודעה מכילה את הסיבה לכך שהמידרוג האוטומטי של האשכול לא יכול להגדיל את קבוצת ה-MIG הספציפית.

הודעה פרטים פרמטרים צמצום הפגיעה
"no.scale.up.mig.skipped" אי אפשר להגדיל את קבוצת המכונות המנוהלת כי המערכת דילגה עליה במהלך הסימולציה. הסיבות לכך שהמערכת דילגה על ה-MIG (לדוגמה, חסרה דרישה של Pod). בודקים את הפרמטרים שכלולים בהודעת השגיאה ומטפלים בסיבה שבגללה המערכת דילגה על ה-MIG.
"no.scale.up.mig.failing.predicate" אי אפשר להגדיל את מאגר הצמתים כי הפרדיקט לתזמון של הפודים בהמתנה נכשל. שם הפרדיקט שנכשל והסיבות לכישלון. בודקים את הדרישות של ה-Pod, כמו כללי אפיניות, פגמים או סבילות ודרישות משאבים.

סיבות לאירועי NoScaleUp ברמת קבוצת הפודים בהקצאת צמתים אוטומטית (NAP)

הודעות הסיבה להקצאת צמתים אוטומטית ברמת קבוצת ה-Pod לאירועי noScaleUp מופיעות בשדה noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[]. ההודעה מכילה את הסיבה לכך שהמידרוג האוטומטי של אשכולות לא יכול להקצות מאגר צמתים חדש כדי לתזמן קבוצת Pods מסוימת.

הודעה פרטים פרמטרים צמצום הפגיעה
"no.scale.up.nap.pod.gpu.no.limit.defined" הקצאת צמתים אוטומטית לא הצליחה להקצות אף קבוצת צמתים כי ל-Pod בהמתנה יש בקשת GPU, אבל מגבלות המשאבים של ה-GPU לא מוגדרות ברמת האשכול. סוג ה-GPU המבוקש. בודקים את בקשת ה-GPU של ה-Pod בהמתנה, ומעדכנים את הגדרת מגבלות ה-GPU להקצאת צמתים אוטומטית ברמת האשכול.
"no.scale.up.nap.pod.gpu.type.not.supported" הקצאת צמתים אוטומטית (NAP) לא הקצתה קבוצת צמתים ל-Pod כי יש לו בקשות לסוג GPU לא ידוע. סוג ה-GPU המבוקש. בודקים את ההגדרות של ה-Pod בהמתנה לסוג ה-GPU כדי לוודא שהן תואמות לסוג GPU נתמך.
"no.scale.up.nap.pod.zonal.resources.exceeded" הקצאת צמתים אוטומטית (NAP) לא הקצתה קבוצת צמתים לפוד באזור הזה, כי פעולה כזו הייתה מפרה את מגבלות המשאבים המקסימליות ברמת האשכול, חורגת מהמשאבים הזמינים באזור או שאין סוג מכונה שמתאים לבקשה. שם האזור הרלוונטי. בודקים ומעדכנים את מגבלות המשאבים המקסימליות ברמת האשכול, את בקשות המשאבים של Pod או את האזורים הזמינים להקצאת צמתים אוטומטית.
"no.scale.up.nap.pod.zonal.failing.predicates" הקצאת צמתים אוטומטית (NAP) לא הקצתה קבוצת צמתים ל-Pod באזור הזה בגלל פרדיקטים שנכשלו. שם האזור שנבדק והסיבות לכך שהפרדיקטים נכשלו, לדוגמה: node(s) didn't match Pod's node affinity/selector או node(s) didn't match pod anti-affinity rules. בודקים את הסיבות לכשל של הפרדיקט ברשומת היומן. מעדכנים את אילוצי התזמון של ה-Pod בהמתנה (בוררי צמתים, כללי שיוך לצמתים, דרישות PersistentVolume, טולרנטיות או אילוצי פריסת טופולוגיה), או מעדכנים את הגדרת הקצאת הצמתים האוטומטית של האשכול. להוראות מפורטות לפתרון בעיות, קראו את המאמר הקצאת צמתים אוטומטית (NAP) נכשלת בפרדיקטים של תזמון.

לבצע בדיקה נוספת

בקטעים הבאים מוסבר איך להשתמש ב-Logs Explorer וב-gcpdiag כדי לקבל תובנות נוספות לגבי השגיאות.

בדיקת שגיאות ב-Logs Explorer

כדי לבדוק לעומק הודעת שגיאה, אפשר לעיין ביומנים שספציפיים לשגיאה הזו:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בחלונית השאילתה, מזינים את השאילתה שתואמת לקידומת של הודעת השגיאה:

    • בהודעות ב-scale.up.error.*:

      resource.type="k8s_cluster"
      log_id("container.googleapis.com/cluster-autoscaler-visibility")
      jsonPayload.resultInfo.results.errorMsg.messageId="ERROR_MESSAGE"
      

      מחליפים את ERROR_MESSAGE בהודעה שרוצים לחקור, למשל scale.up.error.out.of.resources.

    • בהודעות של no.scale.up.nap.pod.*:

      resource.type="k8s_cluster"
      log_id("container.googleapis.com/cluster-autoscaler-visibility")
      jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.napFailureReasons.messageId="ERROR_MESSAGE"
      

      מחליפים את ERROR_MESSAGE בהודעה שרוצים לחקור, למשל no.scale.up.nap.pod.zonal.failing.predicates. להודעה no.scale.up.nap.disabled ברמה העליונה, צריך לשלוח שאילתה לשדה jsonPayload.noDecisionStatus.noScaleUp.napFailureReason.messageId.

    • בהודעות ב-no.scale.up.mig.*:

      resource.type="k8s_cluster"
      log_id("container.googleapis.com/cluster-autoscaler-visibility")
      jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.rejectedMigs.reason.messageId="ERROR_MESSAGE"
      

      מחליפים את ERROR_MESSAGE בהודעה שרוצים לחקור, למשל no.scale.up.mig.failing.predicate. בהודעה no.scale.up.mig.skipped, צריך לשלוח שאילתה לשדה jsonPayload.noDecisionStatus.noScaleUp.skippedMigs.reason.messageId במקום זאת.

  3. לוחצים על Run query.

ניפוי באגים של שגיאות מסוימות באמצעות gcpdiag

‫gcpdiag הוא כלי בקוד פתוח שנוצר בתמיכת מהנדסים טכניים של Google Cloud. זה לא מוצר של Google Cloud שנתמך באופן רשמי.

אם נתקלתם באחת מהודעות השגיאה הבאות, אתם יכולים להשתמש ב-gcpdiag כדי לפתור את הבעיה:

  • scale.up.error.out.of.resources
  • scale.up.error.quota.exceeded
  • scale.up.error.waiting.for.instances.timeout
  • scale.up.error.ip.space.exhausted
  • scale.up.error.service.account.deleted

רשימה ותיאור של כל הדגלים של הכלי gcpdiag מופיעים בהוראות השימוש ב-gcpdiag.

פתרון שגיאות מורכבות בהגדלת קנה מידה

הקטעים הבאים יעזרו לכם לפתור שגיאות שדורשות כמה שלבים, או שאין להן הודעת אירוע משויכת מהמידרוג האוטומטי באשכול.

ה-Pod לא מתאים לצומת

תסמינים:

ה-Pods נשארים במצב Pending עם הודעת השגיאה PodUnschedulable, או שהאשכול מציג את הודעת השגיאה Pods unschedulable, והמידרוג האוטומטי של האשכול לא מגדיל את האשכול כדי להוסיף צמתים.

הסיבה:

מידרוג אוטומטי מוסיף צמתים למאגר צמתים רק אם סוג המכונה מספק מספיק משאבים, כמו מעבדי CPU, מעבדי GPU, זיכרון ואחסון, ל-Pod בהמתנה. אם הקצאות המשאבים של Pod חורגות מהמשאבים של צומת יחיד, מידרוג אוטומטי של האשכול לא מרחיב אנכית כי ה-Pod עדיין לא יכול להתאים לצומת חדש.

בנוסף, המשאבים שניתן להקצות בצומת קטנים מסך המשאבים שלו, כי רכיבי המערכת שומרים חלק מהמשאבים האלה. למידע נוסף על האופן שבו GKE מחשב משאבים שניתנים להקצאה, ראו משאבים שניתנים להקצאה של צומת.

פתרון:

כדי לבדוק אם בקשות המשאבים של Pod חורגות מהמשאבים שסופקו על ידי הצמתים, ולפתור את הבעיה, בצעו את השלבים הבאים. בדוגמה הזו נבדקים משאבי המעבד (CPU), אבל אותם שלבים רלוונטיים גם למשאבי GPU, זיכרון ואחסון:

  1. נכנסים לדף Workloads במסוף Google Cloud .

    כניסה לדף Workloads

  2. לוחצים על הודעת השגיאה PodUnschedulable.

  3. בחלונית Details, לוחצים על שם ה-Pod. אם יש כמה Pods, מתחילים עם ה-Pod הראשון וחוזרים על התהליך הבא לכל Pod.

  4. בדף Pod details, לוחצים על הכרטיסייה YAML.

  5. כדי למצוא את סך כל בקשות המשאבים, שימו לב לבקשות המשאבים של כל קונטיינר ב-Pod. לדוגמה, בהגדרת ה-Pod הבאה, ה-Pod צריך 2 מעבדי vCPU:

    resources:
      limits:
        cpu: "3"
      requests:
        cpu: "2"
    
  6. מציגים את פרטי מאגר הצמתים מהאשכול עם ה-Pod שלא תזמנתם:

    1. נכנסים לדף Kubernetes clusters במסוף Google Cloud .

      מעבר לאשכולות של Kubernetes

    2. לוחצים על שם האשכול שמופיעה בו הודעת השגיאה Pods unschedulable.

    3. בדף Cluster details, לוחצים על הכרטיסייה Nodes.

    4. בקטע מאגרי צמתים, שימו לב לערך בעמודה סוג מכונה, לדוגמה n1-standard-1.

  7. משווים בין בקשת המשאבים לבין יחידות ה-vCPU שסוג המכונה מספק. לדוגמה, אם Pod מבקש 2 יחידות vCPU, אבל הצמתים הזמינים משתמשים בסוג המכונה n1-standard-1, לצמתים יש רק יחידת vCPU אחת. בהגדרה כזו, המידרוג האוטומטי של האשכול לא מפעיל הגדלה כי עדיין אי אפשר להתאים את ה-Pod לצומת חדש. למידע נוסף על סוגי מכונות זמינים, ראו המדריך להשוואה בין משאבים ומשפחות מכונות במאמרי העזרה של Compute Engine.

  8. כדי לפתור את חוסר ההתאמה, אתם יכולים לבצע את הפעולות הבאות בהתאם לצורכי עומס העבודה שלכם:

    • אם ה-Pod דורש את המשאבים המבוקשים: יוצרים מאגר צמתים עם סוג מכונה שיכול לתמוך בבקשות המשאבים של ה-Pod.
    • אם בקשות המשאבים של ה-Pod לא מדויקות: מעדכנים את ההגדרה של ה-Pod כדי שיתאים לצמתים הקיימים.

מופעי MIG לא הופיעו בזמן

תסמינים:

מופיעה אחת מהודעות השגיאה הבאות:

  • במסוף Google Cloud , ההודעה הבאה מוצגת באשכול:

    Can't scale up because instances in managed instance groups hosting node pools failed to appear in time
    
  • ב-Logging, האירוע eventResult של הגדלת הנפח מכיל את הודעת השגיאה הבאה:

    scale.up.error.waiting.for.instances.timeout
    

הסיבה:

‫Compute Engine לא יכול ליצור צמתים ב-MIG, או שהצמתים החדשים לא מצליחים להירשם במישור הבקרה לפני שנגמר הזמן הקצוב לפעולת ההרחבה. הבעיה הזו יכולה לקרות מהסיבות הבאות:

  • רישום הצומת נכשל: Compute Engine יוצר את הצמתים, אבל הם לא נרשמים במישור הבקרה בגלל אחד או יותר מכללי חומת האש, שינוי שבוצע לאחרונה בגישה לשירותים פרטיים או בקישור בין רשתות VPC שכנות, או בגלל שחסר חשבון שירות של ניהול זהויות והרשאות גישה (IAM).
  • חריגה ממכסות הפרויקט: מכונות חדשות ב-MIG לא מופיעות כי הפרויקט חורג ממכסה של מעבדים, כתובות IP או משאב אחר.
  • כתובות IP לא זמינות: ברשת המשנה אין מספיק כתובות IP פנויות כדי ליצור צמתים חדשים.
  • תבנית לא תקינה של הגדרות מכונה: קבוצת המכונות המנוהלות משתמשת בתבנית לא תקינה של הגדרות מכונה, כמו תבנית עם תמונה חסרה, שמונעת את הרחבת קנה המידה.
  • אין מספיק משאבים: באזור אין מספיק משאבי Compute Engine, כמו מעבדי GPU או מעבדי CPU, כדי ליצור צומת חדש.
  • ממשקי API לא נגישים: אין גישה לממשק API נדרש, כמו compute.googleapis.com, בגלל כלל של חומת אש או גבולות הגזרה של VPC Service Controls.
  • זמן האחזור של הרשת: זמן אחזור משמעותי של הרשת מעכב את היצירה או את השימוש בצומת חדש.

פתרון:

  1. כדי לזהות את הגורם לזמן הקצוב לתפוגה, מציגים את השגיאות של המכונה ב-MIG ובודקים את התוצאה:

    • קבוצת ה-MIG לא מציגה שגיאות מהזמן שבו אירע הכשל: Compute Engine יצר את הצמתים, אבל הצמתים לא נרשמו במישור הבקרה לפני הזמן הקצוב לתפוגה. בשלב הבא, מתחילים עם רישום צומת שנכשל. אם הצמתים נרשמו אבל התהליך נמשך יותר מדי זמן, קראו את הקטע זמן אחזור ברשת.
    • קבוצת ה-MIG מציגה שגיאות מהזמן שבו אירע הכשל: ‫Compute Engine לא הצליח ליצור את הצמתים. השתמשו בקוד השגיאה ובהודעת השגיאה כדי למצוא את הסיבה בשלב הבא. קודי שגיאה נפוצים:

      • ‫QUOTA_EXCEEDED: חריגה ממכסות הפרויקט
      • ‫IP_SPACE_EXHAUSTED: כתובות IP לא זמינות
      • ‫ZONE_RESOURCE_POOL_EXHAUSTED: אין מספיק משאבים

      לחלק מקודי השגיאה יש סיומת _WITH_DETAILS, והודעת השגיאה כוללת מידע נוסף. אם הודעת השגיאה מדווחת על משאב שלא קיים, כמו תמונת מקור, עיינו בנקודה תבנית לא חוקית של הגדרות מכונה.

  2. כדי לפתור את הבעיה, צריך לבחור את הפתרון שמתאים לסיבה שלה:

    • רישום הצומת נכשל: פועלים לפי השלבים שמפורטים בקטע איתור מכונה שרישום הצומת שלה נכשל. אפשר גם לבדוק אם בוצעו לאחרונה שינויים בהגדרות:

      • כללי חומת אש: כדי לבדוק אם כלל חומת אש נוצר, עודכן או נמחק לאחרונה, מריצים את השאילתה הבאה ב-Logs Explorer:

        resource.type="gce_firewall_rule"
        log_id("cloudaudit.googleapis.com/activity")
        

        אם שינוי חוסם את התנועה בין הצמתים למישור הבקרה או ל-Google APIs, צריך לעדכן או להחליף את כלל חומת האש. למידע נוסף על הקישוריות הנדרשת, קראו את המאמר דרישות מוקדמות לרישום צומת.

      • חשבון שירות ב-IAM: אם חסר חשבון שירות, עיינו בשורה scale.up.error.service.account.deleted בטבלה שגיאות ב-ScaleUp.

      • גישה לשירותים פרטיים: כדי לבדוק אם יש שינויים שבוצעו לאחרונה ביומני הביקורת, קראו את המאמר רישום ביומן ביקורת של גישה לשירותים פרטיים.

      • קישור בין רשתות VPC שכנות (peering): כדי לבדוק אם הקישור נוסף, עודכן או הוסר לאחרונה, מריצים את השאילתה הבאה ב-Logs Explorer לכל פרויקט מקושר:

        log_id("cloudaudit.googleapis.com/activity")
        resource.type="gce_network"
        protoPayload.methodName:("compute.networks.addPeering" OR
        "compute.networks.updatePeering" OR
        "compute.networks.removePeering")
        

        אם שינוי בקישור פגע בקישוריות למישור הבקרה, עדכנו את חיבור ה-peering. אם החיבור נמחק, קראו את המאמר חיבור ה-VPC Network Peering נמחק בטעות.

    • חריגה ממכסות הפרויקט: ראו את השורה scale.up.error.quota.exceeded בטבלה שגיאות ScaleUp.

    • כתובות IP לא זמינות: ראו את השורה scale.up.error.ip.space.exhausted בטבלה ScaleUp errors.

    • תבנית לא תקינה של הגדרות מכונה: ראו תבנית לא תקינה של הגדרות מכונה במסמכי התיעוד של Compute Engine.

    • משאבים לא מספיקים: ראו את השורה scale.up.error.out.of.resources בטבלה שגיאות ScaleUp.

    • ממשקי API לא נגישים: ב-Logs Explorer, מריצים שאילתה כדי לבדוק אם יש פעילות שקשורה לכללים של חומת האש או להיקפים של VPC Service Controls:

      • כדי לבדוק אם כלל של חומת האש השתנה לאחרונה, מריצים את השאילתה של יומן הביקורת בנקודה כללי חומת האש בקטע רישום הצומת נכשל. אם הפעלתם את ניהול כללי חומת אש לכללים, אתם יכולים גם להציג את החיבורים שהכללים דחו על ידי הרצת השאילתה הבאה:

        resource.type="gce_subnetwork"
        log_id("compute.googleapis.com/firewall")
        jsonPayload.disposition="DENIED"
        

        אם ביומנים מופיע כלל של חומת אש שחוסם את התנועה לממשקי Google API הנדרשים, מעדכנים או מחליפים את הכלל של חומת האש כדי לאפשר את התנועה. למידע נוסף על דרישות הרשת, קראו את המאמר דרישות מוקדמות לחיבור רשת לממשקי API ולשירותים של Google.

      • אם אתם משתמשים ב-VPC Service Controls, בחרו את הארגון שלכם במסוף Google Cloud והריצו את השאילתה הבאה ב-Logs Explorer כדי לבדוק אם לאחרונה נוסף או שונה היקף:

        logName="organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Factivity"
        protoPayload.serviceName="accesscontextmanager.googleapis.com"
        

        מחליפים את ORGANIZATION_ID במזהה הארגון.

        אפשר גם להוסיף את המסננים הבאים כדי למצוא עדכון או יצירה של היקף שירות של VPC Service Controls:

        severity=NOTICE
        protoPayload.methodName=("google.identity.accesscontextmanager.v1.AccessContextManager.CreateServicePerimeter"
        OR "google.identity.accesscontextmanager.v1.AccessContextManager.UpdateServicePerimeter")
        

        אם גבולות גזרה חדשים או כאלה ששונו חוסמים את הגישה לממשקי Google API הנדרשים, אחזרו את השגיאות של VPC Service Controls מיומני הביקורת כדי לזהות את השירות החסום, ועדכנו את גבולות הגזרה לשירות כדי לאפשר גישה. למידע נוסף על השימוש ב-Cluster Autoscaler בהיקף, קראו את המאמר Autoscaler not working in perimeters with accessible services and restricted services enabled.

    • זמן אחזור ברשת: זמן אחזור זמני ברשת בדרך כלל נפתר בניסיונות הבאים להגדלת הנפח. אם זמן האחזור נמשך, תוכלו להיעזר במאמר פתרון בעיות נפוצות ברשת שבמסמכי התיעוד של Compute Engine.

הקצאת צמתים אוטומטית (NAP) נכשלת בתזמון פרדיקטים

תסמינים:

ה-Pods נשארים במצב Pending והמידרוג האוטומטי של האשכול לא יוצר מאגר צמתים חדש:

  • באשכולות רגילים שבהם מופעלת הקצאת צמתים אוטומטית, במסוף Google Cloud מוצגת ההתראה הבאה:

    Can't scale up because node auto-provisioning can't provision a node pool for a Pod with failing predicates
    
  • בכלי Logging, באשכולות במצב Autopilot ובמצב Standard, האירוע noDecisionStatus ביומן container.googleapis.com/cluster-autoscaler-visibility מכיל את מזהה ההודעה של no.scale.up.nap.pod.zonal.failing.predicates בשדה jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[].

הסיבה:

הקצאת צמתים אוטומטית לא יכולה ליצור מאגר צמתים כי לפוד בהמתנה יש אילוצי תזמון שאף הגדרת צומת מועמד באותו אזור לא יכולה לעמוד בהם. האילוצים האלה כוללים בוררי צמתים, כללי אפיניות, טיינטים לא נסבלים, אילוצי פריסת טופולוגיה או דרישות אחסון. הבעיה הזו רלוונטית לאשכולות במצב Autopilot, לאשכולות במצב Standard שמופעלת בהם הקצאת צמתים אוטומטית, ול-ComputeClasses בהתאמה אישית עם יצירה אוטומטית של מאגרי צמתים.

פתרון:

כדי לזהות את הפרדיקט שנכשל ולפתור את הבעיה:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בחלונית השאילתה, מזינים את השאילתה הבאה כדי לראות את פרטי הפרדיקט שנכשל:

    resource.type="k8s_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    log_id("container.googleapis.com/cluster-autoscaler-visibility")
    jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.napFailureReasons.messageId="no.scale.up.nap.pod.zonal.failing.predicates"
    

    מחליפים את CLUSTER_NAME בשם האשכול.

  3. לוחצים על Run query.

  4. מרחיבים את הרשומה האחרונה ביומן ובודקים את המערך jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups[]. בשדה podGroup.samplePod הרלוונטי, בודקים את המערך parameters בתוך כל רשומה של napFailureReasons:

    • הרכיב הראשון במערך parameters הוא האזור שנבדק.
    • כל רכיב שנותר במערך parameters הוא סיבה לכשל בפרדיקט.

    הקטע הבא מרשומת יומן לדוגמה מציג Pod שנכשל בפרדיקט של בורר או של שיוך לצומת באזור us-central1-a:

    {
      "jsonPayload": {
        "noDecisionStatus": {
          "measureTime": "1706540000",
          "noScaleUp": {
            "unhandledPodGroups": [
              {
                "napFailureReasons": [
                  {
                    "messageId": "no.scale.up.nap.pod.zonal.failing.predicates",
                    "parameters": [
                      "us-central1-a",
                      "node(s) didn't match Pod's node affinity/selector"
                    ]
                  }
                ],
                "podGroup": {
                  "samplePod": {
                    "controller": {
                      "apiVersion": "apps/v1",
                      "kind": "ReplicaSet",
                      "name": "web-app-6d4cf56db6"
                    },
                    "name": "web-app-6d4cf56db6-x8k2p",
                    "namespace": "default"
                  },
                  "totalPodCount": 1
                }
              }
            ],
            "unhandledPodGroupsTotalCount": 1
          }
        }
      }
    }
    
  5. פותרים את ההתנגשות בתזמון שתואמת לסיבת הכישלון של הפרדיקט במערך parameters, כפי שמתואר בטבלה הבאה:

    הסיבה לכשל בפרדיקט ביומן גורמים נפוצים רזולוציה
    node(s) didn't match Pod's node affinity/selector
    • ה-Pod מגדיר את התווית cloud.google.com/gke-nodepool כדי לטרגט מאגר צמתים שנוצר באופן ידני.
    • ה-Pod מבקש אזור מחוץ למיקומים שהוגדרו להקצאת משאבים אוטומטית באשכול.
    • ה-Pod מבקש תמונה של מערכת הפעלה בתווית cloud.google.com/gke-os-distribution שלא תואמת לתמונת ברירת המחדל של הצומת באשכול.
    • ה-Pod בוחר תוויות של צמתים בהתאמה אישית שלא מוגדרות בהגדרות של הקצאת צמתים אוטומטית (NAP) או ב-ComputeClass בהתאמה אישית.
    • אם הפוד מגדיר את התווית cloud.google.com/gke-nodepool, הקצאת צמתים אוטומטית לא יכולה ליצור מאגר צמתים בשביל הפוד הזה. בודקים אם מאגר הצמתים המטורגט הגיע למגבלת הצמתים המקסימלית, או מסירים את הבורר cloud.google.com/gke-nodepool כדי שהקצאת הצמתים האוטומטית תוכל ליצור מאגר צמתים.
    • אם ה-Pod מבקש אזור ספציפי, ודאו שהאזור נכלל במיקומים שהוגדרו להקצאת משאבים אוטומטית.
    • אם ה-Pod מגדיר את התווית cloud.google.com/gke-os-distribution, כמו ubuntu או cos_containerd, צריך לוודא שהערך תואם לתמונת ברירת המחדל של הצומת באשכול. הקצאת צמתים אוטומטית יוצרת מאגרי צמתים רק עם קובץ האימג' של צומת ברירת המחדל. מעדכנים את קובץ האימג' של צומת ברירת המחדל להקצאת צמתים אוטומטית, או יוצרים באופן ידני מאגר צמתים עם התאמה אוטומטית לעומס שמשתמש בקובץ האימג' הנדרש של הצומת.
    • אם הפוד בוחר תוויות מותאמות אישית של צמתים, צריך לוודא שהתוויות האלה מוגדרות בהגדרות של הקצאת הצמתים האוטומטית או ב-ComputeClass בהתאמה אישית. לחלופין, אפשר לפעול לפי הדרישות של הפרדת עומסי עבודה על ידי הגדרה של בורר צמתים וסבילות תואמים. אחרת, צריך להסיר את בוררי התוויות הלא מזוהים או לטרגט למאגר צמתים שנוצר באופן ידני ויש לו את התוויות האלה.
    • אם ה-Pod מבקש סוג GPU או סדרת מכונות שלא זמינים באזור, הכלי להתאמה לעומס (autoscaler) של האשכול מדווח במקום זאת על מזהה ההודעה no.scale.up.nap.pod.zonal.illegal.config. כדי לוודא שהתחום זמין, אפשר לעיין במאמרים מיקומי GPU ואזורים ותחומים.
    • node(s) didn't match PersistentVolume's node affinity
    • node(s) had volume node affinity conflict
    • pod has unbound immediate PersistentVolumeClaims
    • ה-Pod מפנה ל-PersistentVolumeClaim שקשור ל-PersistentVolume אזורי באזור אחר, למשל כשה-StorageClass משתמש בהגדרה volumeBindingMode: Immediate.
    • ה-Pod מבקש נפח של pd-standard, pd-balanced או pd-ssd עם סדרת מכונות שלא תומכת בסוג הדיסק הזה כש-GKE אוכף את הטופולוגיה של סוג הדיסק, כמו באשכולות Autopilot או כש-StorageClass מגדיר את הפרמטר use-allowed-disk-topology: "true".
    • מתאימים את האזור nodeSelector או nodeAffinity של ה-Pod לאזור של ה-PersistentVolume המקושר. כדי למנוע הקצאת נפחים באזור מתנגש, צריך להגדיר את StorageClass עם ההגדרה volumeBindingMode: WaitForFirstConsumer.
    • צריך להשתמש בסוג דיסק שנתמך בסדרת המכונות המבוקשת. לדוגמה, סדרות המכונות C4 ו-N4 תומכות רק בנפחי Google Cloud Hyperdisk, וסדרות המכונות C3 ו-M3 לא תומכות בנפחי pd-standard. מידע נוסף זמין במאמרים תמיכה של סדרת מכונות ב-Hyperdisk ותמיכה של סדרת מכונות ב-Persistent Disk.
    node(s) had untolerated taint(s), או הודעה שמתחילה ב-node(s) had untolerated taint ה-Pod מטרגט הגדרה של הקצאת צמתים אוטומטית (NAP) או ComputeClass שמחילים טיינטים על צמתים שהוקצו, כמו טיינטים של GPU או טיינטים של הפרדת עומסי עבודה, בלי טולרציה תואמת בשדה spec.tolerations. אם הכתמים הוחלו על ידי הגדרת הקצאת הצמתים האוטומטית או ComputeClass, צריך להוסיף טולרנטיות תואמת לשדה spec.tolerations במניפסט של הפוד.
    • node(s) didn't match pod topology spread constraints
    • node(s) didn't match pod affinity rules
    • node(s) didn't match pod anti-affinity rules
    • node(s) didn't satisfy existing pods anti-affinity rules
    • ה-Pod מגדיר כללים מסוג topologySpreadConstraints עם ההגדרה whenUnsatisfiable: DoNotSchedule, או כללים מסוג podAffinity או podAntiAffinity עם ההגדרה requiredDuringSchedulingIgnoredDuringExecution, שאי אפשר למלא על ידי הוספת צומת באזור הזה.
    • ‫PersistentVolume אזורי שומר את ה-Pod באזור אחד, בזמן שאילוץ של פריסת טופולוגיה או כלל של אנטי-אפיניות חוסמים את התזמון באזור הזה כי Pod תואם אחר כבר פועל שם.
    • בודקים את השדות spec.topologySpreadConstraints ו-spec.affinity של ה-Pod כדי לוודא שיש מספיק אזורים או דומיינים של טופולוגיה במיקומים להקצאת משאבים אוטומטית של האשכול, כדי לעמוד באילוץ.
    • אם PersistentVolume אזורי מתנגש עם כלל קפדני של פיזור טופולוגיה או של אנטי-אפיניות, משנים את הערך של השדה whenUnsatisfiable ל-ScheduleAnyway, מגדילים את הערך של maxSkew או מעדכנים את הגדרת האחסון או האנטי-אפיניות של עומס העבודה.

אשכולות לא תקינים מונעים סילומיות אנכית (scale up)

תסמינים:

מידרוג אוטומטי של אשכולות עוצר את כל פעולות ההתאמה לעומס, וה-ConfigMap של cluster-autoscaler-status מכיל אירוע עם הסוג Warning והסיבה ClusterUnhealthy.

כדי להציג את ה-ConfigMap של cluster-autoscaler-status, מריצים את הפקודה הבאה:

kubectl describe configmap cluster-autoscaler-status -n kube-system

הסיבה:

המידרוג האוטומטי של האשכול לא מגדיל את האשכול אם הוא מחשיב אותו כלא תקין. מידרוג אוטומטי קובע את תקינות האשכול על סמך היחס בין הצמתים התקינים והמוכנים, ולא על סמך התקינות של מישור הבקרה. אם 45% מהצמתים באשכול לא תקינים או לא מוכנים, המידרוג האוטומטי של האשכול מפסיק את כל הפעולות.

המידרוג האוטומטי של האשכול מתייחס לצומת מוכן כ-NotReady גם כשיש לצומת טאנט עם הקידומת ignore-taint.cluster-autoscaler.kubernetes.io/. המידרוג האוטומטי של האשכול מתייחס לצומת כ-NotReady כל עוד ה-taint קיים.

פתרון:

כדי לפתור את הבעיה, צריך להקטין את מספר הצמתים הלא תקינים באחת מהדרכים הבאות או בשתיהן:

  • בודקים ומתקנים צמתים לא תקינים או צמתים במצב NotReady, כך שפחות מ-45% מהצמתים באשכול יהיו לא תקינים.
  • אם לצמתים מוכנים יש taint עם הקידומת ignore-taint.cluster-autoscaler.kubernetes.io/, מסירים את ה-taint.

המאמרים הבאים