העברת צמתים למצב תחזוקה

מצב תחזוקה מאפשר לתקן צמתים ולטפל בהם עם הפרעה מינימלית לעומסי העבודה. כשמוסיפים צמתים לקטע maintenanceBlocks בהגדרת האשכול, Google Distributed Cloud מרוקן את עומסי העבודה שלהם בצורה חלקה ומונע תזמון של Pods חדשים בהם. כשצריך להעביר אשכול שלם למצב אופליין, אפשר גם להשבית אותו ולהפעיל אותו מחדש באופן בטוח.

במהלך שדרוגים של אשכולות, Google Distributed Cloud משתמש באופן אוטומטי במצב תחזוקה כדי לרוקן צמתים לפני שהם משודרגים. למידע נוסף על תהליך השדרוג, קראו את המאמר מחזור החיים והשלבים של שדרוגי אשכולות.

איך זה עובד

ב-Google Distributed Cloud אפשר להעביר צמתים למצב תחזוקה. כך רכיבים אחרים באשכול יכולים לדעת שהצומת נמצא במצב תחזוקה. כשמעבירים צומת למצב תחזוקה, אי אפשר לתזמן פודים נוספים בצומת, והפודים הקיימים נעצרים.

במקום להשתמש במצב תחזוקה, אתם יכולים להשתמש באופן ידני בפקודות Kubernetes כמו kubectl cordon ו-kubectl drain בצומת ספציפי.

כשמשתמשים בתהליך של מצב תחזוקה, Google Distributed Cloud מבצע את הפעולות הבאות:

1.29

  • ‫Google Distributed Cloud מוסיף את הכתם baremetal.cluster.gke.io/maintenance:NoSchedule לצמתים שצוינו כדי למנוע תזמון של פודים חדשים בצומת.

  • ב-Google Distributed Cloud, כל Pod מפונה באמצעות Eviction API. השיטה הזו לניקוז צמתים מכבדת את PodDisruptionBudgets‏ (PDBs). אתם יכולים להגדיר תקציבי PDB כדי להגן על עומסי העבודה, על ידי ציון רמת השיבוש שאפשר לסבול בקבוצה של פודים באמצעות השדות minAvailable ו-maxUnavailable. ניקוז צמתים בדרך הזו מספק הגנה טובה יותר מפני שיבושים בעומסי העבודה. פינוי צמתים שמבוסס על פינוי זמין כ-GA לגרסה 1.29.

  • כדי לוודא שהצמתים לא ייתקעו בהמתנה לעצירת ה-Pods, מוגדר זמן קצוב של 20 דקות. יכול להיות שהפסקת הפודים לא תתבצע אם הם מוגדרים לקבל את כל ה-taints או אם יש להם finalizers. מערכת Google Distributed Cloud מנסה לעצור את כל הפודים, אבל אם חולף הזמן הקצוב, הצומת עובר למצב תחזוקה. הזמן הקצוב לתפוגה מונע מפודים שפועלים לחסום שדרוגים.

‫1.28 ומטה

  • ‫Google Distributed Cloud מוסיף את הכתם baremetal.cluster.gke.io/maintenance:NoSchedule לצמתים שצוינו כדי למנוע תזמון של פודים חדשים בצומת.

  • ‫Google Distributed Cloud מוסיף את ה-taint‏ baremetal.cluster.gke.io/maintenance:NoExecute. בעקבות הטיינט NoExecute, ‏Google Distributed Cloud kube-scheduler עוצר את הפודים ומרוקן את הצומת. השיטה הזו לניקוז צמתים לא מכבדת את ה-PDB.

  • כדי לוודא שהצמתים לא ייתקעו בהמתנה לעצירת ה-Pods, מוגדר זמן קצוב של 20 דקות. יכול להיות שהפסקת הפודים לא תתבצע אם הם מוגדרים לקבל את כל ה-taints או אם יש להם finalizers. מערכת Google Distributed Cloud מנסה לעצור את כל הפודים, אבל אם חולף הזמן הקצוב, הצומת עובר למצב תחזוקה. הזמן הקצוב לתפוגה מונע מפודים שפועלים לחסום שדרוגים.

פינוי מבוסס-פינוי

אין שינויים פרוצדורליים שקשורים למעבר מניקוז צמתים מבוסס-טיינט לניקוז מבוסס-פינוי. המתג משפיע רק על הלוגיקה של ההתאמה.

היכולת הזו לא נמצאת באותו שלב השקה בכל הגרסאות הנתמכות:

  • ‫1.29: זמינות לכלל המשתמשים (GA)
  • ‫1.28: לא זמין
  • ‫1.16: לא זמין

סדר הניקוז

בגרסאות שקדמו ל-1.29, ניקוז הצמתים שמבוסס על טיינטים ומבוצע על ידי Google Distributed Cloud kube-scheduler לא משתמש באלגוריתם מסוים כדי לנקז פודים מצומת. כשמרוקנים צומת באמצעות פינוי, הפודים מפונים בסדר מסוים לפי עדיפות. עדיפות הפינוי משויכת לקריטריונים ספציפיים של Pod, כפי שמוצג בטבלה הבאה:

סדר הניקוז הקריטריונים של הפוד (כולם חייבים להתאים) וגם
1

פודים שתואמים לקריטריונים הבאים יפונו:

  • פודים בלי spec.prorityClassName
  • פודים שלא תואמים לאף שם מוכר של Container Storage Interface‏ (CSI)
  • פודים שלא שייכים ל-DaemonSet
2

פודים שתואמים לקריטריונים הבאים יפונו:

  • ‫Pods ששייכים ל-DaemonSet
  • ל-Pods אין PriorityClass
  • פודים שלא תואמים לאף שם מוכר של Container Storage Interface‏ (CSI)
3

פודים שתואמים לקריטריונים הבאים יפונו:

  • פודים עם Spec.ProrityClassName
  • פודים שלא תואמים לאף שם מוכר של Container Storage Interface‏ (CSI)

סדר הפינוי של פודים תואמים מבוסס על PriorityClass.value, מהנמוך לגבוה.

4

מחכים ש-CSI ינקה את נקודות הטעינה של PV/PVC אחרי שכל ה-Pods פונו. משתמשים בערך Node.Status.VolumesInUse כדי לציין שכל אמצעי האחסון נוקו.

5

פודים שתואמים לקריטריונים הבאים יפונו:

  • פודים שתואמים לשם מוכר של Container Storage Interface‏ (CSI)

עדיין צריך לרוקן את הפודים האלה, כי kubelet לא מספק תאימות לשדרוג במקום.

פינוי צמתים שמבוסס על פינוי פודים מכבד את ה-PDB, ולכן הגדרות ה-PDB עשויות לחסום את פינוי הצמתים בנסיבות מסוימות. למידע על פתרון בעיות שקשורות לניקוז מאגר צמתים, קראו את המאמר בדיקה למה צומת נמצא בסטטוס ניקוז במשך זמן רב.

המועד האחרון לניקוז מבוסס-פינוי

כשמעבירים צמתים למצב תחזוקה, המערכת אוכפת זמן קצוב לתפוגה של 20 דקות (1,200 שניות) כברירת מחדל לניקוז הצמתים. כשהזמן הקצוב לתפוגה חולף, כל ה-Pods שלא מאפשרים מצב תחזוקה מפונים, והצומת נכנס למצב תחזוקה. החל מגרסה 1.16, אפשר להוסיף את ההערה baremetal.cluster.gke.io/maintenance-mode-deadline-seconds למשאב האשכול כדי לשנות את משך הזמן הקצוב לתפוגה. לדוגמה, כדי לשנות את זמן הקצוב ל-10 דקות, מוסיפים את ההערה baremetal.cluster.gke.io/maintenance-mode-deadline-seconds: "600" למשאב האשכול.

לפעמים ניקוז שמבוסס על פינוי יכול לחרוג מהמועד האחרון שצוין על ידי maintenance-mode-deadline-seconds. אם הפודים נתקעים במצב סיום אחרי שחולף המועד האחרון, אל תשתמשו ב-kubectl עם הדגלים --grace-period=0 --force כדי למחוק אותם בכוח, כי זה עלול לגרום להשחתת נתונים או לבעיות של פיצול מוח באפליקציות עם שמירת מצב. במקום זאת, צריך להפעיל מחדש את הצמתים עם Pods תקועים עם שמירת מצב.

אם אתם צריכים עזרה נוספת, תוכלו לפנות אל Cloud Customer Care. במאמר קבלת תמיכה תוכלו לקרוא מידע נוסף על מקורות המידע לתמיכה, כולל:

  • הדרישות לפתיחת בקשת תמיכה.
  • כלים שיעזרו לכם לפתור בעיות, כמו הגדרת הסביבה, יומנים ומדדים.
  • רכיבים נתמכים.

השבתת ניקוז צמתים שמבוסס על פינוי

פינוי צמתים שמבוסס על פינוי מופעל כברירת מחדל באשכולות בגרסה משנית 1.29 ואילך, או באשכולות שמשודרגים לגרסה משנית 1.29 ואילך. אם פינוי הצמתים שמבוסס על פינוי גורם לבעיות בשדרוג או בתחזוקה של האשכול, אתם יכולים לחזור לפינוי צמתים שמבוסס על טיינטים. כדי לעשות את זה, צריך להוסיף את ההערה baremetal.cluster.gke.io/maintenance-mode-ignore-pdb: "" למשאב האשכול.

כדי לשחזר את התנהגות ברירת המחדל של ניקוז צומת שמבוסס על פינוי, צריך להסיר את ההערה לחלוטין. הגדרת ההערה לערך false לא מפעילה מחדש את פעולת ברירת המחדל.

העברת צומת למצב תחזוקה

בוחרים את הצמתים שרוצים להעביר למצב תחזוקה על ידי ציון טווחי כתובות ה-IP של הצמתים שנבחרו בקטע maintenanceBlocks בקובץ התצורה של האשכול. הצמתים שבוחרים צריכים להיות במצב מוכן ולפעול באשכול.

כדי להעביר צמתים למצב תחזוקה:

  1. עורכים את קובץ התצורה של האשכול כדי לבחור את הצמתים שרוצים להעביר למצב תחזוקה.

    אפשר לערוך את קובץ התצורה באמצעות כלי עריכה לבחירתכם, או לערוך ישירות את המשאב המותאם אישית של האשכול באמצעות הפקודה הבאה:

    kubectl -n CLUSTER_NAMESPACE edit cluster CLUSTER_NAME

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAMESPACE: מרחב השמות של האשכול.
    • ‫CLUSTER_NAME: שם האשכול.
  2. מוסיפים את הקטע maintenanceBlocks לקובץ התצורה של האשכול כדי לציין כתובת IP אחת או טווח כתובות לצמתים שרוצים להעביר למצב תחזוקה.

    בדוגמה הבאה אפשר לראות איך בוחרים כמה צמתים על ידי ציון טווח של כתובות IP:

    metadata:
      name: my-cluster
      namespace: cluster-my-cluster
    spec:
      maintenanceBlocks:
        cidrBlocks:
        - 172.16.128.1-172.16.128.64
    
  3. שומרים ומחילים את הגדרת האשכול המעודכנת.

    המערכת של Google Distributed Cloud מתחילה להעביר את הצמתים למצב תחזוקה.

  4. מריצים את הפקודה הבאה כדי לקבל את הסטטוס של הצמתים באשכול:

    kubectl get nodes --kubeconfig=KUBECONFIG

    הפלט אמור להיראות כך:

    NAME                STATUS   ROLES           AGE     VERSION
    user-baremetal-01   Ready    control-plane   2d22h   v1.27.4-gke.1600
    user-baremetal-04   Ready    worker          2d22h   v1.27.4-gke.1600
    user-baremetal-05   Ready    worker          2d22h   v1.27.4-gke.1600
    user-baremetal-06   Ready    worker          2d22h   v1.27.4-gke.1600
    

    שימו לב שאפשר עדיין לתזמן את הצמתים, אבל הכתמים מונעים תזמון של פודים (ללא סבילות מתאימה) בצומת.

  5. מריצים את הפקודה הבאה כדי לקבל את מספר הצמתים במצב תחזוקה:

    kubectl get nodepools --kubeconfig ADMIN_KUBECONFIG 
    

    התגובה אמורה להיראות כמו בדוגמה הבאה:

    NAME   READY   RECONCILING   STALLED   UNDERMAINTENANCE   UNKNOWN
    np1    3       0             0         1                  0
    

    בעמודה UNDERMAINTENANCE בדוגמה הזו אפשר לראות שצומת אחד נמצא במצב תחזוקה.

    בנוסף, כשמעבירים צמתים למצב תחזוקה, Google Distributed Cloud מוסיף להם את הכתמים הבאים:

    • baremetal.cluster.gke.io/maintenance:NoExecute
    • baremetal.cluster.gke.io/maintenance:NoSchedule

הסרת צומת ממצב תחזוקה

כדי להסיר צמתים ממצב תחזוקה:

  1. עורכים את קובץ התצורה של האשכול כדי לנקות את הצמתים שרוצים להסיר ממצב תחזוקה.

    אפשר לערוך את קובץ התצורה באמצעות כלי עריכה לבחירתכם, או לערוך ישירות את המשאב המותאם אישית של האשכול באמצעות הפקודה הבאה:

    kubectl -n CLUSTER_NAMESPACE edit cluster CLUSTER_NAME

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAMESPACE: מרחב השמות של האשכול.
    • ‫CLUSTER_NAME: שם האשכול.
  2. אפשר לערוך את כתובות ה-IP כדי להסיר צמתים ספציפיים ממצב תחזוקה, או להסיר את הקטע maintenanceBlocks כדי להסיר את כל הצמתים ממצב תחזוקה.

  3. שומרים ומחילים את הגדרת האשכול המעודכנת.

  4. משתמשים בפקודות kubectl כדי לבדוק את הסטטוס של הצמתים.

כיבוי והפעלה מחדש של אשכול

אם צריך להשבית אשכול שלם, השתמשו בהוראות שבקטעים הבאים כדי להשבית אשכול ולהפעיל אותו מחדש בצורה בטוחה.

השבתת אשכול

אם אתם משביתים אשכול שמנהל אשכולות של משתמשים, קודם אתם צריכים להשבית את כל האשכולות המנוהלים של המשתמשים. ההוראות הבאות רלוונטיות לכל סוגי האשכולות ב-Google Distributed Cloud.

  1. בודקים את הסטטוס של כל הצמתים באשכול:

    kubectl get nodes --kubeconfig CLUSTER_KUBECONFIG
    

    מחליפים את CLUSTER_KUBECONFIG בנתיב של קובץ ה-kubeconfig של האשכול.

    הפלט אמור להיראות כך:

    NAME        STATUS   ROLES           AGE    VERSION
    control-0   Ready    control-plane   202d   v1.27.4-gke.1600
    control-1   Ready    control-plane   202d   v1.27.4-gke.1600
    control-2   Ready    control-plane   202d   v1.27.4-gke.1600
    worker-0    Ready    worker          202d   v1.27.4-gke.1600
    worker-1    Ready    worker          202d   v1.27.4-gke.1600
    worker-2    Ready    worker          202d   v1.27.4-gke.1600
    worker-3    Ready    worker          202d   v1.27.4-gke.1600
    worker-4    Ready    worker          154d   v1.27.4-gke.1600
    worker-5    Ready    worker          154d   v1.27.4-gke.1600
    worker-6    Ready    worker          154d   v1.27.4-gke.1600
    worker-7    Ready    worker          154d   v1.27.4-gke.1600
    worker-8    Ready    worker          154d   v1.27.4-gke.1600
    worker-9    Ready    worker          154d   v1.27.4-gke.1600
    

    אם הערך של STATUS בצומת הוא לא Ready, מומלץ מאוד לפתור את הבעיות בצומת ולהמשיך רק כשכל הצמתים הם Ready.

  2. אם אתם משביתים אשכול משתמש, בדקו את הסטטוס של הצמתים באשכול האדמין:

    kubectl get nodes --kubeconfig ADMIN_KUBECONFIG
    

    מחליפים את ADMIN_KUBECONFIG בנתיב של קובץ ה-kubeconfig של האשכול המנהל.

    השלבים הבאים תלויים באשכול האדמין. אם הערך של STATUS בצומת הוא לא Ready, מומלץ מאוד לפתור את הבעיות בצומת ולהמשיך רק כשכל הצמתים הם Ready.

  3. בודקים את תקינות האשכול שרוצים להשבית:

    bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAME: שם האשכול שבודקים.

    • ‫ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של האשכול המנהל.

    לפני שממשיכים, צריך לתקן את הבעיות שדווחו.

  4. באשכול שאתם משביתים, מוודאים שכל הפודים של etcd פועלים:

    kubectl get pods --kubeconfig CLUSTER_KUBECONFIG -A \
        -l component=etcd
    

    מחליפים את CLUSTER_KUBECONFIG בנתיב של קובץ ה-kubeconfig של האשכול.

    הפלט אמור להיראות כך:

    NAMESPACE     NAME                   READY   STATUS    RESTARTS   AGE
    kube-system   etcd-control-0-admin   1/1     Running   0          2d22h
    kube-system   etcd-control-1-admin   1/1     Running   0          2d22h
    kube-system   etcd-control-2-admin   1/1     Running   0          2d22h
    

    אם הערך של STATUS של pod הוא לא Running, מומלץ מאוד לפתור את הבעיות ב-pod ולהמשיך רק כשכל ה-pods הם Running.

  5. מבצעים גיבוי כמו שמתואר במאמר גיבוי אשכול.

    חשוב לגבות את etcd לפני שמשביתים את האשכול, כדי שתוכלו לשחזר אותו אם תיתקלו בבעיות כשתפעילו אותו מחדש. פגיעה ב-etcd, כשלים בחומרה של הצומת, בעיות בחיבור לרשת ובעיות אחרות יכולות למנוע מהאשכול לבצע הפעלה מחדש כמו שצריך.

  6. אם אתם משביתים אשכול עם צומתי עובדים, העבירו את צומתי העובדים למצב תחזוקה.

    השלב הזה מצמצם את כמות הכתיבה ל-etcd, וכך מפחית את הסבירות שיהיה צורך להתאים כמות גדולה של כתיבות ל-etcd כשהאשכול יופעל מחדש.

  7. מעבירים את הצמתים של מישור הבקרה למצב תחזוקה.

    השלב הזה מונע כתיבה פגומה של עומסי עבודה עם שמירת מצב (stateful) בזמן כיבוי הצומת.

  8. מכבים את צומתי האשכולות ברצף הבא:

    1. צומתי עובד
    2. צמתים של מאזן עומסים במישור הבקרה
    3. צומתי מישור הבקרה, החל מהעוקבים של etcd וכלה במוביל של etcd

      אם יש לכם אשכול בזמינות גבוהה (HA), אתם יכולים למצוא את ה-etcd הראשי באמצעות SSH כדי להתחבר לכל צומת במישור הבקרה ולהריץ את הפקודה הבאה של etcdctl:

      ETCDCTL_API=3 etcdctl \
          --cacert /etc/kubernetes/pki/etcd/ca.crt \
          --cert /etc/kubernetes/pki/etcd/server.crt \
          --key /etc/kubernetes/pki/etcd/server.key \
          --write-out=table endpoint status
      

      התשובה כוללת את העמודה IS LEADER, שמחזירה את הערך true אם הצומת הוא ה-etcd leader.

בשלב הזה, האשכול מושבת לחלוטין. אחרי שמבצעים את פעולות התחזוקה הנדרשות, אפשר להפעיל מחדש את האשכול כמו שמתואר בקטע הבא.

הפעלה מחדש של האשכול

כדי להפעיל מחדש אשכול שהושבת לחלוטין:

  1. מפעילים את מכונות הצומת בסדר הפוך מרצף הכיבוי.

  2. מסירים את הצמתים של מישור הבקרה ממצב תחזוקה.

    הוראות להסרת צומת ממצב תחזוקה מופיעות במאמר הסרת צומת ממצב תחזוקה.

  3. הסרת צומתי עובדים ממצב תחזוקה.

  4. מריצים בדיקות תקינות של האשכול כדי לוודא שהוא פועל כמו שצריך:

    bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
    
  5. אם בעיה כמו crashlooping של etcd מונעת מהאשכול לבצע הפעלה מחדש כמו שצריך, נסו לשחזר את האשכול מהגיבוי התקין האחרון שידוע לכם. הוראות מפורטות מופיעות במאמר שחזור אשכול.

חיוב ומצב תחזוקה

החיוב על Google Distributed Cloud מבוסס על מספר המעבדים הווירטואליים (vCPU) שיש לאשכול שלכם בצמתים שיכולים להריץ עומסי עבודה. כשמעבירים צומת למצב תחזוקה, מתווספים לצומת הכתמים NoExecute ו-NoSchedule, אבל הם לא משביתים את החיוב. אחרי שמעבירים צומת למצב תחזוקה, צריך להגדיר את הצומת כ-cordon (kubectl cordon NODE_NAME) כדי לסמן אותו כ-unschedulable. אחרי שצומת מסומן כ-Unschedulable, הצומת וה-vCPUs שמשויכים אליו לא נכללים בחיוב.

כמו שמתואר בדף התמחור, אתם יכולים להשתמש ב-kubectl כדי לראות את קיבולת ה-vCPU (שמשמשת לחיוב) של כל אחד מאשכולות המשתמשים שלכם. הפקודה לא מתחשבת בשאלה אם אפשר לתזמן את הצומת או לא, היא מספקת רק ספירת vCPU לכל צומת.

כדי לזהות את מספר המעבדים הווירטואליים לכל צומת באשכול המשתמש:

kubectl get nodes \
    --kubeconfig USER_KUBECONFIG \
    -o=jsonpath="{range .items[*]}{.metadata.name}{\"\t\"} \
    {.status.capacity.cpu}{\"\n\"}{end}"

מחליפים את USER_KUBECONFIG בנתיב של קובץ ה-kubeconfig של אשכול המשתמשים.