מצב תחזוקה מאפשר לתקן צמתים ולטפל בהם עם הפרעה מינימלית לעומסי העבודה. כשמוסיפים צמתים לקטע maintenanceBlocks בהגדרת האשכול, Google Distributed Cloud מרוקן את עומסי העבודה שלהם בצורה חלקה ומונע תזמון של Pods חדשים בהם. כשצריך להעביר אשכול שלם למצב אופליין, אפשר גם להשבית אותו ולהפעיל אותו מחדש באופן בטוח.
במהלך שדרוגים של אשכולות, Google Distributed Cloud משתמש באופן אוטומטי במצב תחזוקה כדי לרוקן צמתים לפני שהם משודרגים. למידע נוסף על תהליך השדרוג, קראו את המאמר מחזור החיים והשלבים של שדרוגי אשכולות.
איך זה עובד
ב-Google Distributed Cloud אפשר להעביר צמתים למצב תחזוקה. כך רכיבים אחרים באשכול יכולים לדעת שהצומת נמצא במצב תחזוקה. כשמעבירים צומת למצב תחזוקה, אי אפשר לתזמן פודים נוספים בצומת, והפודים הקיימים נעצרים.
במקום להשתמש במצב תחזוקה, אתם יכולים להשתמש באופן ידני בפקודות Kubernetes כמו kubectl cordon ו-kubectl drain בצומת ספציפי.
כשמשתמשים בתהליך של מצב תחזוקה, Google Distributed Cloud מבצע את הפעולות הבאות:
1.29
Google Distributed Cloud מוסיף את הכתם
baremetal.cluster.gke.io/maintenance:NoScheduleלצמתים שצוינו כדי למנוע תזמון של פודים חדשים בצומת.ב-Google Distributed Cloud, כל Pod מפונה באמצעות Eviction API. השיטה הזו לניקוז צמתים מכבדת את PodDisruptionBudgets (PDBs). אתם יכולים להגדיר תקציבי PDB כדי להגן על עומסי העבודה, על ידי ציון רמת השיבוש שאפשר לסבול בקבוצה של פודים באמצעות השדות
minAvailableו-maxUnavailable. ניקוז צמתים בדרך הזו מספק הגנה טובה יותר מפני שיבושים בעומסי העבודה. פינוי צמתים שמבוסס על פינוי זמין כ-GA לגרסה 1.29.כדי לוודא שהצמתים לא ייתקעו בהמתנה לעצירת ה-Pods, מוגדר זמן קצוב של 20 דקות. יכול להיות שהפסקת הפודים לא תתבצע אם הם מוגדרים לקבל את כל ה-taints או אם יש להם finalizers. מערכת Google Distributed Cloud מנסה לעצור את כל הפודים, אבל אם חולף הזמן הקצוב, הצומת עובר למצב תחזוקה. הזמן הקצוב לתפוגה מונע מפודים שפועלים לחסום שדרוגים.
1.28 ומטה
Google Distributed Cloud מוסיף את הכתם
baremetal.cluster.gke.io/maintenance:NoScheduleלצמתים שצוינו כדי למנוע תזמון של פודים חדשים בצומת.Google Distributed Cloud מוסיף את ה-taint
baremetal.cluster.gke.io/maintenance:NoExecute. בעקבות הטיינטNoExecute, Google Distributed Cloudkube-schedulerעוצר את הפודים ומרוקן את הצומת. השיטה הזו לניקוז צמתים לא מכבדת את ה-PDB.כדי לוודא שהצמתים לא ייתקעו בהמתנה לעצירת ה-Pods, מוגדר זמן קצוב של 20 דקות. יכול להיות שהפסקת הפודים לא תתבצע אם הם מוגדרים לקבל את כל ה-taints או אם יש להם finalizers. מערכת Google Distributed Cloud מנסה לעצור את כל הפודים, אבל אם חולף הזמן הקצוב, הצומת עובר למצב תחזוקה. הזמן הקצוב לתפוגה מונע מפודים שפועלים לחסום שדרוגים.
פינוי מבוסס-פינוי
אין שינויים פרוצדורליים שקשורים למעבר מניקוז צמתים מבוסס-טיינט לניקוז מבוסס-פינוי. המתג משפיע רק על הלוגיקה של ההתאמה.
היכולת הזו לא נמצאת באותו שלב השקה בכל הגרסאות הנתמכות:
- 1.29: זמינות לכלל המשתמשים (GA)
- 1.28: לא זמין
- 1.16: לא זמין
סדר הניקוז
בגרסאות שקדמו ל-1.29, ניקוז הצמתים שמבוסס על טיינטים ומבוצע על ידי Google Distributed Cloud kube-scheduler לא משתמש באלגוריתם מסוים כדי לנקז פודים מצומת. כשמרוקנים צומת באמצעות פינוי, הפודים מפונים בסדר מסוים לפי עדיפות. עדיפות הפינוי משויכת לקריטריונים ספציפיים של Pod, כפי שמוצג בטבלה הבאה:
| סדר הניקוז | הקריטריונים של הפוד (כולם חייבים להתאים) וגם |
|---|---|
| 1 |
פודים שתואמים לקריטריונים הבאים יפונו:
|
| 2 |
פודים שתואמים לקריטריונים הבאים יפונו:
|
| 3 |
פודים שתואמים לקריטריונים הבאים יפונו:
סדר הפינוי של פודים תואמים מבוסס על
|
| 4 |
מחכים ש-CSI ינקה את נקודות הטעינה של PV/PVC אחרי שכל ה-Pods פונו. משתמשים בערך |
| 5 |
פודים שתואמים לקריטריונים הבאים יפונו:
עדיין צריך לרוקן את הפודים האלה, כי kubelet לא מספק תאימות לשדרוג במקום. |
פינוי צמתים שמבוסס על פינוי פודים מכבד את ה-PDB, ולכן הגדרות ה-PDB עשויות לחסום את פינוי הצמתים בנסיבות מסוימות. למידע על פתרון בעיות שקשורות לניקוז מאגר צמתים, קראו את המאמר בדיקה למה צומת נמצא בסטטוס ניקוז במשך זמן רב.
המועד האחרון לניקוז מבוסס-פינוי
כשמעבירים צמתים למצב תחזוקה, המערכת אוכפת זמן קצוב לתפוגה של 20 דקות (1,200 שניות) כברירת מחדל לניקוז הצמתים. כשהזמן הקצוב לתפוגה חולף, כל ה-Pods שלא מאפשרים מצב תחזוקה מפונים, והצומת נכנס למצב תחזוקה. החל מגרסה 1.16, אפשר להוסיף את ההערה baremetal.cluster.gke.io/maintenance-mode-deadline-seconds למשאב האשכול כדי לשנות את משך הזמן הקצוב לתפוגה. לדוגמה, כדי לשנות את זמן הקצוב ל-10 דקות, מוסיפים את ההערה baremetal.cluster.gke.io/maintenance-mode-deadline-seconds: "600" למשאב האשכול.
לפעמים ניקוז שמבוסס על פינוי יכול לחרוג מהמועד האחרון שצוין על ידי maintenance-mode-deadline-seconds. אם הפודים נתקעים במצב סיום אחרי שחולף המועד האחרון, אל תשתמשו ב-kubectl עם הדגלים --grace-period=0 --force כדי למחוק אותם בכוח, כי זה עלול לגרום להשחתת נתונים או לבעיות של פיצול מוח באפליקציות עם שמירת מצב. במקום זאת, צריך להפעיל מחדש את הצמתים עם Pods תקועים עם שמירת מצב.
אם אתם צריכים עזרה נוספת, תוכלו לפנות אל Cloud Customer Care. במאמר קבלת תמיכה תוכלו לקרוא מידע נוסף על מקורות המידע לתמיכה, כולל:
- הדרישות לפתיחת בקשת תמיכה.
- כלים שיעזרו לכם לפתור בעיות, כמו הגדרת הסביבה, יומנים ומדדים.
- רכיבים נתמכים.
השבתת ניקוז צמתים שמבוסס על פינוי
פינוי צמתים שמבוסס על פינוי מופעל כברירת מחדל באשכולות בגרסה משנית 1.29 ואילך, או באשכולות שמשודרגים לגרסה משנית 1.29 ואילך. אם פינוי הצמתים שמבוסס על פינוי גורם לבעיות בשדרוג או בתחזוקה של האשכול, אתם יכולים לחזור לפינוי צמתים שמבוסס על טיינטים. כדי לעשות את זה, צריך להוסיף את ההערה baremetal.cluster.gke.io/maintenance-mode-ignore-pdb: "" למשאב האשכול.
כדי לשחזר את התנהגות ברירת המחדל של ניקוז צומת שמבוסס על פינוי, צריך להסיר את ההערה לחלוטין. הגדרת ההערה לערך false לא מפעילה מחדש את פעולת ברירת המחדל.
העברת צומת למצב תחזוקה
בוחרים את הצמתים שרוצים להעביר למצב תחזוקה על ידי ציון טווחי כתובות ה-IP של הצמתים שנבחרו בקטע maintenanceBlocks בקובץ התצורה של האשכול. הצמתים שבוחרים צריכים להיות במצב מוכן ולפעול באשכול.
כדי להעביר צמתים למצב תחזוקה:
עורכים את קובץ התצורה של האשכול כדי לבחור את הצמתים שרוצים להעביר למצב תחזוקה.
אפשר לערוך את קובץ התצורה באמצעות כלי עריכה לבחירתכם, או לערוך ישירות את המשאב המותאם אישית של האשכול באמצעות הפקודה הבאה:
kubectl -n CLUSTER_NAMESPACE edit cluster CLUSTER_NAMEמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAMESPACE: מרחב השמות של האשכול. -
CLUSTER_NAME: שם האשכול.
-
מוסיפים את הקטע
maintenanceBlocksלקובץ התצורה של האשכול כדי לציין כתובת IP אחת או טווח כתובות לצמתים שרוצים להעביר למצב תחזוקה.בדוגמה הבאה אפשר לראות איך בוחרים כמה צמתים על ידי ציון טווח של כתובות IP:
metadata: name: my-cluster namespace: cluster-my-cluster spec: maintenanceBlocks: cidrBlocks: - 172.16.128.1-172.16.128.64שומרים ומחילים את הגדרת האשכול המעודכנת.
המערכת של Google Distributed Cloud מתחילה להעביר את הצמתים למצב תחזוקה.
מריצים את הפקודה הבאה כדי לקבל את הסטטוס של הצמתים באשכול:
kubectl get nodes --kubeconfig=KUBECONFIGהפלט אמור להיראות כך:
NAME STATUS ROLES AGE VERSION user-baremetal-01 Ready control-plane 2d22h v1.27.4-gke.1600 user-baremetal-04 Ready worker 2d22h v1.27.4-gke.1600 user-baremetal-05 Ready worker 2d22h v1.27.4-gke.1600 user-baremetal-06 Ready worker 2d22h v1.27.4-gke.1600שימו לב שאפשר עדיין לתזמן את הצמתים, אבל הכתמים מונעים תזמון של פודים (ללא סבילות מתאימה) בצומת.
מריצים את הפקודה הבאה כדי לקבל את מספר הצמתים במצב תחזוקה:
kubectl get nodepools --kubeconfig ADMIN_KUBECONFIGהתגובה אמורה להיראות כמו בדוגמה הבאה:
NAME READY RECONCILING STALLED UNDERMAINTENANCE UNKNOWN np1 3 0 0 1 0בעמודה
UNDERMAINTENANCEבדוגמה הזו אפשר לראות שצומת אחד נמצא במצב תחזוקה.בנוסף, כשמעבירים צמתים למצב תחזוקה, Google Distributed Cloud מוסיף להם את הכתמים הבאים:
baremetal.cluster.gke.io/maintenance:NoExecutebaremetal.cluster.gke.io/maintenance:NoSchedule
הסרת צומת ממצב תחזוקה
כדי להסיר צמתים ממצב תחזוקה:
עורכים את קובץ התצורה של האשכול כדי לנקות את הצמתים שרוצים להסיר ממצב תחזוקה.
אפשר לערוך את קובץ התצורה באמצעות כלי עריכה לבחירתכם, או לערוך ישירות את המשאב המותאם אישית של האשכול באמצעות הפקודה הבאה:
kubectl -n CLUSTER_NAMESPACE edit cluster CLUSTER_NAMEמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAMESPACE: מרחב השמות של האשכול. -
CLUSTER_NAME: שם האשכול.
-
אפשר לערוך את כתובות ה-IP כדי להסיר צמתים ספציפיים ממצב תחזוקה, או להסיר את הקטע
maintenanceBlocksכדי להסיר את כל הצמתים ממצב תחזוקה.שומרים ומחילים את הגדרת האשכול המעודכנת.
משתמשים בפקודות
kubectlכדי לבדוק את הסטטוס של הצמתים.
כיבוי והפעלה מחדש של אשכול
אם צריך להשבית אשכול שלם, השתמשו בהוראות שבקטעים הבאים כדי להשבית אשכול ולהפעיל אותו מחדש בצורה בטוחה.
השבתת אשכול
אם אתם משביתים אשכול שמנהל אשכולות של משתמשים, קודם אתם צריכים להשבית את כל האשכולות המנוהלים של המשתמשים. ההוראות הבאות רלוונטיות לכל סוגי האשכולות ב-Google Distributed Cloud.
בודקים את הסטטוס של כל הצמתים באשכול:
kubectl get nodes --kubeconfig CLUSTER_KUBECONFIGמחליפים את
CLUSTER_KUBECONFIGבנתיב של קובץ ה-kubeconfig של האשכול.הפלט אמור להיראות כך:
NAME STATUS ROLES AGE VERSION control-0 Ready control-plane 202d v1.27.4-gke.1600 control-1 Ready control-plane 202d v1.27.4-gke.1600 control-2 Ready control-plane 202d v1.27.4-gke.1600 worker-0 Ready worker 202d v1.27.4-gke.1600 worker-1 Ready worker 202d v1.27.4-gke.1600 worker-2 Ready worker 202d v1.27.4-gke.1600 worker-3 Ready worker 202d v1.27.4-gke.1600 worker-4 Ready worker 154d v1.27.4-gke.1600 worker-5 Ready worker 154d v1.27.4-gke.1600 worker-6 Ready worker 154d v1.27.4-gke.1600 worker-7 Ready worker 154d v1.27.4-gke.1600 worker-8 Ready worker 154d v1.27.4-gke.1600 worker-9 Ready worker 154d v1.27.4-gke.1600אם הערך של
STATUSבצומת הוא לאReady, מומלץ מאוד לפתור את הבעיות בצומת ולהמשיך רק כשכל הצמתים הםReady.אם אתם משביתים אשכול משתמש, בדקו את הסטטוס של הצמתים באשכול האדמין:
kubectl get nodes --kubeconfig ADMIN_KUBECONFIGמחליפים את
ADMIN_KUBECONFIGבנתיב של קובץ ה-kubeconfig של האשכול המנהל.השלבים הבאים תלויים באשכול האדמין. אם הערך של
STATUSבצומת הוא לאReady, מומלץ מאוד לפתור את הבעיות בצומת ולהמשיך רק כשכל הצמתים הםReady.בודקים את תקינות האשכול שרוצים להשבית:
bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIGמחליפים את מה שכתוב בשדות הבאים:
CLUSTER_NAME: שם האשכול שבודקים.
ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של האשכול המנהל.
לפני שממשיכים, צריך לתקן את הבעיות שדווחו.
באשכול שאתם משביתים, מוודאים שכל הפודים של
etcdפועלים:kubectl get pods --kubeconfig CLUSTER_KUBECONFIG -A \ -l component=etcdמחליפים את
CLUSTER_KUBECONFIGבנתיב של קובץ ה-kubeconfig של האשכול.הפלט אמור להיראות כך:
NAMESPACE NAME READY STATUS RESTARTS AGE kube-system etcd-control-0-admin 1/1 Running 0 2d22h kube-system etcd-control-1-admin 1/1 Running 0 2d22h kube-system etcd-control-2-admin 1/1 Running 0 2d22hאם הערך של
STATUSשל pod הוא לאRunning, מומלץ מאוד לפתור את הבעיות ב-pod ולהמשיך רק כשכל ה-pods הםRunning.מבצעים גיבוי כמו שמתואר במאמר גיבוי אשכול.
חשוב לגבות את etcd לפני שמשביתים את האשכול, כדי שתוכלו לשחזר אותו אם תיתקלו בבעיות כשתפעילו אותו מחדש. פגיעה ב-etcd, כשלים בחומרה של הצומת, בעיות בחיבור לרשת ובעיות אחרות יכולות למנוע מהאשכול לבצע הפעלה מחדש כמו שצריך.
אם אתם משביתים אשכול עם צומתי עובדים, העבירו את צומתי העובדים למצב תחזוקה.
השלב הזה מצמצם את כמות הכתיבה ל-etcd, וכך מפחית את הסבירות שיהיה צורך להתאים כמות גדולה של כתיבות ל-etcd כשהאשכול יופעל מחדש.
מעבירים את הצמתים של מישור הבקרה למצב תחזוקה.
השלב הזה מונע כתיבה פגומה של עומסי עבודה עם שמירת מצב (stateful) בזמן כיבוי הצומת.
מכבים את צומתי האשכולות ברצף הבא:
- צומתי עובד
- צמתים של מאזן עומסים במישור הבקרה
צומתי מישור הבקרה, החל מהעוקבים של etcd וכלה במוביל של etcd
אם יש לכם אשכול בזמינות גבוהה (HA), אתם יכולים למצוא את ה-etcd הראשי באמצעות SSH כדי להתחבר לכל צומת במישור הבקרה ולהריץ את הפקודה הבאה של
etcdctl:ETCDCTL_API=3 etcdctl \ --cacert /etc/kubernetes/pki/etcd/ca.crt \ --cert /etc/kubernetes/pki/etcd/server.crt \ --key /etc/kubernetes/pki/etcd/server.key \ --write-out=table endpoint statusהתשובה כוללת את העמודה
IS LEADER, שמחזירה את הערךtrueאם הצומת הוא ה-etcd leader.
בשלב הזה, האשכול מושבת לחלוטין. אחרי שמבצעים את פעולות התחזוקה הנדרשות, אפשר להפעיל מחדש את האשכול כמו שמתואר בקטע הבא.
הפעלה מחדש של האשכול
כדי להפעיל מחדש אשכול שהושבת לחלוטין:
מפעילים את מכונות הצומת בסדר הפוך מרצף הכיבוי.
מסירים את הצמתים של מישור הבקרה ממצב תחזוקה.
הוראות להסרת צומת ממצב תחזוקה מופיעות במאמר הסרת צומת ממצב תחזוקה.
הסרת צומתי עובדים ממצב תחזוקה.
מריצים בדיקות תקינות של האשכול כדי לוודא שהוא פועל כמו שצריך:
bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIGאם בעיה כמו crashlooping של etcd מונעת מהאשכול לבצע הפעלה מחדש כמו שצריך, נסו לשחזר את האשכול מהגיבוי התקין האחרון שידוע לכם. הוראות מפורטות מופיעות במאמר שחזור אשכול.
חיוב ומצב תחזוקה
החיוב על Google Distributed Cloud מבוסס על מספר המעבדים הווירטואליים (vCPU) שיש לאשכול שלכם בצמתים שיכולים להריץ עומסי עבודה. כשמעבירים צומת למצב תחזוקה, מתווספים לצומת הכתמים NoExecute ו-NoSchedule, אבל הם לא משביתים את החיוב. אחרי שמעבירים צומת למצב תחזוקה, צריך להגדיר את הצומת כ-cordon (kubectl cordon NODE_NAME) כדי לסמן אותו כ-unschedulable. אחרי שצומת מסומן כ-Unschedulable, הצומת וה-vCPUs שמשויכים אליו לא נכללים בחיוב.
כמו שמתואר בדף התמחור, אתם יכולים להשתמש ב-kubectl כדי לראות את קיבולת ה-vCPU (שמשמשת לחיוב) של כל אחד מאשכולות המשתמשים שלכם. הפקודה לא מתחשבת בשאלה אם אפשר לתזמן את הצומת או לא, היא מספקת רק ספירת vCPU לכל צומת.
כדי לזהות את מספר המעבדים הווירטואליים לכל צומת באשכול המשתמש:
kubectl get nodes \
--kubeconfig USER_KUBECONFIG \
-o=jsonpath="{range .items[*]}{.metadata.name}{\"\t\"} \
{.status.capacity.cpu}{\"\n\"}{end}"
מחליפים את USER_KUBECONFIG בנתיב של קובץ ה-kubeconfig של אשכול המשתמשים.