כלי שורת הפקודה bmctl מאפשר לגבות ולשחזר אשכולות שנוצרו באמצעות תוכנת Google Distributed Cloud ל-Bare Metal בלבד, כדי להתכונן להתאוששות מאסון או לשחזר אשכול פגום בכל סוגי האשכולות. שחזור מגיבוי הוא המוצא האחרון, כי הוא מאפס את האשכול ומחליף את המידע הקיים באשכול. שחזור מגיבוי רק אם אשכול נכשל באופן קטסטרופלי. כדי להחליט מהי דרך הפעולה הטובה ביותר, פנו ל-Cloud Customer Care.
מה מגובה ומה לא מגובה
תהליך הגיבוי והשחזור של bmctl פועל בשכבת מישור הבקרה של Kubernetes, והוא שונה מפתרונות גיבוי אחרים. פתרונות גיבוי שאינם של Kubernetes מתעדים את נתוני עומס העבודה, את האחסון המתמיד ואת מערכות ההפעלה המארחות של המכונות הפיזיות. תהליך הגיבוי והשחזור של bmctl משחזר את אשכולות Kubernetes בלי לגבות אף אחד מהרכיבים האחרים האלה.
מצב מישור הבקרה (מגובה בתהליך הגיבוי של bmctl)
bmctl מגבה את האובייקטים הבאים:
- מאגר etcd. כל המשאבים ב-Kubernetes והאובייקטים בהתאמה אישית שמגדירים את התצורה של האשכול ואת המצב שנבחר (לדוגמה, מפרטי pod, פריסות, ConfigMaps וסודות).
- אישורי PKI. אישורים שמשמשים לתקשורת מאובטחת בתוך האשכול.
- קובצי תצורה ומניפסטים של צמתים. הגדרות שקשורות לצומתי האשכול.
אחסון של עומסי עבודה ושל VM Runtime (לא מגובה בתהליך הגיבוי של bmctl)
bmctl לא מגבה את הנתונים הבאים:
- מצב זמן הריצה של הפוד והקונטיינר בזמן אמת.
bmctlלא שומר תהליכים פעילים ונתוני אפליקציות בזיכרון. אחרי השחזור, Kubernetes מפעיל מחדש את ה-pods מהמפרטים של etcd. כל מצב בזיכרון שלא נשמר יאבד. - אחסון של אמצעי אחסון מתמידים.
bmctlלא מגבה נתונים שמאוחסנים בנפחי אחסון קבועים, בנפחי אחסון שנוצרו על ידי מקצה נפחי האחסון המקומי (LVP) או במנהלי התקנים של אחסון חיצוני. - דיסקים של מכונות וירטואליות.
bmctlלא מגבה את התוכן של הכונן הקשיח הווירטואלי של המכונה הווירטואלית, כמו מסדי נתונים, קבצים או מצב מערכת ההפעלה בתוך המכונה הווירטואלית.
כדי להגן על נתוני האפליקציה ועל מצב המכונה הווירטואלית, צריך להשתמש במנגנוני גיבוי מקוריים של Kubernetes או במנגנוני גיבוי שפועלים בתוך המכונה. אם מנהל ההתקן של האחסון הבסיסי תומך בתמונות מצב של נפחי CSI, אפשר להשתמש בתמונות מצב של נפחים רגילות של Kubernetes כדי ליצור עותקים של נפחים מתמידים בנקודת זמן מסוימת. מידע נוסף על הגדרת האחסון זמין במאמר סקירה כללית על אחסון.
להריץ סוכני גיבוי בתוך מערכת ההפעלה של המכונות הווירטואליות ב-VM Runtime, או לפרוס כלי גיבוי שמותאמים לאפליקציה בתוך עומסי העבודה של Kubernetes.
מערכות הפעלה של מארחים פיזיים (לא נתמכות)
התייחסו למערכות ההפעלה הפיזיות של Linux בצומתי Google Distributed Cloud כתשתית חד-פעמית. ארכיטקטורת הרשת של Kubernetes לא תומכת בשחזור של קובצי אימג' של מערכת ההפעלה ברמת המארח. לכן, Google לא תומכת בהתקנה של סוכני גיבוי ברמת המארח של צד שלישי ישירות במערכת ההפעלה של המארח, או בשחזור של צמתים פיזיים מגיבויים של קובצי אימג' ברמת מערכת ההפעלה או מתמונות מצב של דיסקים.
אם מתקינים סוכני גיבוי פיזיים של צד שלישי ישירות במערכת ההפעלה המארחת של Linux, עלולים להיווצר סיכונים חמורים.
הרבה סוכני גיבוי מתקינים מודולים של ליבה (kernel) קניינית או מנהלי התקנים של מסננים ברמת הבלוק כדי לעקוב אחרי שינויים ולנעול בלוקים של דיסקים מקומיים במהלך פעולות של תמונות מצב, מה שעלול לגרום לבעיות הבאות:
- מסד הנתונים etcd לא יכול להוסיף ליומני הכתיבה מראש (WAL), פג הזמן הקצוב לתפוגה של אותות החיים של הצומת, הקונצנזוס של Raft נכשל והאשכולות הופכים ללא יציבים.
- מנהלי התקנים של ליבה של צד שלישי שלא נתמכים מתנגשים עם שגרות ליבה ברמה נמוכה ועם סביבת זמן הריצה של הקונטיינר, וכתוצאה מכך השדרוגים של האשכול נכשלים.
- שחזור של צומת פיזי מגיבוי של קובץ אימג' או מתמונת מצב של דיסק מפר את פרוטוקול הקונצנזוס של Raft. מסד הנתונים etcd לא מסונכרן עם היומנים בצמתים של מישור הבקרה, ומתרחשת פגיעה חמורה במצב האשכול.
- צומתי העובדים לא מסונכרנים עם מקור האמת של שרת ה-API, כתובות ה-IP של Dataplane V2 (Cilium) מתנגשות והתנועה נמחקת.
כדי לשחזר צומת פיזי שבו הייתה תקלה במערכת ההפעלה או בחומרה, אל תשחזרו קובץ אימג' של מערכת ההפעלה. במקום זאת, הסירו את הצומת מהאשכול, התקינו מחדש מערכת הפעלה בסיסית נקייה והוסיפו מחדש את הצומת למאגר הצמתים. הוראות מפורטות לשחזור מופיעות במאמר איפוס צומת שנכשל.
אם אתם צריכים עזרה נוספת, תוכלו לפנות אל Cloud Customer Care. במאמר קבלת תמיכה תוכלו לקרוא מידע נוסף על מקורות המידע לתמיכה, כולל:- הדרישות לפתיחת בקשת תמיכה.
- כלים שיעזרו לכם לפתור בעיות, כמו הגדרת הסביבה, יומנים ומדדים.
- רכיבים נתמכים.
גיבוי אשכול
הפקודה bmctl backup cluster אורזת את נתוני ה-etcd של האשכול ואת אישורי ה-PKI בקובץ tar. מסד הנתונים etcd הוא מאגר הנתונים המרכזי של כל נתוני האשכול, והוא מכיל את כל האובייקטים של Kubernetes והמשאבים בהתאמה אישית שנדרשים לניהול מצב האשכול. אישורי ה-PKI מאמתים באמצעות TLS.
הנתונים האלה מגובים ממישור הבקרה של האשכול או מאחד ממישורי הבקרה של פריסה בזמינות גבוהה (HA).
קובץ ה-tar של הגיבוי מכיל פרטי כניסה רגישים, כולל המפתחות של חשבון השירות ומפתח ה-SSH. שמרו את קובצי הגיבוי במיקום מאובטח. כדי למנוע חשיפה לא מכוונת של קבצים, תהליך הגיבוי של Google Distributed Cloud משתמש רק בקבצים בזיכרון.
כדאי לגבות את האשכולות באופן קבוע כדי לוודא שנתוני תמונת המצב עדכניים יחסית. כדאי להתאים את קצב הגיבויים כך שישקף את תדירות השינויים המשמעותיים באשכולות.
גרסת bmctl שבה משתמשים כדי לגבות אשכול צריכה להתאים לגרסה של האשכול המנהל.
אם התקנתם את Node Agent באשכולות, בספרייה /tmp בצומת האדמין ובכל צומתי היעד צריך להיות שטח פנוי של 12GB. אם אתם לא יכולים לשנות את הגודל של הספרייה /tmp בצומתי היעד, קראו את המאמר שינוי קיבולת האחסון המקומית של צומתי היעד.
אם אתם לא יכולים לשנות את הגודל של הספרייה /tmp בצומת האדמין, קראו את המאמר שינוי קיבולת האחסון המקומית של צומת אדמין.
כדי לגבות אשכול:
מוודאים שהאשכול פועל כמו שצריך, עם פרטי כניסה תקינים וקישוריות SSH לכל הצמתים.
מטרת תהליך הגיבוי היא לתעד את האשכול במצב תקין וידוע, כדי שתוכלו לשחזר את הפעולה אם מתרחש כשל קטסטרופלי.
כדי לבדוק את האשכול, משתמשים בפקודה הבאה:
bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIGמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: שם האשכול שרוצים לגבות. -
ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.
-
מריצים את הפקודה הבאה כדי לוודא שאשכול היעד לא נמצא במצב התאמה:
kubectl describe cluster CLUSTER_NAME -n CLUSTER_NAMESPACE --kubeconfig ADMIN_KUBECONFIGמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: שם האשכול שרוצים לגבות. -
CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומתcluster-. לדוגמה, אם נותנים לאשכול את השםtest, למרחב השמות יהיה שם כמוcluster-test. -
ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.
-
בודקים את הקטע
Statusבפלט הפקודה שלConditionsמסוגReconciling.כמו שמוצג בדוגמה הבאה, הסטטוס
FalseשלConditionsהאלה מציין שהאשכול יציב ומוכן לגיבוי.... Status: ... Cluster State: Running ... Control Plane Node Pool Status: ... Conditions: Last Transition Time: 2023-11-03T16:37:15Z Observed Generation: 1 Reason: ReconciliationCompleted Status: False Type: Reconciling ...מריצים את הפקודה הבאה כדי לגבות את האשכול:
bmctl backup cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIGמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: שם האשכול שרוצים לגבות. -
ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.
כברירת מחדל, קובץ ה-tar של הגיבוי נשמר בספריית סביבת העבודה (
bmctl-workspace, כברירת מחדל) בתחנת העבודה של האדמין. קובץ ה-tar נקראCLUSTER_NAME_backup_TIMESTAMP.tar.gz, כאשרCLUSTER_NAMEהוא שם האשכול שמגובה ו-TIMESTAMPהוא התאריך והשעה שבהם בוצע הגיבוי. לדוגמה, אם שם האשכול הואtestuser, שם קובץ הגיבוי יהיה דומה ל-testuser_backup_2006-01-02T150405Z0700.tar.gz.כדי לציין שם ומיקום אחרים לקובץ הגיבוי, משתמשים בדגל
--backup-file.-
קובץ הגיבוי פג אחרי שנה, ותהליך השחזור של האשכול לא פועל עם קובצי גיבוי שפג תוקפם.
שחזור אשכול
שחזור אשכול מגיבוי הוא המוצא האחרון, וצריך להשתמש בו רק כשהאשכול נכשל באופן קטסטרופלי ואי אפשר להחזיר אותו לשירות בשום דרך אחרת. לדוגמה, נתוני ה-etcd פגומים או שה-Pod של ה-etcd נמצא בלולאת קריסה.
קובץ ה-tar של הגיבוי מכיל פרטי כניסה רגישים, כולל המפתחות של חשבון השירות ומפתח ה-SSH. כדי למנוע חשיפה לא מכוונת של קבצים, תהליך השחזור של Google Distributed Cloud משתמש רק בקבצים בזיכרון.
גרסת bmctl שבה משתמשים כדי לשחזר אשכול צריכה להתאים לגרסה של האשכול המנהל.
כדי לשחזר אשכול:
מוודאים שכל מכונות הצומת שהיו זמינות לאשכול בזמן הגיבוי פועלות כמו שצריך ושאפשר להגיע אליהן.
מוודאים שקישוריות ה-SSH בין הצמתים פועלת עם מפתחות ה-SSH שבהם השתמשתם בזמן הגיבוי.
מפתחות ה-SSH האלה מוחזרים כחלק מתהליך השחזור.
מוודאים שהמפתחות של חשבון השירות ששימשו לגיבוי עדיין פעילים.
המפתחות האלה של חשבונות השירות מופעלים מחדש באשכול ששוחזר.
כדי לשחזר אשכול אדמין, אשכול היברידי או אשכול עצמאי, מריצים את הפקודה הבאה:
bmctl restore cluster -c CLUSTER_NAME --backup-file BACKUP_FILEמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: שם האשכול שמשחזרים. -
BACKUP_FILE: הנתיב והשם של קובץ הגיבוי שבו משתמשים.
-
כדי לשחזר אשכול משתמש, מריצים את הפקודה הבאה:
bmctl restore cluster -c CLUSTER_NAME --backup-file BACKUP_FILE \ --kubeconfig ADMIN_KUBECONFIGמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: שם האשכול שמשחזרים. -
BACKUP_FILE: הנתיב והשם של קובץ הגיבוי שבו משתמשים. -
ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.
-
בסיום תהליך השחזור, נוצר קובץ kubeconfig חדש לאשכול ששוחזר.
כשהשחזור מסתיים, מבצעים את השלבים הבאים כדי לוודא שהוא הצליח:
מריצים את הפקודות הבאות כדי לוודא שהצומת מוכן ושהפודים של המערכת פועלים עם קובץ ה-kubeconfig שנוצר:
יש שני סוגים של pod מסוג etcd:
-
etcd-HOST_NAME, שתואם ל-Pod הראשי שלetcd -
etcd-events-HOST_NAME, שתואם ל-Pod שלetcd-events
kubectl get pods -n kube-system --kubeconfig GENERATED_KUBECONFIG kubectl get nodes --kubeconfig GENERATED_KUBECONFIG-
לכל pod של etcd, מריצים את הפקודה הבאה כדי לוודא את התקינות של etcd:
kubectl exec ETCD_POD_NAME -n kube-system \ --kubeconfig GENERATED_KUBECONFIG \ -- /bin/sh -c 'ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/peer.key \ --cert=/etc/kubernetes/pki/etcd/peer.crt endpoint health'אם חבר ה-etcd תקין, התגובה אמורה להיראות כך:
https://127.0.0.1:2379 is healthy: successfully committed proposal: took = 11.514177msלכל Pod של
etcd-events, מריצים את הפקודה הבאה כדי לוודא את התקינות שלetcd-events:kubectl exec ETCD_EVENTS_POD_NAME -n kube-system \ --kubeconfig GENERATED_KUBECONFIG \ -- /bin/sh -c 'ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2382 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/peer.key \ --cert=/etc/kubernetes/pki/etcd/peer.crt endpoint health'אם הרכיב etcd-events תקין, התגובה אמורה להיראות כך:
https://127.0.0.1:2382 is healthy: successfully committed proposal: took = 14.308148ms
פתרון בעיות
אם נתקלתם בבעיות בתהליך הגיבוי או השחזור, יכול להיות שהסעיפים הבאים יעזרו לכם לפתור את הבעיה.
אם אתם צריכים עזרה נוספת, אתם יכולים לפנות אל התמיכה של Google.
אין זיכרון פנוי (OOM) במהלך גיבוי או שחזור
יכול להיות שתקבלו הודעות שגיאה במהלך תהליך הגיבוי או השחזור שלא יהיו ברורות או שלא יסבירו מה השלבים הבאים. אם בתחנת העבודה שבה אתם מריצים את הפקודה bmctl אין הרבה זיכרון RAM, יכול להיות שלא יהיה מספיק זיכרון כדי לבצע את תהליך הגיבוי או השחזור.
בגרסה 1.13 ואילך של Google Distributed Cloud אפשר להשתמש בפרמטר --use-disk בפקודת הגיבוי. כדי לשמור על ההרשאות לקבצים, הפרמטר הזה משנה את ההרשאות לקבצים, ולכן המשתמש שמריץ את הפקודה צריך להיות משתמש Root (או להשתמש ב-sudo).
חסרות הרשאות לקבצים במהלך השחזור
אחרי משימת שחזור מוצלחת, יכול להיות שמחיקת ה-bootstrap תיכשל ותופיע הודעת שגיאה דומה לדוגמה הבאה:
Error: failed to restore node config files: sftp: "Failure" (SSH_FX_FAILURE)
יכול להיות שהשגיאה הזו מציינת שחלק מהספריות שנדרשות לשחזור לא ניתנות לכתיבה.
בגרסה 1.14 ואילך של Google Distributed Cloud, הודעות השגיאה ברורות יותר לגבי הספריות שצריכות להיות ניתנות לכתיבה. מוודאים שאפשר לכתוב בספריות שדווחו, ומעדכנים את ההרשאות בספריות לפי הצורך.
רענון של מפתח SSH אחרי גיבוי משבש את תהליך השחזור
אם מפתח ה-SSH מתרענן אחרי הגיבוי, יכול להיות שפעולות שקשורות ל-SSH ייכשלו במהלך תהליך השחזור. במקרה כזה, מפתח ה-SSH החדש לא יהיה תקף לתהליך השחזור.
כדי לפתור את הבעיה, אפשר להוסיף באופן זמני את מפתח ה-SSH המקורי ואז לבצע את השחזור. בסיום תהליך השחזור, אפשר להחליף את מפתח ה-SSH.
אי אפשר ליצור גיבוי לצומת של סוכן צומת
אם אתם משתמשים ב-Node Agent ומופיעה הודעת שגיאה על כך שיצירת הגיבוי נכשלה ביצירת קובץ ארכיון, כמו זו:
I0508 15:29:36.831790 657351 backup_cluster.go:255] Retrying backup node: 128.187.102.133, due to error: failed receive chunk data: rpc error: code = Unknown desc = archiver.CreateArchiveWithList
failed: failed to create archive file: failed to copy data from file: var/lib/etcd-events/member/snap/db, file size: 26136576, copy bytes: 12478464,
error: write /tmp/uploadFileTemp1561164777: no space left on device
מוודאים שיש 12GB של שטח פנוי בספרייה /tmp בצומת האדמין ובכל צומתי היעד. אם אתם לא יכולים לשנות את הגודל של הספרייה /tmp בצומתי היעד, תוכלו להיעזר במאמר הגדלת נפח האחסון המקומי לגיבויים של סוכן הצומת.
אחרי שמוודאים שיש 12GB של נפח אחסון פנוי בספרייה /tmp בצומת האדמין ובכל צומתי היעד, מנסים שוב לבצע את הגיבוי.