גיבוי ושחזור של אשכולות מתקדמים באמצעות gkectl

במאמר הזה מוסבר איך לגבות ולשחזר אשכולות אדמין ואשכולות משתמשים בגרסה 1.32 ואילך של Google Distributed Cloud, שמופעלת בהם התכונה "אשכול מתקדם". תכונת הגיבוי והשחזור נמצאת בגרסת טרום-השקה (Preview) בגרסה 1.32, ובגרסת זמינות כללית (GA) בגרסה 1.33 ואילך.

תהליך הגיבוי והשחזור של gkectl לא כולל אמצעי אחסון קבועים. כל אמצעי האחסון שנוצרו על ידי מקצה אמצעי האחסון המקומי (LVP) נשארים ללא שינוי.

גיבוי אשכול

הפקודה gkectl backup cluster מוסיפה לקובץ tar את פרטי האשכול ממאגר ה-etcd ואת אישורי ה-PKI של האשכול שצוין. מאגר etcd הוא מאגר הגיבוי של Kubernetes לכל נתוני האשכול, והוא מכיל את כל האובייקטים של Kubernetes והאובייקטים בהתאמה אישית שנדרשים לניהול מצב האשכול. אישורי ה-PKI משמשים לאימות באמצעות Transport Layer Security ‏(TLS). הנתונים האלה מגובים ממישור הבקרה של האשכול או מאחד ממישורי הבקרה לפריסה בזמינות גבוהה (HA).

קובץ ה-tar של הגיבוי מכיל פרטי כניסה רגישים, כולל המפתחות של חשבון השירות ומפתח ה-SSH. שמרו את קובצי הגיבוי במיקום מאובטח. כדי למנוע חשיפה לא מכוונת של קבצים, תהליך הגיבוי משתמש רק בקבצים בזיכרון.

כדאי לגבות את האשכולות באופן קבוע כדי לוודא שנתוני תמונת המצב עדכניים יחסית. כדאי להתאים את קצב הגיבויים כך שישקף את תדירות השינויים המשמעותיים באשכולות.

לפני שמתחילים, צריך לוודא שהאשכול פועל כמו שצריך, עם פרטי כניסה תקינים וקישוריות SSH לכל הצמתים. מטרת תהליך הגיבוי היא לתעד את האשכול במצב תקין וידוע, כדי שתוכלו לשחזר את הפעולה אם מתרחש כשל קטסטרופלי.

כדי לגבות אשכול:

  1. מריצים את הפקודה הבאה כדי לבדוק את האשכול:

    gkectl diagnose cluster --cluster-name CLUSTER_NAME \
        --kubeconfig ADMIN_KUBECONFIG
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAME: השם של האשכול שרוצים לגבות.

    • ‫ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.

  2. מריצים את הפקודה הרלוונטית כדי לגבות את האשכול:

    אשכול אדמין

    gkectl backup admin --kubeconfig ADMIN_KUBECONFIG
    

    אשכול משתמשים

    gkectl backup cluster --cluster-name CLUSTER_NAME \
        --kubeconfig ADMIN_KUBECONFIG
    

כברירת מחדל, קובץ ה-tar של הגיבוי נשמר בספרייה gkectl-workspace/backups בתחנת העבודה של האדמין. קובץ ה-tar נקרא CLUSTER_NAME_backup_TIMESTAMP.tar.gz, כאשר CLUSTER_NAME הוא שם האשכול שמגובה ו-TIMESTAMP הוא התאריך והשעה שבהם בוצע הגיבוי. לדוגמה, אם שם האשכול הוא testuser, שם קובץ הגיבוי יהיה דומה ל-testuser_backup_2025-08-23T150405Z0700.tar.gz.

אפשר גם לציין שם ומיקום אחרים לקובץ הגיבוי באמצעות הדגל --backup-file, לדוגמה:

gkectl backup cluster testuser \
    --kubeconfig admin-cluster/kubeconfig \
    --backup-file cluster-backups/testuser-backup-aug-23-2025.tar.gz

קובץ הגיבוי פג אחרי שנה, ותהליך השחזור של האשכול לא פועל עם קובצי גיבוי שפג תוקפם.

גיבוי ל-vSphere

כדי להגדיר גיבויים כך שקובץ הגיבוי של אשכולות האדמין והמשתמשים יועלה ל-vSphere בנוסף לשמירה בתחנת העבודה של האדמין, מבצעים את הפעולות הבאות:

  1. מוסיפים את השדה clusterBackup.datastore לקובץ התצורה של אשכול האדמין:

    clusterBackup:
        datastore: DATASTORE
    

    מחליפים את DATASTORE במאגר הנתונים שבו רוצים לשמור את הגיבוי. מאגר הנתונים חייב להיות באותו מרכז נתונים שבו נמצא אשכול האדמין. הגיבויים נמצאים בספרייה anthos/CLUSTER_NAME/backup של מאגר הנתונים שצוין.

  2. מעדכנים את אשכול האדמין:

    gkectl update admin --kubeconfig ADMIN_KUBECONFIG \
        --config ADMIN_CONFIG
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.

    • ‫ADMIN_CONFIG: הנתיב של קובץ התצורה של אשכול האדמין.

כברירת מחדל, הפקודה gkectl backup שומרת את שלושת קובצי הגיבוי האחרונים ב-vSphere ומוחקת קובצי גיבוי ישנים יותר. אם אתם רוצים לשמור את קובצי הגיבוי הישנים, הוסיפו את הדגל --keep-all-backups, שזמין בגרסה 1.32.100 ואילך.

שחזור אשכול

שחזור אשכול מגיבוי הוא מוצא אחרון, וצריך להשתמש בו רק כשהאשכול נכשל באופן קטסטרופלי ואי אפשר להחזיר אותו לשירות בדרך אחרת. לדוגמה, נתוני ה-etcd פגומים או שה-Pod של ה-etcd נמצא בלולאת קריסה.

משתמשים בפקודה gkectl restore רק אם כל שלושת הצמתים של מישור הבקרה נכשלו.

  • אם רק צומת אחד נכשל, והערך של autoRepair.enabled מוגדר כ-true בקובץ התצורה של אשכול האדמין, הצומת שנכשל יתוקן באופן אוטומטי. אם autoRepair.enabled לא מוגדר, צריך להוסיף אותו לקובץ התצורה של אשכול האדמין ולהריץ את gkectl update admin. אחרי העדכון, הצומת נוצר מחדש באופן אוטומטי.

  • אם שני צומתי מישור בקרה נכשלו, עיינו בקטע שחזור קוורום בדף הזה.

קובץ ה-tar של הגיבוי מכיל פרטי כניסה רגישים, כולל המפתחות של חשבון השירות ומפתח ה-SSH. כדי למנוע חשיפה לא מכוונת של קבצים, תהליך השחזור של Google Distributed Cloud משתמש רק בקבצים בזיכרון.

לפני שמשחזרים אשכול, צריך לוודא שהתנאים הבאים מתקיימים:

  • כל מכונות הצומת של מישור הבקרה שהיו זמינות לאשכול בזמן הגיבוי פועלות כמו שצריך וניתן להגיע אליהן.
  • קישוריות ה-SSH בין הצמתים פועלת עם מפתחות ה-SSH ששימשו בזמן הגיבוי. מפתחות ה-SSH האלה מוחזרים כחלק מתהליך השחזור.
  • המפתחות של חשבון השירות ששימשו לגיבוי עדיין פעילים. המפתחות האלה של חשבונות השירות מופעלים מחדש באשכול ששוחזר.

כדי לשחזר אשכול:

  1. מריצים את הפקודה הרלוונטית כדי לשחזר את האשכול:

    אשכול אדמין

    gkectl restore admin --backup-file BACKUP_FILE \
        --config ADMIN_CONFIG
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫BACKUP_FILE: הנתיב והשם של קובץ הגיבוי שבו משתמשים.

    • ‫ADMIN_CONFIG: הנתיב לקובץ התצורה של אשכול האדמין.

    אשכול משתמשים

    gkectl restore cluster --cluster-name CLUSTER_NAME \
        --backup-file BACKUP_FILE \
        --kubeconfig ADMIN_KUBECONFIG
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAME: שם האשכול שמשחזרים.

    • ‫BACKUP_FILE: הנתיב והשם של קובץ הגיבוי שבו משתמשים.

    • ‫ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.

    בסיום תהליך השחזור, נוצר קובץ kubeconfig חדש לאשכול ששוחזר בספריית סביבת העבודה gkectl-workspace.

  2. בסיום השחזור, מריצים את הפקודה הבאה כדי לוודא שהוא הצליח:

    gkectl diagnose cluster --cluster-name CLUSTER_NAME \
        --kubeconfig GENERATED_KUBECONFIG
    

    מחליפים את GENERATED_KUBECONFIG בקובץ kubeconfig שנוצר.

שחזור הקוורום

אם שני צומתי מישור בקרה נכשלו באשכול, אפשר להשתמש בפקודה gkectl restore כדי לשחזר את הקוורום. כשמשחזרים את הקוורום, במקום לציין את קובץ הגיבוי בפקודה gkectl restore, מציינים את כתובת ה-IP של הצומת הפעיל במישור הבקרה.

לפני שמריצים את הפקודה, צריך לוודא שהתנאים הבאים מתקיימים:

כדי לשחזר את הקוורום, מריצים את הפקודה הרלוונטית לסוג האשכול:

אשכול אדמין

gkectl restore admin --kubeconfig ADMIN_KUBECONFIG \
    --config ADMIN_CONFIG \
    --control-plane-node WORKING_NODE_IP \
    --ssh-key ADMIN_SSH_KEY_PATH

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.

  • ‫ADMIN_CONFIG: הנתיב של קובץ התצורה של אשכול האדמין.

  • ‫WORKING_NODE_IP: כתובת ה-IP של צומת מישור הבקרה הפעיל.

  • ‫ADMIN_SSH_KEY_PATH: הנתיב למפתח ה-SSH של אשכול האדמין.

אשכול משתמשים

gkectl restore cluster --cluster-name CLUSTER_NAME \
    --kubeconfig ADMIN_KUBECONFIG \
    --control-plane-node WORKING_NODE_IP \
    --ssh-key USER_SSH_KEY_PATH

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם האשכול שמשחזרים.

  • ‫ADMIN_KUBECONFIG: הנתיב לקובץ kubeconfig של אשכול האדמין.

  • ‫WORKING_NODE_IP: כתובת ה-IP של צומת מישור הבקרה הפעיל.

  • ‫USER_SSH_KEY_PATH: הנתיב למפתח ה-SSH של אשכול המשתמש.

פתרון בעיות

אם נתקלתם בבעיות בתהליך הגיבוי או השחזור, יכול להיות שהסעיפים הבאים יעזרו לכם לפתור את הבעיה.

אם אתם צריכים עזרה נוספת, תוכלו לפנות לצוות Cloud Customer Care.

אין זיכרון פנוי (OOM) במהלך גיבוי או שחזור

אם לתחנת העבודה שבה אתם מריצים את הפקודה gkectl אין הרבה זיכרון RAM, יכול להיות שלא יהיה לכם מספיק זיכרון כדי לבצע את תהליך הגיבוי או השחזור. אם צריך, אפשר ליצור דיסק אחסון נדיף (scratch disk) זמני ולהשתמש בו כדי לעבד את פעולות הגיבוי או השחזור, באמצעות הפרמטר --use-disk בפקודת הגיבוי. כדי לשמור על ההרשאות לקבצים, הפרמטר הזה משנה את ההרשאות של הקבצים, ולכן צריך להריץ את הפקודה כמשתמש Root (או להשתמש ב-sudo).

רענון של מפתח SSH אחרי גיבוי משבש את תהליך השחזור

פעולות שקשורות ל-SSH במהלך תהליך השחזור עלולות להיכשל אם מפתח ה-SSH מתרענן אחרי ביצוע הגיבוי. במקרה כזה, מפתח ה-SSH החדש לא יהיה תקף לתהליך השחזור. כדי לפתור את הבעיה, אפשר להוסיף באופן זמני את מפתח ה-SSH המקורי בחזרה, ואז לבצע את השחזור. אחרי שתהליך השחזור מסתיים, אפשר להחליף את מפתח ה-SSH.