שיבוט של אשכול מסדי נתונים ב-Kubernetes באמצעות גיבוי ב-Cloud Storage

בחירת גרסה של מאמר העזרה:

בדף הזה מוסבר איך לשכפל אשכול מסדי נתונים ב-Kubernetes באמצעות גיבוי של אשכול מסד נתונים של AlloyDB Omni ב-Cloud Storage.

בתרשים זרימת העבודה הבא מוסבר איך לשכפל:

  1. יוצרים את קובץ המניפסט DBCluster ומחילים אותו על אשכול מסד הנתונים של היעד עם הפרמטר livenessProbe מושבת.
  2. יוצרים ומגדירים את הקובץ pgbackrest.conf כדי לגשת לגיבוי ב-Cloud Storage.
  3. משתמשים בפקודות pgBackRest כדי לוודא שיש לכם גישה לגיבויים של המקור.
  4. משתמשים בפקודות pgBackRest כדי לשחזר את הגיבוי לאשכול מסד הנתונים של היעד.

לפני שמתחילים

  • מוודאים שיש לכם גישה לנתיב המלא של קטגוריה של Cloud Storage שבה מאוחסן הגיבוי של אשכול מסד הנתונים של המקור. זהו אותו נתיב שבו השתמשתם כשיצרתם את משאב BackupPlan עבור אשכול מסד הנתונים של המקור.
  • יוצרים אשכול מסדי נתונים של AlloyDB Omni. מידע נוסף על התקנת AlloyDB Omni ב-Kubernetes זמין במאמר בנושא יצירת אשכול מסדי נתונים.
  • מוודאים שאתם מחוברים למסד הנתונים כמשתמש postgres.

יצירת אשכול מסדי נתונים באשכול מסדי נתונים של יעד

יוצרים אשכול מסדי נתונים על ידי השבתה זמנית של הפרמטר livenessProbe. אחרי שהשחזור מסתיים, מגדירים מחדש את הפרמטר livenessProbe.

  1. יוצרים את קובץ המניפסט של משאב DBCluster:

    apiVersion: v1
kind: Secret
metadata:
  name: db-pw-DB_CLUSTER_NAME
type: Opaque
data:
  DB_CLUSTER_NAME: "ENCODED_PASSWORD"
---
apiVersion: alloydbomni.dbadmin.goog/v1
kind: DBCluster
metadata:
  name: DB_CLUSTER_NAME
spec:
  primarySpec:
    availabilityOptions:
      livenessProbe: "Disabled"
    adminUser:
      passwordRef:
        name: db-pw-DB_CLUSTER_NAME
    resources:
      cpu: CPU_COUNT
      memory: MEMORY_SIZE
      disks:
      - name: DataDisk
        size: DISK_SIZE
        storageClass: standard

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DB_CLUSTER_NAME: השם של אשכול מסד הנתונים הזה, לדוגמה my-db-cluster.

    • ‫ENCODED_PASSWORD: הסיסמה להתחברות למסד הנתונים עבור תפקיד המשתמש שמוגדר כברירת מחדל postgres, בקידוד כמחרוזת base64. לדוגמה, Q2hhbmdlTWUxMjM= עבור ChangeMe123.

    • ‫CPU_COUNT: מספר המעבדים הזמינים לכל מופע של מסד נתונים באשכול מסדי הנתונים הזה.

    • ‫MEMORY_SIZE: כמות הזיכרון לכל מופע של מסד נתונים באשכול מסדי הנתונים הזה. מומלץ להגדיר את הערך הזה ל-8 גיגה-בייט לכל מעבד. לדוגמה, אם הגדרתם את cpu ל-2 מוקדם יותר במניפסט הזה, מומלץ להגדיר את memory ל-16Gi.

    • ‫DISK_SIZE: גודל הדיסק לכל מופע של מסד נתונים, לדוגמה 10Gi.

  2. החלת קובץ המניפסט:

    kubectl apply -f DBCLUSTER_FILENAME

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DBCLUSTER_FILENAME: השם של קובץ המניפסט DBCluster שנוצר בשלב הקודם.

משתמשים בפקודה kubectl describe כדי לוודא שמשאב אשכול מסד הנתונים נמצא בסטטוס READY.

הגדרת הקובץ pgBackRest

מגדירים את הקובץ pgBackRest כדי לאפשר לאשכול מסד הנתונים של היעד לגשת לקטגוריה של Cloud Storage שבה נמצאים הגיבויים של המקור.

  1. בצבר מסדי הנתונים של היעד, מאתרים את פרטי ה-Pod של צבר מסדי הנתונים:

      kubectl get pod -l "alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME, alloydbomni.internal.dbadmin.goog/task-type=database"

    התשובה כוללת את השם של ה-pod של מסד הנתונים של האשכול.

  2. מתחברים ל-Pod:

      kubectl exec -ti DATABASE_POD_NAME  -- /bin/bash

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATABASE_POD_NAME: השם של ה-pod של אשכול מסד הנתונים מהשלב הקודם.

  3. מפסיקים את הפוד לפני העדכון של קובץ התצורה pgBackRest:

    supervisorctl.par stop postgres

  4. יוצרים קובץ תצורה pgBackRest כדי לגשת לגיבויים שמאוחסנים ב-Cloud Storage:

      cat << EOF > /backup/pgbackrest.conf
  [db]
  pg1-path=/mnt/disks/pgsql/data
  pg1-socket-path=/tmp
  pg1-user=pgbackrest
  [global]
  log-path=/obs/pgbackrest
  log-level-file=info
  repo1-type=gcs
  repo1-gcs-bucket=GCS_SOURCE_BACKUP_BUCKET_NAME
  repo1-path=GCS_SOURCE_BACKUP_BUCKET_PATH
  repo1-storage-ca-file=/scripts/ca-certificates.crt
  repo1-retention-full=9999999
  repo1-gcs-key-type=auto

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫GCS_SOURCE_BACKUP_BUCKET_NAME: השם של דלי Cloud Storage שיצרתם כשייצרתם את קובץ המניפסט של משאב BackupPlan עבור אשכול מסד הנתונים של המקור. זו לא כתובת ה-URL המלאה של הקטגוריה. אל תוסיפו את הקידומת gs:// לשם הקטגוריה.
    • ‫GCS_SOURCE_BACKUP_BUCKET_PATH: הנתיב של הספרייה שבה האופרטור של AlloyDB Omni כותב גיבויים, בתוך קטגוריית Cloud Storage של אשכול מסד הנתונים של המקור. הנתיב חייב להיות מוחלט ולהתחיל ב-/.

    הערך של repo1-gcs-key-type מוגדר ל-auto כדי להשתמש בחשבון השירות של המכונה. מידע נוסף על אפשרויות אחרות זמין במאמר אפשרויות של סוג מפתח מאגר ב-Cloud Storage.

אימות גיבויי המקור באשכול מסד הנתונים של היעד

מריצים פקודות pgBackRest כדי לוודא שהגיבויים של אשכול מסד הנתונים של המקור נגישים באשכול מסד הנתונים של היעד.

pgbackrest --config-path=/backup --stanza=db --repo=1 info

זוהי דוגמה לתשובה:

  stanza: db
      status: ok
      cipher: none
      db (current)
          wal archive min/max (15): 000000010000000000000002/00000001000000000000000D
          full backup: 20240213-231400F
              timestamp start/stop: 2024-02-13 23:14:00+00 / 2024-02-13 23:17:14+00
              wal start/stop: 000000010000000000000003 / 000000010000000000000003
              database size: 38.7MB, database backup size: 38.7MB
              repo1: backup set size: 4.6MB, backup size: 4.6MB
          incr backup: 20240213-231400F_20240214-000001I
              timestamp start/stop: 2024-02-14 00:00:01+00 / 2024-02-14 00:00:05+00
              wal start/stop: 00000001000000000000000D / 00000001000000000000000D
              database size: 38.7MB, database backup size: 488.3KB
              repo1: backup set size: 4.6MB, backup size: 84.2KB
              backup reference list: 20240213-231400F

חותמות הזמן בתשובה משמשות לשחזור הגיבוי המלא או לשחזור מנקודת זמן בחלון השחזור.

שחזור הגיבוי באשכול מסד הנתונים של היעד

אחרי שמזהים את הגיבוי או את נקודת הזמן שרוצים לשחזר, מריצים פקודות pgBackRest באשכול מסד הנתונים של היעד. מידע נוסף על הפקודות האלה זמין במאמר RestoreCommand.

הנה כמה דוגמאות לפקודות שחזור של pgBackRest:

  • שחזור מגיבוי

    pgbackrest --config-path=/backup --stanza=db --repo=1 restore --set=20240213-231400F --type=immediate --target-action=promote --delta --link-all --log-level-console=info

  • שחזור מנקודה מסוימת בזמן 

    pgbackrest --config-path=/backup --stanza=db --repo=1 restore --target="2024-01-22 11:27:22" --type=time --target-action=promote --delta --link-all --log-level-console=info

הפעלה מחדש של ה-pod

אחרי שהפקודה לשחזור מסתיימת בהצלחה, אפשר להתחיל את התהליך postgres.

supervisorctl.par start postgres

אחרי שתהליך postgres מתחיל, אפשר להתחבר למופע הראשי ולהריץ שאילתות כדי לוודא שהנתונים שוחזרו מהגיבוי. מידע נוסף זמין במאמר איך מתחברים ל-AlloyDB Omni שפועל ב-Kubernetes.

הגדרת אשכול מסדי הנתונים

אחרי שמשכפלים אשכול מסדי נתונים, מגדירים את המפרטים של אשכול מסד הנתונים. הכי חשוב, אל תשכחו להפעיל את הפרמטר livenessProbe באמצעות הפקודה הבאה:

    kubectl patch dbcluster DBCLUSTER_FILENAME --type merge -p '{"spec":{"primarySpec":{"availabilityOptions":{"livenessProbe":"Enabled"}}}}'

המאמרים הבאים