הגדרה של אשכול מנויים לשכפול לוגי

בוחרים גרסת תיעוד:

במאמר הזה מוסבר איך ליצור ולהגדיר ידנית אשכול מנויים. אשכול מנויים הוא אשכול של מסד נתונים שמקבל נתונים משוכפלים מאשכול בעל תוכן דיגיטלי.

קטעי הקוד בדף הזה הם דוגמאות שאפשר להשתמש בהן כמודלים, ולהחליף את הערכים בערכים של משאבי AlloyDB Omni.

לפני שמתחילים

יצירה והגדרה של אשכול המנויים

  1. יוצרים אשכול של מנויים.

    $ cat << EOF | kubectl apply -f -
    apiVersion: v1
    kind: Secret
    metadata:
      name: db-pw-DB_CLUSTER_NAME
    type: Opaque
    data:
      DB_CLUSTER_NAME: "ENCODED_PASSWORD" # Password is odspassword
    ---
    apiVersion: alloydbomni.dbadmin.goog/v1
    kind: DBCluster
    metadata:
      name: subscriber
    spec:
      databaseVersion: "18.4.0"
      primarySpec:
        adminUser:
          passwordRef:
            name: db-pw-DB_CLUSTER_NAME
        resources:
          memory: MEMORY_SIZE
          cpu: CPU_COUNT
          disks:
          - name: DataDisk
            size: DISK_SIZE
    EOF
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DB_CLUSTER_NAME: השם של אשכול מסד הנתונים הזה, לדוגמה subscriber-cluster.
    • ‫ENCODED_PASSWORD: סיסמת ההתחברות למסד הנתונים של תפקיד המשתמש postgres שמוגדר כברירת מחדל, מקודדת כמחרוזת base64. לדוגמה, Q2hhbmdlTWUxMjM= בשביל ChangeMe123.

    • ‫CPU_COUNT: מספר המעבדים הזמינים לכל מופע של מסד נתונים באשכול מסדי הנתונים הזה.

    • ‫MEMORY_SIZE: כמות הזיכרון לכל מכונה של מסד נתונים באשכול מסדי הנתונים הזה. מומלץ להגדיר את הערך הזה ל-8GB לכל מעבד (CPU). לדוגמה, אם הגדרתם את cpu ל-2 בשלב מוקדם יותר במניפסט, מומלץ להגדיר את memory ל-16Gi.

    • ‫DISK_SIZE: גודל הדיסק לכל מופע של מסד נתונים, לדוגמה 10Gi.

  2. מאתרים את הפוד שרוצים.

    $ kubectl get pod -l "alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME, alloydbomni.internal.dbadmin.goog/task-type=database, dbs.internal.dbadmin.goog/ha-role=Primary"
    
  3. מתחברים ל-pod של מסד הנתונים של אשכול המנויים.

    $ kubectl get pod
    NAME                                          READY   STATUS    RESTARTS   AGE
    al-2bce-publisher-0                           3/3     Running   0          20h
    
    $ kubectl exec -ti SUBSCRIBER_POD_NAME  -- /bin/bash
    Defaulted container "database" out of: database, logrotate-agent, memoryagent, dbinit (init)
    postgres@al-3513-subscriber-0:/$
    

    מחליפים את SUBSCRIBER_POD_NAME בשם של pod המנוי.

  4. מוצאים את כתובת ה-IP של מאזן העומסים ב-DBcluster של בעל האפליקציה, כמו 10.116.14.190

    $ kubectl get service
    NAME                     TYPE           CLUSTER-IP      EXTERNAL-IP    PORT(S)          AGE
    al-publisher-rw-ilb      ClusterIP      10.116.14.190   <none>         5432/TCP         21h
    
  5. מגבים את הסכימה מהמפרסם כעותק ראשוני של הנתונים שפורסמו במסד הנתונים של המפרסם. שכפול לוגי לא תומך בשכפול DDL. לפני שמתחילים ברפליקציה לוגית, הסכימה או הטבלה שרוצים לשכפל צריכה להיות קיימת ביעד (אשכול המנויים).

    postgres@al-3513-subscriber-0:/$ pg_dump -h PUBLISHER_IP_ADDRESS -U postgres --create --schema-only customer > /tmp/customer.schema-only.sql
    

    מחליפים את PUBLISHER_IP_ADDRESS בכתובת ה-IP של מאזן העומסים באשכול מסד הנתונים של המפרסם.

  6. מחילים את הגיבוי במסד הנתונים של המנוי.

    postgres@al-3513-subscriber-0:/$ psql -h localhost -U postgres < /tmp/customer.schema-only.sql
    
  7. אופציונלי: מוודאים שאין נתונים בטבלה.

    # There is no data in table company
    customer=# select * from company;
    id | name | age | salary
    ----+------+-----+--------
    (0 rows)
    
  8. יוצרים מינוי למסד הנתונים. מוודאים שהפרסום כבר נוצר ב-DBCluster של בעל התוכן הדיגיטלי.

    postgres@al-3513-subscriber-0:/$ CREATE SUBSCRIPTION sub_customer CONNECTION 'host=PUBLISHER_IP_ADDRESS port=5432 user=REPLICATION_USER dbname=DATABASE_NAME password=PUBLISHER_CLUSTER_PASSWORD sslmode=require' PUBLICATION PUBLICATION_NAME WITH (slot_name='REPLICATION_SLOT_NAME');
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REPLICATION_USER: שם המשתמש שמתחבר למשבצת הרפליקציה.
    • ‫DATABASE_NAME: צריך להגדיר את השם של מסד הנתונים שרוצים להזרים ממנו שינויים מתוך משבצת השכפול.
    • ‫PUBLISHER_CLUSTER_PASSWORD: סיסמת הכניסה למסד הנתונים של המשתמש postgres ב-DBCluster של בעל התוכן הדיגיטלי.
    • ‫PUBLICATION_NAME: שם הפרסום שהמנוי נרשם אליו.
    • ‫REPLICATION_SLOT_NAME: השם של משבצת השכפול שנוצרה ב-DBCluster של המפרסם.
  9. אופציונלי: מאמתים את השכפול באשכול המנויים.

    postgres@al-3513-subscriber-0:/$ psql -h localhost -U postgres DATABASE_NAME
    customer=# select * from public.company;
    id | name  | age | salary
    ----+-------+-----+--------
      1 | Quinn |  25 |  65000
      2 | Kim   |  22 |  72250
      3 | Bola  |  31 |  53000
      4 | Sasha |  33 | 105000
      5 | Yuri  |  27 |  85000
    (5 rows)
    
  10. בצד של בעל התוכן הדיגיטלי, מוסיפים שורה לטבלה.

    # On the publisher database
    $ kubectl exec -ti al-2bce-publisher-0  -- /bin/bash
    Defaulted container "database" out of: database, logrotate-agent, memoryagent, dbinit (init)
    postgres@al-2bce-publisher-0:/$ psql -h localhost -U postgres DATABASE_NAME
    customer=# insert into TABLE_NAME (id, name, age, salary) values (6, 'Alex', 39, 100000);
    

    מחליפים את TABLE_NAME בשם הטבלה ב-DBCluster של בעל התוכן הדיגיטלי שהמנוי רשום אליה.

  11. באשכול המנויים, מוודאים שהשורה שנוספה לטבלה באשכול המפרסמים שוכפלה לטבלה באשכול המנויים.

    # On the subscriber database, data is synced.
    postgres@al-3513-subscriber-0:/$ psql -h localhost -U postgres DATABASE_NAME
    customer=# select * from TABLE_NAME;
    id | name  | age | salary
    ----+-------+-----+--------
      1 | Quinn |  25 |  65000
      2 | Kim   |  22 |  72250
      3 | Bola  |  31 |  53000
      4 | Sasha |  33 | 105000
      5 | Yuri  |  27 |  85000
      6 | Alex  |  39 | 100000
    (6 rows)
    

יצירת טבלאות נוספות באופן ידני

רפליקציה לוגית לא מסנכרנת באופן אוטומטי שינויים ב-DDL, בניגוד ל-replicate_ddl_command ב-pglogical. הכלי pgl_ddl_deploy בקוד פתוח מציע פתרון, אבל אפשר גם להריץ פקודות DDL באופן ידני במנוי.

  1. כדי להדגים את זה, יוצרים טבלה חדשה בשם finance במסד הנתונים customer באשכול המפרסם.

    # On the publisher database
    $ kubectl exec -ti al-2bce-publisher-0  -- /bin/bash
    Defaulted container "database" out of: database, logrotate-agent, memoryagent, dbinit (init)
    postgres@al-2bce-publisher-0:/$ psql -h localhost -U postgres customer
    customer=# create table finance (row text);
    CREATE TABLE
    customer=# insert into finance values ('critical data');
    INSERT 0 1
    customer=# ALTER PUBLICATION pub_customer ADD TABLE finance;
    ALTER PUBLICATION
    
  2. כשמוסיפים טבלה חדשה לאשכול המפרסמים, צריך להחיל ידנית את ה-DDL (יצירת טבלה) במנוי, ואז לאמת את הרפליקציה על ידי הפעלת הפקודה הבאה באשכול המנויים.

    postgres@al-3513-subscriber-0:/$ psql -h localhost -U postgres customer
    customer=# create table finance (row text);
    CREATE TABLE
    customer=# ALTER SUBSCRIPTION sub_customer REFRESH PUBLICATION;
    ALTER SUBSCRIPTION
    customer=# select * from finance;
          row
    ---------------
    critical data
    (1 row)
    

המאמרים הבאים