שכפול נתונים בין AlloyDB ל-PostgreSQL לבין AlloyDB Omni

בוחרים גרסת תיעוד: 18.1.1

• הגרסה הנוכחית (18.4.0)
• 18.4.0
• 18.3.0
• 18.1.1
• 18.1.0

במאמר הזה מוסבר איך להגדיר שכפול נתונים ל-AlloyDB Omni באמצעות התוסף pglogical. באמצעות התוסף הזה אפשר לשנות את הפרמטרים של מסד הנתונים, ליצור משתמש רפליקציה, להגדיר את צומתי הרפליקציה, להעתיק את הסכימה של מסד הנתונים וליצור את המינוי לרפליקה.

במאמר מידע על התוסף pglogical תוכלו לקרוא סקירה כללית על pglogical ב-AlloyDB Omni, היתרונות והמגבלות שלו.

המידע בדף הזה רלוונטי רק ל-AlloyDB Omni באמצעות RPM.

הרכיבים העיקריים של pglogical

הרכיבים העיקריים של התוסף pglogical הם:

• צומת: הפניה שניתנה למסד הנתונים בתוך אשכול PostgreSQL. התוסף pglogical מותקן בכל מספר של מסדי נתונים באשכול ופועל מולם, וכל אחד מהם פועל כצומת pglogical נפרד. כל צומת יכול להיות ספק (שנקרא גם מקור שכפול) או מנוי (שנקרא גם יעד שכפול), או שניהם בו-זמנית. מותר להשתמש רק בצומת אחד לכל מסד נתונים.
• קבוצת שכפול: מוגדרת במסד הנתונים של הספק כקיבוץ לוגי של טבלאות ורצפים שצריך להעביר, ושל הצהרות SQL כמו INSERT, UPDATE, DELETE, TRUNCATE שצריך לשכפל. אפשר להקצות טבלאות ליותר מקבוצת רפליקציה אחת. כברירת מחדל, מסופקות שלוש קבוצות של רפליקות שהוגדרו מראש, כמו default, ‏ default_insert_only ו-ddl_sql, ואתם יכולים להוסיף כמה קבוצות של רפליקות שתרצו בהתאם לצרכים שלכם.
• Subscription: מספק פרטים על השינויים שמשוכפלים ממסדי נתונים של ספקים ושינויים שמשוכפלים ממסדי נתונים של ספקים, במסד הנתונים של המנוי. המינוי מציין את מסד הנתונים של הספק באמצעות מחרוזת חיבור, ואם רוצים, גם את קבוצות הרפליקציות של הספק שצריך להעתיק. בנוסף, אפשר גם לציין אם להשתמש ב-apply delay כשיוצרים את המינוי.

בפריסה הזו, שירות AlloyDB ל-PostgreSQL הוא הספק ו-AlloyDB Omni המקומי הוא המנוי. חשוב לדעת שאפשר גם להגדיר את ההפך.

שיטות אימות נתמכות

לפני שמטמיעים את התוסף pglogical ב-AlloyDB Omni, צריך להביא בחשבון את הרשת והאבטחה בין צומתי הרפליקציה. שתי שיטות האימות העיקריות שמשמשות את התוסף pglogical הן אימות באמצעות סיסמה ואימות באמצעות אמון.

שיטת האימות המומלצת היא אימות מהימן, כי בשיטת אימות הסיסמה, הסיסמאות מאוחסנות בפורמט טקסט פשוט בטבלאות מסד נתונים שבבעלות pglogical. הסיסמאות האלה גלויות בטקסט פשוט לכל מי שיש לו הרשאות למסד הנתונים כדי לשלוח שאילתות לטבלאות האלה, בגיבויים לא בינאריים ובקובצי היומן של PostgreSQL.

אם אתם משתמשים בשיטת האימות המהימנה, אתם צריכים להזין ערכים ספציפיים בקובץ האימות שמבוסס על המארח, pg_hba.conf, כדי להבטיח אבטחה מקסימלית. אפשר להגביל את הגישה על ידי ציון מסדי הנתונים של היעד, מתן הרשאה רק לאפשרות השכפול או למסדי נתונים ספציפיים, למשתמש השכפול ורק מכתובת ה-IP הספציפית של המנוי.

חשוב: שיטת האימות באמצעות אמון לא זמינה בשירות AlloyDB ל-PostgreSQL. בחיבורים כאלה, צריך להשתמש בשיטת האימות באמצעות סיסמה.

לפני שמתחילים

אפשר להתקין את pglogical כתוסף במסד נתונים נתון.

לפני שמטמיעים את התוסף pglogical ב-AlloyDB Omni, צריך לוודא שאתם עומדים בדרישות המערכת הבאות:

• אשכול AlloyDB ל-PostgreSQL, וגישה לקריאה ולכתיבה למכונה הראשית כאדמין של AlloyDB ל-PostgreSQL. הוראות להקצאת אשכול AlloyDB ל-PostgreSQL זמינות במאמר יצירה של מסד נתונים של AlloyDB ל-PostgreSQL וקישור אליו.
• שרת AlloyDB Omni מותקן ומוגדר. הוראות להתקנת AlloyDB Omni מופיעות במאמר התקנת AlloyDB Omni.
• כתובות ה-IP של המכונה הראשית של AlloyDB ל-PostgreSQL ושל שרת המארח של AlloyDB Omni.
• רשת מאובטחת ומוגדרת בין AlloyDB ל-PostgreSQL לבין שרת המארח של AlloyDB Omni. צריך קישוריות TCP ביציאת PostgreSQL הרגילה (5432).

שינוי הפרמטרים בספק AlloyDB ל-PostgreSQL

כדי להשתמש בתוסף pglogical, צריך לבצע כמה שינויים קטנים בפרמטרים של אשכול הספק של AlloyDB ל-PostgreSQL. צריך להגדיר את הפרמטר wal_level לערך logical, ולצרף את pglogical לפרמטר shared_preload_libraries בקובץ postgresql.conf.

cp postgresql.conf postgresql.bak
sed -r -i "s|(\#)?wal_level\s*=.*|wal_level=logical|" postgresql.conf
sed -r -i "s|(\#)?(shared_preload_libraries\s*=\s*)'(.*)'.*$|\2'\3,pglogical'|" postgresql.conf
sed -r -i "s|',|'|" postgresql.conf

בשירות AlloyDB ל-PostgreSQL, אפשר לשנות את הפרמטרים על ידי הגדרת הדגלים המתאימים של האשכול.

צריך לשנות את הפרמטרים של הדגלים הבאים של AlloyDB ל-PostgreSQL:

• alloydb.enable_pglogical = on
• alloydb.logical_decoding = on

במאמר הגדרת דגלים לניהול מסד נתונים של מכונה מוסבר איך מגדירים דגלים לניהול מסד נתונים ב-AlloyDB ל-PostgreSQL.

בשאר הפרמטרים הנדרשים של מסד הנתונים של צומת הספק, צריך להגדיר את ערכי ברירת המחדל של AlloyDB ל-PostgreSQL באופן הבא:

• ‫max_worker_processes: אחד לכל מסד נתונים של ספק ולפחות אחד לכל צומת מנוי. הערך המינימלי המקובל לפרמטר הזה הוא 10.
• ‫max_replication_slots: אחד לכל צומת בצמתים של הספק.
• ‫max_wal_senders: אחד לכל צומת בצמתים של הספק.
• track_commit_timestamp: צריך להגדיר את הערך on אם נדרש פתרון של התנגשויות שבו העדכון האחרון או הראשון הוא זה שמתקבל.
• ‫listen_addresses: צריך לכלול את כתובת ה-IP של AlloyDB Omni או לציין אותה באמצעות בלוק CIDR שמכסה אותה.

אפשר לבדוק את הפרמטרים האלה באמצעות כל כלי לשאילתות, כמו psql.

שינוי הפרמטרים באשכול המנויים של AlloyDB Omni

גם ב-AlloyDB Omni subscriber נדרש להגדיר לפחות כמה פרמטרים של התוסף pglogical. צריך להוסיף את pglogical לפרמטר shared_preload_libraries בקובץ DATA_DIR/postgresql.conf. אם אחד ממסדי הנתונים באשכול פועל כמסד נתונים של ספק, צריך לבצע את השינויים בפרמטרים שנדרשים למסדי נתונים של ספקים.

מחליפים את DATA_DIR בנתיב של מערכת הקבצים לספריית הנתונים, לדוגמה, /home/$USER/alloydb-data.

1. משנים את הפרמטרים:

   sudo sed -r -i "s|(shared_preload_libraries\s*=\s*)'(.*)'.*$|\1'\2,pglogical'|" DATA_DIR/postgresql.conf

2. מוודאים שהפרמטר מוגדר בצורה תקינה:

   grep -iE 'shared_preload_libraries' DATA_DIR/postgresql.conf

3. מפעילים מחדש את AlloyDB Omni כדי שהשינוי בפרמטר ייכנס לתוקף:

   sudo systemctl restart alloydbomni18

4. מגדירים את ערכי ברירת המחדל של AlloyDB Omni לפרמטרים של מסד נתונים של ספק אחר:

   • ‫max_worker_processes: אחד לכל מסד נתונים של ספק ואחד לכל צומת של מנוי.
   • ‫track_commit_timestamp: מוגדר כ-on אם נדרש פתרון של קונפליקט בעדכון האחרון או הראשון.

5. מוודאים שכל ערכי הפרמטרים מוגדרים בצורה נכונה:

   /usr/lib/postgresql/18/bin/psql -h localhost -U postgres -c "
   SELECT name, setting
     FROM pg_catalog.pg_settings
    WHERE name IN ('listen_addresses',
                   'wal_level',
                   'shared_preload_libraries',
                   'max_worker_processes',
                   'max_replication_slots',
                   'max_wal_senders',
                   'track_commit_timestamp')
        ORDER BY name;"

שינויים באימות מבוסס-מארח באשכול המנויים של AlloyDB Omni

‫pglogical יוצר חיבורי TCP מקומיים למסד הנתונים של המנוי ב-AlloyDB Omni. לכן, צריך להוסיף את כתובת ה-IP של שרת המארח של המנוי לקובץ DATA_DIR/pg_hba.conf של AlloyDB Omni.

1. מוסיפים רשומה של אימות מהימן לשרת המקומי, ספציפית למשתמש חדש של pglogical_replication, לקובץ DATA_DIR/pg_hba.conf:

   echo -e "# pglogical entries:
   host all pglogical_replication samehost trust
   " | column -t | sudo tee -a DATA_DIR/pg_hba.conf

   הערה: צריך לציין ולהגביל את החיבורים לשמות המדויקים של מסדי הנתונים במקום all.

2. מוודאים שהערך נכון:

   tail -2 DATA_DIR/pg_hba.conf

3. מפעילים מחדש את AlloyDB Omni כדי שהשינוי באימות ייכנס לתוקף:

   sudo systemctl restart alloydbomni18

יצירת משתמש pglogical באשכולות של ספק ושל מנוי

צריך ליצור משתמש חדש גם באשכול הספק וגם באשכול המנויים. pglogical דורש שלמשתמש יהיו ההרשאות superuser ו-replication.

1. באשכול ספק AlloyDB ל-PostgreSQL, יוצרים את המשתמש ומעניקים לו את התפקיד alloydbsuperuser:

   CREATE USER pglogical_replication LOGIN PASSWORD 'secret';
   ALTER USER pglogical_replication WITH replication;
   GRANT alloydbsuperuser TO pglogical_replication;
   

2. באשכול המנויים של AlloyDB Omni, יוצרים את המשתמש ומעניקים לו את המאפיינים replication ו-superuser:

   CREATE USER pglogical_replication LOGIN PASSWORD 'secret';
   ALTER USER pglogical_replication WITH replication;
   ALTER USER pglogical_replication WITH superuser;
   

הוספת pglogical וצמתים למסד הנתונים של ספק AlloyDB ל-PostgreSQL

1. נותנים את ההרשאות הנדרשות.

   צריך להתקין את התוסף pglogical בכל מסד נתונים ולהעניק את ההרשאה usage למשתמש במסד הנתונים pglogical. ב-AlloyDB ל-PostgreSQL, צריך להעניק הרשאות בסכימה pglogical.

   לדוגמה, אם מסד הנתונים הוא my_test_db, מריצים את הפקודה הבאה במסד הנתונים של ספק AlloyDB ל-PostgreSQL:

   \c my_test_db;
   CREATE EXTENSION IF NOT EXISTS pglogical;
   GRANT usage ON SCHEMA pglogical TO pglogical_replication;
   -- For AlloyDB for PostgreSQL you also need to manually grant privileges:
   GRANT ALL PRIVILEGES ON ALL tables IN SCHEMA pglogical TO pglogical_replication;
   

2. יוצרים צומת pglogical למסדי הנתונים של הספק. הערך node_name הוא שרירותי והמחרוזת dsn צריכה להיות חיבור TCP תקין בחזרה לאותו מסד נתונים. ב-AlloyDB ל-PostgreSQL, החלק של המארח ב-dsn הוא כתובת ה-IP שסופקה למכונה הראשית.

   ב-AlloyDB ל-PostgreSQL, אי אפשר להשתמש באימות מהימן, וצריך לכלול את ארגומנט הסיסמה ב-dsn. .

   לדוגמה, למסד הנתונים my_test_db, מריצים את הפקודה הבאה:

   SELECT pglogical.create_node(node_name := 'provider', dsn := 'host=SERVER_IP_ADDRESS
   port=5432 dbname=my_test_db user=pglogical_replication password=secret');
   

יצירת טבלה והוספה שלה לקבוצת השכפול שמוגדרת כברירת מחדל

יוצרים טבלה ומוסיפים אותה לקבוצת הרפליקציה שמוגדרת כברירת מחדל במסד הנתונים של הספק ב-AlloyDB ל-PostgreSQL.

1. יוצרים טבלת בדיקה בשם test_table_1 במסד הנתונים של הספק:

   CREATE TABLE test_table_1 (col1 INT PRIMARY KEY);
   INSERT INTO test_table_1 VALUES (1),(2),(3);
   

2. נותנים הרשאת SELECT לטבלאות הספציפיות או מריצים את הפקודה GRANT SELECT ON ALL TABLES. כל הטבלאות שיהיו חלק מקבוצת רפליקציה חייבות לכלול הרשאת שאילתה שניתנה למשתמש הרפליקציה, pglogical_replication.

   GRANT SELECT ON ALL TABLES IN SCHEMA public TO pglogical_replication;
   

3. מוסיפים באופן ידני את טבלת הבדיקה לקבוצת הרפליקציה שמוגדרת כברירת מחדל. אפשר ליצור קבוצות רפליקציה בהתאמה אישית של pglogical, או להשתמש בקבוצות הרפליקציה שמוגדרות כברירת מחדל. כשיוצרים את התוסף, נוצרות כמה קבוצות שכפול שמוגדרות כברירת מחדל, כמו default, default_insert_only ו-ddl_sql. אפשר להוסיף טבלאות ורצפים לקבוצות הרפליקציה בנפרד, או את כולם בבת אחת לסכימה מסוימת.

   -- Add the specified table to the default replication set:
   SELECT pglogical.replication_set_add_table(set_name := 'default', relation := 'test_table_1', synchronize_data := TRUE);
   
   -- Check which tables have been added to all replication sets:
   SELECT * FROM pglogical.replication_set_table;
   

4. (אופציונלי) מוסיפים את כל הטבלאות בסכימה שצוינה, כמו public:

   -- Add all "public" schema tables to the default replication set:
   SELECT pglogical.replication_set_add_all_tables('default', ARRAY['public']);
   
   -- Check which tables have been added to all replication sets:
   SELECT * FROM pglogical.replication_set_table;
   
   -- Add all "public" schema sequences to the default replication:
   SELECT pglogical.replication_set_add_all_sequences('default', ARRAY['public']);
   
    -- Check which sequences have been added to all replication sets:
   SELECT * FROM pglogical.replication_set_seq;
   

5. מסירים את הטבלה מקבוצת הרפליקציה default. אם יש ב-schema טבלאות ללא מפתח ראשי, אפשר להגדיר אותו רק לשכפול של INSERT או להגדיר את העמודות שמזהות באופן ייחודי את השורה באמצעות התכונה REPLICA IDENTITY שמשמשת עם הפקודה ALTER TABLE. אם הוספתם את הטבלאות האלה לקבוצת הרפליקציה default באופן אוטומטי באמצעות הפונקציה replication_set_add_all_tables, אתם צריכים להסיר אותן באופן ידני מקבוצת הרפליקציה הזו ולהוסיף אותן לקבוצה default_insert_only.

   -- Remove the table from the **default** replication set:
   SELECT pglogical.replication_set_remove_table(set_name := 'default', relation := 'test_table_2');
   

   -- Manually add to the **default_insert_only** replication set:
   SELECT pglogical.replication_set_add_table(set_name := 'default_insert_only', relation := 'test_table_2');
   

   אם רוצים להוסיף באופן אוטומטי את הטבלאות החדשות שנוצרו לקבוצת הרפליקציה, מוסיפים את הטריגר pglogical_assign_repset כמו שמוצע במקור pglogical.

העתקת מסד הנתונים לאשכול המנויים של AlloyDB Omni

1. יוצרים גיבוי של הסכימה בלבד של מסד הנתונים של המקור באמצעות הכלי pg_dump.

2. מריצים את הפקודה pg_dump מהשרת שלכם ב-AlloyDB Omni, באמצעות כתובת ה-IP של המכונה הראשית ב-AlloyDB ל-PostgreSQL.

   הערה: צריך להריץ את הפקודה pg_dump מחוץ לקונטיינר של AlloyDB Omni. אם אתם יכולים להתקין את הלקוח של PostgreSQL, מומלץ להריץ את הפקודה pg_dump מהשרת המארח של AlloyDB Omni. במקרה הצורך, אפשר גם להריץ את הפקודה משרת אחר.

   pg_dump -h SERVER_IP_ADDRESS -U postgres --create --schema-only my_test_db > my_test_db.schema-only.sql

3. מייבאים את הגיבוי למסד הנתונים של המנוי בשרת AlloyDB Omni של המנוי:

   sudo -u postgres psql -h localhost -U postgres < my_test_db.schema-only.sql

התעלמות משגיאות כמו alloydbsuperuser not existing. התפקיד הזה ספציפי ל-AlloyDB ל-PostgreSQL.

הפעולה הזו יוצרת את מסד הנתונים ואת הסכימה, בלי נתוני השורות. נתוני השורה משוכפלים על ידי התוסף pglogical. מעתיקים או יוצרים מחדש באופן ידני את כל המשתמשים או התפקידים האחרים שנדרשים.

יצירת צומת ומינוי במסד הנתונים של המנוי ב-AlloyDB Omni

1. יוצרים צומת במסד הנתונים של המנוי ב-AlloyDB Omni:

   sudo -u postgres psql -h localhost -U postgres -d my_test_db -c "
   SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');"

2. יוצרים מינוי במסד הנתונים של המנוי, שמפנה חזרה למכונה הראשית של מסד הנתונים של הספק ב-AlloyDB ל-PostgreSQL.

   הערה: ב-AlloyDB ל-PostgreSQL אי אפשר להשתמש באימות מהימן. צריך לכלול את הארגומנט של הסיסמה בפרמטר dsn.
   זהירות: חשוב לוודא שפרטי החיבור בפרמטר dsn מדויקים.

   /usr/lib/postgresql/18/bin/psql -h localhost -U postgres -d my_test_db -c "
   SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');"

3. בהתאם לגודל הטבלה ולנתונים שצריך לשכפל, זמן השכפול יכול להשתנות משניות לדקות. לאחר מכן, הנתונים הראשוניים אמורים להשתכפל מהספק למנוי:

   /usr/lib/postgresql/18/bin/psql -h localhost -U postgres -d my_test_db -c "
   SELECT * FROM test_table_1 ORDER BY 1;"

   גם שורות נוספות שמוסיפים למסד הנתונים של הספק משוכפלות תוך שניות.

שיקולים נוספים לגבי פריסה של pglogical

לתוסף pglogical יש הרבה תכונות מתקדמות שלא מוסברות במסמך הזה. רבות מהתכונות האלה רלוונטיות להטמעה שלכם. אפשר להשתמש בתכונות המתקדמות הבאות:

• פתרון התנגשויות
• רפליקציה דו-כיוונית עם כמה מאסטרים
• הכללה של רצפים
• תהליכי מעבר לגיבוי ותהליכי יתירות כשל

המאמרים הבאים

• שכפול נתונים בין AlloyDB Omni למסדי נתונים אחרים
• מעבר ידני ואוטומטי למצב של יתירות כשל באמצעות רפליקציה של pglogical