pglogical.
במאמר מידע על התוסף pglogical מופיעה סקירה כללית על pglogical ב-AlloyDB Omni, היתרונות והמגבלות שלו.
הרכיבים העיקריים של pglogical
הרכיבים העיקריים של התוסף pglogical הם:
- צומת: הפניה שניתנה למסד הנתונים בתוך אשכול PostgreSQL.
התוסף
pglogicalמותקן בכל מספר של מסדי נתונים באשכול ופועל מולם, וכל אחד מהם פועל כצומת pglogical נפרד. כל צומת יכול להיות ספק, שנקרא גם מקור שכפול, או מנוי, שנקרא גם יעד שכפול, או שניהם בו-זמנית. מותר להשתמש רק בצומת אחד לכל מסד נתונים. - קבוצת שכפול: מוגדרת במסד הנתונים של הספק כקיבוץ לוגי של טבלאות ורצפים שצריך להעביר, ושל הצהרות SQL כמו
INSERT, UPDATE, DELETE, TRUNCATEשצריך לשכפל. אפשר להקצות טבלאות ליותר מקבוצת שכפול אחת. כברירת מחדל, מסופקות שלוש קבוצות של רפליקות שהוגדרו מראש, כמוdefault, default_insert_onlyו-ddl_sql, ואתם יכולים להוסיף כמה קבוצות של רפליקות שתרצו בהתאם לצרכים שלכם. - Subscription: מספק פרטים על השינויים שמשוכפלים ממסדי נתונים של ספקים ושינויים שמשוכפלים ממסדי נתונים של ספקים, במסד הנתונים של המנוי. המינוי מציין את מסד הנתונים של הספק באמצעות מחרוזת חיבור, ואופציונלית, אילו קבוצות שכפול מהספק הזה צריך להעתיק. בנוסף, אפשר גם לציין אם להשתמש ב-
apply delayכשיוצרים את המינוי.
בפריסה הזו, שירות AlloyDB ל-PostgreSQL הוא הספק ו-AlloyDB Omni המקומי הוא המנוי. שימו לב שאפשר גם להגדיר את זה הפוך.
שיטות אימות נתמכות
לפני שמטמיעים את התוסף pglogical ב-AlloyDB Omni, צריך להביא בחשבון את הרשת והאבטחה בין צומתי הרפליקציה.
שתי שיטות האימות העיקריות שמשמשות את התוסף pglogical הן אימות באמצעות סיסמה ואימות באמצעות אמון.
שיטת האימות המומלצת היא אימות אמון, כי בשיטת האימות באמצעות סיסמה, הסיסמאות מאוחסנות בפורמט טקסט פשוט בטבלאות של מסד הנתונים שבבעלות pglogical. הסיסמאות האלה גלויות בטקסט פשוט לכל מי שיש לו הרשאות למסד הנתונים כדי לשלוח שאילתות לטבלאות האלה, בגיבויים לא בינאריים ובקבצי היומן של PostgreSQL.
אם אתם משתמשים בשיטת האימות המהימנה, אתם צריכים להזין ערכים ספציפיים בקובץ האימות שמבוסס על המארח, pg_hba.conf, כדי להבטיח אבטחה מקסימלית. אפשר להגביל את הגישה על ידי ציון מסדי הנתונים של היעד, מתן הרשאה רק לאפשרות השכפול או למסדי נתונים ספציפיים, למשתמש השכפול ורק מכתובת ה-IP הספציפית של המנוי.
לפני שמתחילים
אפשר להתקין את pglogical כתוסף במסד נתונים נתון.
לפני שמטמיעים את התוסף pglogical ב-AlloyDB Omni, צריך לוודא שאתם עומדים בדרישות המערכת הבאות:
- אשכול AlloyDB ל-PostgreSQL, וגישת קריאה/כתיבה למכונה הראשית כאדמין של AlloyDB ל-PostgreSQL. הוראות להקצאת אשכול AlloyDB ל-PostgreSQL מופיעות במאמר יצירה של מסד נתונים ב-AlloyDB ל-PostgreSQL והתחברות אליו.
- שרת AlloyDB Omni מותקן ומוגדר. איך מתקינים את AlloyDB Omni
- כתובות ה-IP של המכונה הראשית של AlloyDB ל-PostgreSQL ושל שרת המארח של AlloyDB Omni.
- רשת מאובטחת ופעילה בין AlloyDB ל-PostgreSQL לבין השרת המארח של AlloyDB Omni. צריך קישוריות TCP ביציאת PostgreSQL הרגילה (5432).
שינוי הפרמטרים בספק AlloyDB ל-PostgreSQL
כדי להשתמש בתוסף pglogical, צריך לבצע כמה שינויים קטנים בפרמטרים של אשכול הספק של AlloyDB ל-PostgreSQL. צריך להגדיר את הפרמטר wal_level לערך logical, ולצרף את pglogical לפרמטר shared_preload_libraries בקובץ postgresql.conf.
cp postgresql.conf postgresql.baksed -r -i "s|(\#)?wal_level\s*=.*|wal_level=logical|" postgresql.confsed -r -i "s|(\#)?(shared_preload_libraries\s*=\s*)'(.*)'.*$|\2'\3,pglogical'|" postgresql.confsed -r -i "s|',|'|" postgresql.conf
בשירות AlloyDB ל-PostgreSQL, אפשר לשנות פרמטרים על ידי הגדרת הדגלים המתאימים לאשכול.
צריך לשנות את הפרמטרים של הדגלים הבאים של AlloyDB ל-PostgreSQL:
alloydb.enable_pglogical = onalloydb.logical_decoding = on
במאמר הגדרת דגלים לניהול מסד נתונים של מכונה מוסבר איך מגדירים דגלים לניהול מסד נתונים ב-AlloyDB ל-PostgreSQL.
בשאר הפרמטרים הנדרשים של מסד הנתונים של צומת הספק, צריך להגדיר את ערכי ברירת המחדל של AlloyDB ל-PostgreSQL באופן הבא:
-
max_worker_processes: אחד לכל מסד נתונים של ספק ולפחות אחד לכל צומת מנוי. הערך הסטנדרטי של הפרמטר הזה הוא לפחות 10. -
max_replication_slots: אחד לכל צומת בצמתים של הספק. -
max_wal_senders: אחד לכל צומת בצמתים של הספק. -
track_commit_timestamp: מוגדר לערךonאם נדרש פתרון קונפליקטים בעדכון האחרון או הראשון. -
listen_addresses: צריך לכלול את כתובת ה-IP של AlloyDB Omni או לציין אותה באמצעות בלוק CIDR שמכסה אותה.
אפשר לבדוק את הפרמטרים האלה באמצעות כל כלי לשאילתות, כמו psql.
שינוי הפרמטרים באשכול המנויים של AlloyDB Omni
גם ב-AlloyDB Omni subscriber נדרש להגדיר לפחות כמה פרמטרים של התוסף pglogical. צריך להוסיף את pglogical לפרמטר shared_preload_libraries בקובץ DATA_DIR/postgresql.conf. אם אחד ממסדי הנתונים באשכול פועל כמסד נתונים של ספק, צריך לבצע את השינויים בפרמטרים שנדרשים למסדי נתונים של ספקים.
מחליפים את DATA_DIR בנתיב של מערכת הקבצים לספריית הנתונים, לדוגמה, /home/$USER/alloydb-data.
משנים את הפרמטרים:
sudo sed -r -i "s|(shared_preload_libraries\s*=\s*)'(.*)'.*$|\1'\2,pglogical'|" DATA_DIR/postgresql.confמוודאים שהפרמטר מוגדר בצורה תקינה:
grep -iE 'shared_preload_libraries' DATA_DIR/postgresql.confמפעילים מחדש את AlloyDB Omni כדי שהשינוי בפרמטר ייכנס לתוקף:
Docker
docker container restart CONTAINER_NAMEמחליפים את
CONTAINER_NAMEבשם שהקציתם לקונטיינר AlloyDB Omni כשביצעתם את ההתקנה.Podman
podman container restart CONTAINER_NAMEמחליפים את
CONTAINER_NAMEבשם שהקציתם לקונטיינר AlloyDB Omni כשביצעתם את ההתקנה.מגדירים את ערכי ברירת המחדל של AlloyDB Omni לפרמטרים של מסד נתונים של ספק אחר:
-
max_worker_processes: אחד לכל מסד נתונים של ספק ואחד לכל צומת של מנוי. -
track_commit_timestamp: מוגדר כ-onאם נדרש פתרון של קונפליקט בעדכון האחרון או הראשון.
-
מוודאים שכל ערכי הפרמטרים מוגדרים בצורה נכונה:
Docker
docker exec CONTAINER_NAME psql -h localhost -U postgres -c " SELECT name, setting FROM pg_catalog.pg_settings WHERE name IN ('listen_addresses', 'wal_level', 'shared_preload_libraries', 'max_worker_processes', 'max_replication_slots', 'max_wal_senders', 'track_commit_timestamp') ORDER BY name;"Podman
podman exec CONTAINER_NAME psql -h localhost -U postgres -c " SELECT name, setting FROM pg_catalog.pg_settings WHERE name IN ('listen_addresses', 'wal_level', 'shared_preload_libraries', 'max_worker_processes', 'max_replication_slots', 'max_wal_senders', 'track_commit_timestamp') ORDER BY name;"
התאמות של אימות מבוסס-מארח לאשכול המנויים של AlloyDB Omni
pglogical יוצר חיבורי TCP מקומיים למסד הנתונים של המנוי ב-AlloyDB Omni. לכן צריך להוסיף את כתובת ה-IP של שרת המארח של המנוי לקובץ DATA_DIR/pg_hba.conf של AlloyDB Omni.
מוסיפים לקובץ
DATA_DIR/pg_hba.confרשומת אימות מהימנה לשרת המקומי, שספציפית למשתמשpglogical_replicationחדש:echo -e "# pglogical entries: host all pglogical_replication samehost trust " | column -t | sudo tee -a DATA_DIR/pg_hba.confמוודאים שהערך נכון:
tail -2 DATA_DIR/pg_hba.confמפעילים מחדש את AlloyDB Omni כדי שהשינוי באימות ייכנס לתוקף:
Docker
docker container restart CONTAINER_NAMEPodman
podman container restart CONTAINER_NAME
יצירת משתמש pglogical באשכולות של ספקים ומנויים
צריך ליצור משתמש חדש גם באשכול הספק וגם באשכול המנוי.
כדי להשתמש ב-pglogical, למשתמש צריכות להיות ההרשאות superuser ו-replication.
באשכול ספק AlloyDB ל-PostgreSQL, יוצרים את המשתמש ומעניקים לו את התפקיד
alloydbsuperuser:CREATE USER pglogical_replication LOGIN PASSWORD 'secret'; ALTER USER pglogical_replication WITH replication; GRANT alloydbsuperuser TO pglogical_replication;באשכול המנויים של AlloyDB Omni, יוצרים את המשתמש ומעניקים לו את המאפיינים
replicationו-superuser:CREATE USER pglogical_replication LOGIN PASSWORD 'secret'; ALTER USER pglogical_replication WITH replication; ALTER USER pglogical_replication WITH superuser;
הוספת pglogical וצמתים למסד הנתונים של ספק AlloyDB ל-PostgreSQL
נותנים את ההרשאות הנדרשות.
צריך להתקין את התוסף
pglogicalבכל מסד נתונים ולתת את ההרשאהusageלמשתמש של מסד הנתונים pglogical. ב-AlloyDB ל-PostgreSQL, צריך לתת הרשאות בסכימהpglogical.לדוגמה, אם מסד הנתונים שלכם הוא
my_test_db, מריצים את הפקודה הבאה מול מסד הנתונים של ספק AlloyDB ל-PostgreSQL:\c my_test_db; CREATE EXTENSION IF NOT EXISTS pglogical; GRANT usage ON SCHEMA pglogical TO pglogical_replication; -- For Google Cloud AlloyDB we also need to manually grant privileges: GRANT ALL PRIVILEGES ON ALL tables IN SCHEMA pglogical TO pglogical_replication;יוצרים צומת
pglogicalלמסדי הנתונים של הספק. הערךnode_nameהוא שרירותי, והמחרוזתdsnצריכה להיות חיבור TCP תקין לאותו מסד נתונים. ב-AlloyDB ל-PostgreSQL, החלק של המארח ב-dsnהוא כתובת ה-IP שסופקה למכונה הראשית.ב-AlloyDB ל-PostgreSQL, אי אפשר להשתמש באימות מהימן, וצריך לכלול את ארגומנט הסיסמה ב-
dsn. פרמטר.לדוגמה, כדי להגדיר את מסד הנתונים
my_test_db, מריצים את הפקודה הבאה:SELECT pglogical.create_node(node_name := 'provider', dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');
יצירת טבלה והוספה שלה לקבוצת השכפול שמוגדרת כברירת מחדל
יוצרים טבלה ומוסיפים אותה לקבוצת השכפול שמוגדרת כברירת מחדל במסד הנתונים של ספק AlloyDB ל-PostgreSQL.
יוצרים טבלת בדיקה בשם
test_table_1במסד הנתונים של הספק:CREATE TABLE test_table_1 (col1 INT PRIMARY KEY); INSERT INTO test_table_1 VALUES (1),(2),(3);נותנים הרשאת
SELECTלטבלאות הספציפיות או מריצים את הפקודהGRANT SELECT ON ALL TABLES. לכל הטבלאות שרוצים לכלול בקבוצת השכפול צריך להעניק הרשאת שאילתה למשתמש השכפול,pglogical_replication.GRANT SELECT ON ALL TABLES IN SCHEMA public TO pglogical_replication;מוסיפים באופן ידני את טבלת הבדיקה לקבוצת הרפליקציה שמוגדרת כברירת מחדל. אפשר ליצור קבוצות רפליקציה בהתאמה אישית של pglogical, או להשתמש בקבוצות הרפליקציה שמוגדרות כברירת מחדל. כשיוצרים את התוסף, נוצרות כמה קבוצות רפליקציה שמוגדרות כברירת מחדל, כמו
default,default_insert_onlyו-ddl_sql. אפשר להוסיף טבלאות ורצפים לקבוצות הרפליקציה בנפרד, או את כולם בבת אחת לסכימה מסוימת.-- Add the specified table to the default replication set: SELECT pglogical.replication_set_add_table(set_name := 'default', relation := 'test_table_1', synchronize_data := TRUE); -- Check which tables have been added to all replication sets: SELECT * FROM pglogical.replication_set_table;(אופציונלי) מוסיפים את כל הטבלאות בסכימה מסוימת, כמו
public:-- Add all "public" schema tables to the default replication set: SELECT pglogical.replication_set_add_all_tables('default', ARRAY['public']); -- Check which tables have been added to all replication sets: SELECT * FROM pglogical.replication_set_table; -- Add all "public" schema sequences to the default replication: SELECT pglogical.replication_set_add_all_sequences('default', ARRAY['public']); -- Check which sequences have been added to all replication sets: SELECT * FROM pglogical.replication_set_seq;מסירים את הטבלה מקבוצת הרפליקציה
default. אם יש בסכימה טבלאות ללא מפתח ראשי, אפשר להגדיר שכפול של INSERT בלבד או להגדיר את העמודות שמזהות באופן ייחודי את השורה באמצעות התכונהREPLICA IDENTITYבשילוב עם הפקודהALTER TABLE. אם הוספתם את הטבלאות האלה לסט השכפולdefaultבאופן אוטומטי באמצעות הפונקציהreplication_set_add_all_tables, אתם צריכים להסיר אותן באופן ידני מסט השכפול הזה ולהוסיף אותן לסטdefault_insert_only.-- Remove the table from the **default** replication set: SELECT pglogical.replication_set_remove_table(set_name := 'default', relation := 'test_table_2');-- Manually add to the **default_insert_only** replication set: SELECT pglogical.replication_set_add_table(set_name := 'default_insert_only', relation := 'test_table_2');אם רוצים להוסיף באופן אוטומטי את הטבלאות החדשות שנוצרו לקבוצת הרפליקציה, מוסיפים את הטריגר
pglogical_assign_repsetכמו שמוצע במקורpglogical.
העתקת מסד הנתונים לאשכול המנויים של AlloyDB Omni
יוצרים גיבוי של הסכימה בלבד של מסד הנתונים של המקור באמצעות הכלי
pg_dump.מריצים את הפקודה
pg_dumpמשרת המנוי של AlloyDB Omni באמצעות כתובת ה-IP של המכונה הראשית של AlloyDB ל-PostgreSQL.pg_dump -h SERVER_IP_ADDRESS -U postgres --create --schema-only my_test_db > my_test_db.schema-only.sqlמייבאים את הגיבוי למסד הנתונים של המנוי בשרת AlloyDB Omni של המנוי:
Docker
docker exec -i CONTAINER_NAME psql -h localhost -U postgres < my_test_db.schema-only.sqlPodman
podman exec -i CONTAINER_NAME psql -h localhost -U postgres < my_test_db.schema-only.sql
התעלמות משגיאות כמו alloydbsuperuser not existing. התפקיד הזה ספציפי ל-AlloyDB ל-PostgreSQL.
הפעולה הזו יוצרת את מסד הנתונים ואת הסכימה, בלי נתוני השורות. נתוני השורה
משוכפלים על ידי התוסף pglogical. מעתיקים או יוצרים מחדש באופן ידני את כל המשתמשים או התפקידים האחרים שנדרשים.
יצירת צומת ומינוי במסד הנתונים של המנוי ב-AlloyDB Omni
יוצרים צומת במסד הנתונים של המנויים ב-AlloyDB Omni:
Docker
docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c " SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');"Podman
podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c " SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');"יוצרים מינוי במסד הנתונים של המנוי, שמפנה חזרה למכונה הראשית של מסד הנתונים של הספק ב-AlloyDB ל-PostgreSQL.
Docker
docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c " SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');"Podman
podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c " SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');"בהתאם לגודל הטבלה ולנתונים שצריך לשכפל, זמן השכפול יכול להשתנות משניות לדקות. לאחר מכן, הנתונים הראשוניים אמורים להשתכפל מהספק למנוי:
Docker
docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c " SELECT * FROM test_table_1 ORDER BY 1;"Podman
podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c " SELECT * FROM test_table_1 ORDER BY 1;"גם שורות נוספות שמתווספות למסד הנתונים של הספק משוכפלות תוך כמה שניות.
שיקולים נוספים לגבי פריסה של pglogical
לתוסף pglogical יש הרבה תכונות מתקדמות שלא נכללות במסמך הזה.
רבות מהתכונות האלה רלוונטיות להטמעה שלכם. אפשר להשתמש בתכונות המתקדמות הבאות:
- פתרון התנגשויות
- רפליקציה דו-כיוונית עם כמה מאסטרים
- הכללה של רצפים
- הליכי מעבר ויתירות כשל