הגדרת מסד נתונים של Amazon RDS PostgreSQL ל-CDC

בדף הזה נסביר איך להגדיר לכידת נתונים משתנים (CDC) כדי להזרים נתונים ממסד נתונים של Amazon RDS for PostgreSQL אל יעד נתמך, כמו BigQuery או Cloud Storage.

יצירת קבוצת פרמטרים

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית הניווט, לוחצים על קבוצות פרמטרים ואז על יצירת קבוצת פרמטרים. יופיע הדף Create Parameter Group.

3. בוחרים את משפחת מסדי הנתונים שתואמת למסד הנתונים שלכם, מציינים שם ותיאור לקבוצת הפרמטרים ולוחצים על יצירה.

4. מסמנים את התיבה שמשמאל לקבוצת הפרמטרים החדשה שיצרתם, ואז בקטע פעולות בקבוצת פרמטרים לוחצים על עריכה.

5. מגדירים את הפרמטר הבא לקבוצה.

   פרמטר	ערך
   rds.logical_replication	1

6. לוחצים על שמירת השינויים.

   ב-PostgreSQL 13 ואילך, מומלץ להגדיר גם את הפרמטר max_slot_wal_keep_size בקובץ postgresql.conf כדי להגביל את נפח האחסון שמשבצות השכפול תופסות. מידע נוסף זמין במאמר איך עובדים עם קובצי יומן WAL של מסד נתונים ב-PostgreSQL.

הגדרת מסד הנתונים של המקור

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית הניווט, לוחצים על Databases (מסדי נתונים).

3. בוחרים את המקור ולוחצים על שינוי.

4. עוברים לקטע הגדרה נוספת.

5. בוחרים את קבוצת הפרמטרים שיצרתם.

6. לוחצים על Continue.

7. בקטע תזמון השינויים, בוחרים באפשרות החלת השינויים באופן מיידי.

   מכיוון ששיניתם את המקור, צריך להמתין עד שהשינויים בקבוצת הפרמטרים יחולו לפני שממשיכים.

אימות הקצאה של קבוצת פרמטרים למופע של מסד נתונים

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. במגירת הניווט, לוחצים על מסדי נתונים ואז בוחרים את מופע מסד הנתונים.

3. לוחצים על הכרטיסייה Configurations.

4. מוודאים שקבוצת הפרמטרים שיצרתם מופיעה, ושהסטטוס שלה הוא pending-reboot.

5. מפעילים מחדש את מופע מסד הנתונים כדי להשלים את ההגדרה. כדי להפעיל מחדש את המכונה:

   1. ב-Navigation Drawer, לוחצים על Instances.
   2. בוחרים את מופע מסד הנתונים.
   3. בתפריט פעולות של מופע, בוחרים באפשרות הפעלה מחדש.
   אחרי שמפעילים מחדש את מופע מסד הנתונים, הסטטוס שלו משתנה לin-sync.

יצירה של אתר חדשות ושל משבצת שכפול

1. יוצרים אתר חדשות. מומלץ ליצור פרסום רק עבור הטבלאות שרוצים לשכפל. כך Datastream יכול לקרוא רק את הנתונים הרלוונטיים, והעומס על מסד הנתונים ועל Datastream יורד:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PUBLICATION_NAME: שם הפרסום. תצטרכו לספק את השם הזה כשתיצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.
   • ‫SCHEMA: השם של הסכימה שמכילה את הטבלה.
   • ‫TABLE: השם של הטבלה שרוצים לשכפל.

   אפשר גם ליצור פרסום לכל הטבלאות במסד הנתונים. שימו לב: הגישה הזו מגדילה את העומס גם על מסד הנתונים של המקור וגם על Datastream:

   CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
   

   ב-PostgreSQL 15 ואילך, אפשר ליצור פרסום לכל הטבלאות בסכימה. הגישה הזו מאפשרת לשכפל שינויים בטבלאות ברשימת הסכימות שצוינה, כולל טבלאות שתיצרו בעתיד:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLES IN SCHEMA SCHEMA1, SCHEMA2;

2. יוצרים משבצת שכפול באמצעות הפקודה הבאה של PostgreSQL:

   SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput'); 

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫REPLICATION_SLOT_NAME: השם של משבצת השכפול. תצטרכו לספק את השם הזה כשתיצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.
   משבצת השכפול חייבת להיות ייחודית לכל מקור נתונים שמשוכפל מהמסד הזה.

יצירת משתמש Datastream

1. כדי ליצור משתמש Datastream, מזינים את פקודת PostgreSQL הבאה:

   CREATE USER USER_NAME WITH ENCRYPTED PASSWORD 'USER_PASSWORD';
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫USER_NAME: השם של המשתמש ב-Datastream שרוצים ליצור.
   • ‫USER_PASSWORD: סיסמת הכניסה של משתמש Datastream שרוצים ליצור.

2. מעניקים למשתמש שיצרתם את ההרשאות הבאות:

   GRANT RDS_REPLICATION TO USER_NAME;
   GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
   ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
     GRANT SELECT ON TABLES TO USER_NAME;
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫USER_NAME: המשתמש שרוצים להעניק לו את ההרשאות.
   • ‫SCHEMA_NAME: השם של הסכימה שרוצים לתת לה את ההרשאות.

המאמרים הבאים

• איך Datastream עובד עם מקורות PostgreSQL