הגדרת מסד נתונים של Amazon Aurora PostgreSQL

כדי להעביר עדכונים בסטרימינג של סימון נתונים שהשתנו (CDC) ממסד נתונים של Amazon Aurora PostgreSQL ל-BigQuery, ל-Cloud Storage או ליעד נתמך אחר, צריך לבצע רפליקציה לוגית באשכול המקור. כדי להכין את מסד הנתונים ל-Datastream, צריך להגדיר קבוצת פרמטרים של אשכול, ליצור פרסום ומשבצת רפליקציה ולהגדיר משתמש Datastream.

לפני שמתחילים, ודאו שיש לכם אשכול קיים של Amazon Aurora ושאתם מחוברים לנקודת הקצה של הכותב בשרת מסד הנתונים הראשי.

יצירת קבוצת פרמטרים

1. מפעילים את מרכז השליטה של Amazon RDS.
2. בחלונית הזזה לניווט, לוחצים על קבוצות פרמטרים ואז על יצירת קבוצת פרמטרים. מופיע הדף Create Parameter Group.
3. ממלאים את השדות בדף לפי הטבלה הבאה ולוחצים על Create:

   שדה	תיאור
   משפחת קבוצות הפרמטרים	בוחרים את המשפחה שמתאימה למסד הנתונים.
   סוג	בוחרים באפשרות DB Cluster Parameter Group.
   שם הקבוצה	נותנים שם לקבוצת הפרמטרים.
   תיאור	מוסיפים תיאור לקבוצת הפרמטרים.

4. מסמנים את תיבת הסימון שמימין לקבוצת הפרמטרים החדשה שיצרתם, ואז בקטע פעולות בקבוצת פרמטרים לוחצים על עריכה.
5. משנים את הערך של הפרמטר rds.logical_replication ל-1.
6. לוחצים על שמירת השינויים.

הקצאת קבוצת הפרמטרים למופע של מסד הנתונים

1. מפעילים את מרכז הבקרה של Amazon RDS.
2. בחלונית ההזזה לניווט, לוחצים על Databases ובוחרים את המכונה של מסד הנתונים.
3. בתפריט פעולות על המופע, בוחרים באפשרות שינוי. מופיעה תיבת הדו-שיח Modify DB Instance.
4. בקטע Additional configuration (הגדרה נוספת), בוחרים את קבוצת הפרמטרים של אשכול מסד הנתונים שיצרתם.
5. מגדירים את תקופת השמירה של הגיבוי ל-7 ימים.
6. לוחצים על Continue.
7. בחלונית Scheduling of modifications, בוחרים באפשרות Apply immediately.

הפעלה מחדש של מופע מסד הנתונים

1. מפעילים את מרכז השליטה של Amazon RDS.
2. בחלונית ההזזה לניווט, לוחצים על Databases ובוחרים את המכונה של מסד הנתונים.
3. בתפריט הנפתח פעולות, בוחרים באפשרות הפעלה מחדש ואז באפשרות אישור.

יצירה של פרסום ושל משבצת שכפול

1. יוצרים פרסום לשינויים בטבלאות שרוצים לשכפל. מומלץ ליצור פרסום רק לטבלאות שרוצים לשכפל. כך Datastream יוכל לקרוא רק את הנתונים הרלוונטיים, והעומס על מסד הנתונים ועל Datastream יפחת:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PUBLICATION_NAME: שם אתר החדשות. תצטרכו לספק את השם הזה כשתיצרו מקור נתונים באשף ליצירת מקור נתונים של Datastream.
   • ‫SCHEMA: השם של הסכימה שמכילה את הטבלה.
   • ‫TABLE: שם הטבלה שרוצים לשכפל.

   אפשר גם ליצור פרסום לכל הטבלאות במסד הנתונים. הערה: הגישה הזו מגדילה את העומס גם על מסד הנתונים של המקור וגם על Datastream:

   CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
   

   ב-PostgreSQL מגרסה 15 ואילך, אפשר ליצור פרסום לכל הטבלאות בסכימה. הגישה הזו מאפשרת לשכפל שינויים בטבלאות ברשימת הסכימות שצוינה, כולל טבלאות שתיצרו בעתיד:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLES IN SCHEMA SCHEMA1, SCHEMA2;

2. יוצרים משבצת רפליקציה באמצעות הפקודה הבאה ב-PostgreSQL:

   SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫REPLICATION_SLOT_NAME: השם של מיקום הרפליקציה. תצטרכו לספק את השם הזה כשתיצרו מקור נתונים באשף ליצירת מקור נתונים של Datastream.

יצירת משתמש ב-Datastream

1. כדי ליצור משתמש ב-Datastream, מזינים את הפקודה הבאה ב-PostgreSQL:

   CREATE USER USER_NAME WITH ENCRYPTED PASSWORD 'USER_PASSWORD';

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫USER_NAME: השם של משתמש Datastream שרוצים ליצור.
   • ‫USER_PASSWORD: הסיסמה למשתמש Datastream שרוצים ליצור.

2. נותנים למשתמש שיצרתם את ההרשאות הבאות:

   GRANT RDS_REPLICATION TO USER_NAME;
   GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
   ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
     GRANT SELECT ON TABLES TO USER_NAME;
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫SCHEMA_NAME: שם הסכימה שרוצים לתת לה את ההרשאות.
   • ‫USER_NAME: המשתמש שרוצים להעניק לו את ההרשאות.

המאמרים הבאים

• איך Datastream עובד עם מקורות PostgreSQL