הגדרת מסד נתונים של Amazon Aurora MySQL ל-CDC

אפשר להזרים עדכונים של נתוני שינוי (CDC) מאשכול Amazon Aurora MySQL אל יעדים כמו BigQuery או Cloud Storage באמצעות Datastream. לפני שיוצרים מקור נתונים, צריך להגדיר קבוצת פרמטרים של אשכול, להגדיר את תקופת השמירה של היומן הבינארי ולהעניק הרשאות שכפול למשתמש במסד הנתונים של Datastream.

לפני שמתחילים, ודאו שיש לכם אשכול קיים של Amazon Aurora ושאתם מחוברים לנקודת הקצה של הכותב בשרת מסד הנתונים הראשי.

יצירת קבוצת פרמטרים

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית ההזזה לניווט, לוחצים על קבוצות פרמטרים.

3. לוחצים על יצירת קבוצת פרמטרים. מופיע הדף Create Parameter Group.

4. משתמשים בטבלה הבאה כדי למלא את השדות בדף הזה:

   שדה	תיאור
   קבוצת פרמטרים משפחתית	בוחרים את הקבוצה המשפחתית שתואמת למסד הנתונים שלכם.
   סוג	בוחרים באפשרות DB Cluster Parameter Group.
   שם הקבוצה	נותנים שם לקבוצת הפרמטרים.
   תיאור	צריך להוסיף תיאור לקבוצת הפרמטרים.

5. לוחצים על יצירה.

6. מסמנים את התיבה שמימין לקבוצת הפרמטרים החדשה שיצרתם.

7. בקטע פעולות בקבוצת פרמטרים, לוחצים על עריכה.

8. מגדירים את ערכי הפרמטרים הבאים:

   • לרפליקציה מבוססת-GTID:

     פרמטר	ערך
     binlog_format	ROW
     log_bin_use_v1_row_events	1
     read_only	0
     net_read_timeout	3600
     net_write_timeout	3600
     wait_timeout	86400
     expire-logs-days	7
     binlog_row_image	FULL
     max_allowed_packet	1G (הערך המומלץ)
     log-replica-updates	1
     enforce-gtid-consistency	ON
     gtid_mode	ON אפשר להגדיר את הפרמטר הזה לערך ON רק אחרי שמגדירים את enforce-gtid-consistency לערך ON. באופן כללי, gtid_mode יכול לקבל את הערכים הבאים: OFF OFF_PERMISSIVE ON_PERMISSIVE ON אפשר לשנות את הערכים של הפרמטר gtid_mode רק שלב אחד בכל פעם. לדוגמה, אם המצב הנוכחי מוגדר ל-OFF, מבצעים את הפעולות הבאות: משנים את ההגדרה ל-OFF_PERMISSIVE. משנים את ההגדרה ל-ON_PERMISSIVE. משנים את ההגדרה ל-ON. מידע נוסף זמין במאמרי העזרה של MySQL.

   • לרפליקציה מבוססת-binlog:

     פרמטר	ערך
     binlog_format	ROW

9. לוחצים על שמירת השינויים.

הקצאת קבוצת הפרמטרים למופע של מסד הנתונים

1. מפעילים את מרכז השליטה של Amazon RDS.

2. בחלונית הזזה לניווט, לוחצים על מסדי נתונים ואז בוחרים את מופע מסד הנתונים.

3. בתפריט פעולות על המופע, בוחרים באפשרות שינוי. מופיעה תיבת הדו-שיח Modify DB Instance.

4. בקטע Additional configuration, בוחרים את קבוצת הפרמטרים של אשכול מסד הנתונים שיצרתם.

5. מגדירים את Backup retention period ל-7 days.

6. לוחצים על Continue.

7. בחלונית Scheduling of Modifications, בוחרים באפשרות Apply immediately.

הגדרת תקופת השמירה של היומן הבינארי

1. מזינים את הפקודה הבאה ב-MySQL:

   call mysql.rds_set_configuration('binlog retention hours', 168);

   מזינים את הפקודה הזו כדי לוודא שהשכפול מתבצע בצורה תקינה, על ידי הגדרת המערכת לשמירת יומנים בינאריים למשך 7 ימים (או 168 שעות) לפחות.

2. מפעילים מחדש את שרת MySQL כדי שהשינויים ייכנסו לתוקף.

יצירת משתמש ב-Datastream

1. יוצרים משתמש Datastream:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';

2. נותנים להם את ההרשאות הבאות:

   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   GRANT EXECUTE ON PROCEDURE mysql.rds_show_configuration TO 'datastream'@'%';
   FLUSH PRIVILEGES;

המאמרים הבאים

• איך Datastream עובד עם מקורות MySQL