הגדרת מסד נתונים של Amazon RDS MySQL ל-CDC

בדף הזה מוסבר איך להגדיר לכידת נתונים של שינויים (CDC) כדי להזרים נתונים ממסד נתונים של Amazon RDS for MySQL אל יעד נתמך, כמו BigQuery או Cloud Storage.

יצירת קבוצת פרמטרים

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית הניווט הנפתחת, לוחצים על קבוצות פרמטרים.

3. לוחצים על יצירת קבוצת פרמטרים. יופיע הדף Create Parameter Group.

4. בוחרים את משפחת מסדי הנתונים שתואמת למסד הנתונים שלכם, ומזינים שם ותיאור לקבוצת הפרמטרים.

5. לוחצים על יצירה.

6. מסמנים את התיבה שמשמאל לקבוצת הפרמטרים החדשה שיצרתם.

7. בקטע פעולות של קבוצת פרמטרים, לוחצים על עריכה.

8. משתמשים בטבלה הבאה כדי להגדיר את הפרמטרים של הקבוצה.

   • לרפליקציה מבוססת binlog:

     פרמטר	ערך
     binlog_format	ROW
     log_bin_use_v1_row_events	1
     read_only	0
     net_read_timeout	3600
     net_write_timeout	3600
     wait_timeout	86400

   • לרפליקציה מבוססת GTID:

     פרמטר	ערך
     binlog_format	ROW
     log_bin_use_v1_row_events	1
     read_only	0
     net_read_timeout	3600
     net_write_timeout	3600
     wait_timeout	86400
     expire-logs-days	7
     binlog_row_image	FULL
     max_allowed_packet	1G (ערך מומלץ)
     log-replica-updates	1
     enforce-gtid-consistency	ON
     gtid_mode	ON אפשר להגדיר את הפרמטר הזה לערך ON רק אחרי שמגדירים את הפרמטר enforce-gtid-consistency לערך ON. באופן כללי, gtid_mode יכול לקבל את הערכים הבאים: OFF OFF_PERMISSIVE ON_PERMISSIVE ON אפשר לשנות את הערכים של הפרמטר gtid_mode רק בשלב אחד בכל פעם. לדוגמה, אם המצב הנוכחי מוגדר ל-OFF, צריך לבצע את הפעולות הבאות: משנים את ההגדרה ל-OFF_PERMISSIVE. משנים את ההגדרה ל-ON_PERMISSIVE. משנים את ההגדרה ל-ON. מידע נוסף זמין במאמרי העזרה בנושא MySQL.

9. לוחצים על שמירת השינויים.

יצירת עותק לקריאה

זהו שלב אופציונלי, אבל מומלץ מאוד להשתמש ברפליקה לקריאה כי הוא מפחית באופן משמעותי את עומס הרפליקציה במסד הנתונים של MySQL.

אם בוחרים לשכפל ישירות מהשרת הראשי, ממשיכים להוראות שבקטע הגדרת מסד הנתונים של המקור והעותק לקריאה.

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית הניווט, לוחצים על Databases (מסדי נתונים).

3. בוחרים את מופע מסד הנתונים הראשי שאליו רוצים ש-Datastream יתחבר.

4. מרחיבים את הלחצן Actions (פעולות) ולוחצים על Create read replica (יצירת רפליקה לקריאה).

5. מגדירים את העותק לקריאה לפי הצורך.

6. לוחצים על יצירת עותק לקריאה.

הגדרת מסד הנתונים של המקור והעותק לקריאה

אם בחרתם לשכפל ישירות מהשרת הראשי, צריך להגדיר את מסד הנתונים של המקור באמצעות השלבים הבאים.

אם בחרתם להשתמש בעותק לקריאה, אתם צריכים להגדיר גם את מסד הנתונים המקורי וגם את העותק לקריאה באמצעות השלבים הבאים.

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית הניווט, לוחצים על Databases (מסדי נתונים).

3. בוחרים את המופע שרוצים להגדיר ולוחצים על שינוי.

4. עוברים לקטע הגדרה נוספת.

5. בוחרים את קבוצת הפרמטרים שיצרתם.

6. מגדירים את תקופת השמירה של הגיבוי ל-7 ימים.

7. לוחצים על Continue.

8. בקטע תזמון השינויים, בוחרים באפשרות החלת השינויים באופן מיידי.

   צריך להמתין עד שהשינויים בקבוצת הפרמטרים יחולו לפני שממשיכים.

אימות הקצאה של קבוצת פרמטרים למופע של מסד נתונים

1. מפעילים את מרכז הבקרה של Amazon RDS.

2. בחלונית הניווט, לוחצים על מסדי נתונים ובוחרים את מופע מסד הנתונים.

3. לוחצים על הכרטיסייה Configurations.

4. מוודאים שקבוצת הפרמטרים שיצרתם מופיעה, ושהסטטוס שלה הוא pending-reboot.

5. מפעילים מחדש את מופע מסד הנתונים כדי להשלים את ההגדרה. כדי להפעיל מחדש את המופע:

   1. ב-Navigation Drawer, לוחצים על Instances.
   2. בוחרים את מופע מסד הנתונים.
   3. בתפריט פעולות של מופע, בוחרים באפשרות הפעלה מחדש.
   אחרי שמפעילים מחדש את מופע מסד הנתונים, הסטטוס שלו משתנה ל-**in-sync** (בסנכרון).

הגדרת תקופת השמירה של יומן בינארי

1. מזינים את פקודת MySQL הבאה:

   call mysql.rds_set_configuration('binlog retention hours', 168);

   אתם מזינים את הפקודה הזו כי אתם רוצים לוודא שהשכפול יתבצע בצורה תקינה. לשם כך, אתם מגדירים את המערכת לשמירת יומני בינארי למשך 7 ימים לפחות (או 168 שעות).

2. מפעילים מחדש את שרת MySQL כדי שהשינויים שביצעתם ייכנסו לתוקף.

יצירת משתמש Datastream

1. יוצרים משתמש Datastream:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';

2. מעניקים להם את ההרשאות הבאות:

   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   GRANT EXECUTE ON PROCEDURE mysql.rds_show_configuration TO 'datastream'@'%';
   FLUSH PRIVILEGES;

המאמרים הבאים

• מידע נוסף על האופן שבו Datastream עובד עם מקורות MySQL