אפשר להעביר מערך נתונים של יעד Datastream לאזור אחר ב-BigQuery או למספר אזורים ב-BigQuery באמצעות שכפול של מערכי נתונים באזורים שונים. תהליך העבודה הזה מעדכן את המיקום של מערך נתונים פעיל של לכידת נתוני שינוי (CDC), תוך מזעור זמן ההשבתה של הזרם ומניעת מילוי היסטורי מלא ממסד הנתונים של המקור.
במהלך ההעברה, יכול להיות ששאילתות לאזור המשני יחזירו תוצאות חלקיות או לא מדויקות. מידע נוסף על מגבלות ההעברה זמין במאמר שכפול של מערכי נתונים באזורים שונים.
לפני שמתחילים
לפני שמתחילים להעביר את הנתונים לאזור אחר, כדאי לקחת בחשבון את הנקודות הבאות:
- ההעברה לוקחת זמן, וצריך להשהות זמנית את הסטרימינג במהלך הפעולה. כדי לשמור על תקינות הנתונים, מסד הנתונים של המקור צריך לשמור את יומני השינויים כשהסטרימינג מושהה. כדי להעריך כמה זמן צריך להשהות את הסטרימינג, משלבים את הערך של
max_stalenessבמערך הנתונים עם פעולת המיזוג הארוכה ביותר:- כדי לדעת כמה זמן יכול לקחת לפעולות המיזוג להסתיים, קראו את המאמר ערך מומלץ לטבלה
max_staleness. - כדי למצוא את הערך המקסימלי של
max_stalenessבמערך הנתונים, אפשר לעיין במאמר בנושא קביעת הערך הנוכחי שלmax_stalenessבטבלה ולהתאים את השאילתה לצרכים הספציפיים שלכם. - אם ההשהיה המשוערת ארוכה מדי למסד הנתונים של המקור, כדאי לשקול להפחית באופן זמני את הערך של
max_stalenessבטבלאות שבמערך הנתונים.
- כדי לדעת כמה זמן יכול לקחת לפעולות המיזוג להסתיים, קראו את המאמר ערך מומלץ לטבלה
- מוודאים שלמשתמש שמבצע את ההעברה יש מספיק משאבים ב-BigQuery באזור היעד (הקצאת שאילתות והקצאת רקע). מידע נוסף על הזמנות זמין במאמר הקצאות של הזמנות.
- מוודאים שלמשתמש שמבצע את ההעברה יש מספיק הרשאות כדי לבצע את הפעולה הזו, כמו אמצעי בקרה של ניהול זהויות והרשאות גישה (IAM) או VPC Service Controls.
שלבי ההעברה
כדי להתחיל העברה של מערך נתונים, משתמשים בשכפול נתונים ב-BigQuery:
נכנסים לדף BigQuery Studio במסוף Google Cloud .
יוצרים רפליקה של מערך הנתונים ב-BigQuery באזור החדש:
ALTER SCHEMA DATASET_NAME ADD REPLICA 'NEW_REGION' OPTIONS(location='NEW_REGION');מחליפים את מה שכתוב בשדות הבאים:
- DATASET_NAME: השם של קבוצת הנתונים שרוצים ליצור.
- NEW_REGION: שם האזור שבו רוצים ליצור את מערך הנתונים. לדוגמה,
region-us.
עוקבים אחרי התקדמות ההעברה ומחכים עד שסימן המים של ההעתקה ברפליקה יהיה בטווח של כמה דקות מהמקור. כדי לבדוק את התקדמות ההעברה, אתם יכולים להריץ את השאילתה הזו ב-INFORMATION_SCHEMA של BigQuery:
SELECT catalog_name as project_id, schema_name as dataset_name, replication_time as dataset_replica_staleness FROM 'NEW_REGION'.INFORMATION_SCHEMA.SCHEMATA_REPLICAS WHERE catalog_name = PROJECT_ID AND schema_name = DATASET_NAME AND location = NEW_REGION;מחליפים את מה שכתוב בשדות הבאים:
- PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
- DATASET_NAME: שם מערך הנתונים.
- DATASET_REPLICA_STALENESS: הגדרת העדכניות של הטבלאות ברפליקה של קבוצת הנתונים שיצרתם.
- NEW_REGION: האזור שבו יצרתם את מערך הנתונים.
משהים את ה-stream הקיים ב-Datastream. מידע נוסף מופיע במאמר בנושא השהיית הסטרימינג.
מחכים שהסטרימינג יסתיים ורושמים את השעה שבה הסטרימינג עבר למצב
PAUSED.כדי לוודא שהשינויים האחרונים ב-CDC הוחלו על טבלת BigQuery, בודקים את
upsert_stream_apply_watermarkשל הטבלה. מריצים את השאילתה הבאה ומוודאים שחותמת הזמן של סימן המים היא 10 דקות אחרי שהסטרימינג הושהה:SELECT table_name, upsert_stream_apply_watermark FROM DATASET_NAME.INFORMATION_SCHEMA.TABLESכדי להריץ את השאילתה רק עבור טבלה ספציפית, מוסיפים את סעיף
WHEREהבא:WHERE table_name = 'TABLE_NAME'מחליפים את מה שכתוב בשדות הבאים:
- DATASET_NAME: שם מערך הנתונים.
- TABLE_NAME: אופציונלי. הטבלה שבה רוצים לבדוק את
upsert_stream_apply_watermark.
משתמשים בשאילתה משלב 3 כדי לוודא שסימן המים של העותק באזור החדש מאוחר יותר מהערך של
upsert_stream_apply_watermarkשתועד בשלב 6.אופציונלי: משווים באופן ידני כמה טבלאות במערך הנתונים הראשי באזור המקורי עם הרפליקה באזור החדש, כדי לוודא שכל הנתונים הועתקו בצורה נכונה.
כדי להעלות בדרגה את הרפליקה של קבוצת הנתונים ב-BigQuery, מריצים את הפקודה הבאה ב-BigQuery Studio:
ALTER SCHEMA DATASET_NAME SET OPTIONS(primary_replica = 'NEW_REGION');מחליפים את מה שכתוב בשדות הבאים:
- DATASET_NAME: שם מערך הנתונים.
- NEW_REGION: האזור שבו יצרתם את מערך הנתונים.
לחלופין, אם אינכם זקוקים עוד למערך הנתונים המקורי (כעת הוא רפליקה), ואינכם רוצים לשאת בחיובים נוספים, היכנסו ל-BigQuery Studio ומחקו את מערך הנתונים המקורי של BigQuery:
ALTER SCHEMA DATASET_NAME DROP REPLICA IF EXISTS ORIGINAL_REGION;מחליפים את מה שכתוב בשדות הבאים:
- DATASET_NAME: השם של מערך הנתונים המקורי.
- ORIGINAL_REGION: האזור של מערך הנתונים המקורי.
יוצרים שידור חדש עם אותה הגדרה בדיוק, אבל עם מיקום יעד חדש ב-BigQuery.
מתחילים את השידור החדש.
כדי למנוע שכפול של אירועים כפולים, מתחילים את הסטרימינג ממיקום ספציפי:
- במקורות MySQL ו-Oracle: אפשר לזהות את מיקום היומן על ידי בדיקת היומנים של ה-stream המקורי ומציאת המיקום האחרון שממנו ה-stream קרא בהצלחה. במאמר ניהול סטרימינג מוסבר איך להתחיל את הסטרימינג ממיקום ספציפי.
- במקורות PostgreSQL: הסטרימינג החדש מתחיל לקרוא שינויים מהמספר הסידורי הראשון (LSN) במשבצת הרפליקציה. יכול להיות שה-stream המקורי כבר עיבד חלק מהשינויים האלה, לכן צריך לשנות ידנית את המצביע של משבצת הרפליקציה ל-LSN האחרון ש-Datastream קרא ממנו. אפשר למצוא את ה-LSN הזה ביומני הצרכנים של Datastream.
אם רוצים, מוחקים את מקור הנתונים המקורי.