העברת טבלת CDC לאזור אחר

אפשר להעביר מערך נתונים של יעד Datastream לאזור אחר ב-BigQuery או למספר אזורים ב-BigQuery באמצעות שכפול של מערכי נתונים באזורים שונים. תהליך העבודה הזה מעדכן את המיקום של מערך נתונים פעיל של לכידת נתוני שינוי (CDC), תוך מזעור זמן ההשבתה של הזרם ומניעת מילוי היסטורי מלא ממסד הנתונים של המקור.

במהלך ההעברה, יכול להיות ששאילתות לאזור המשני יחזירו תוצאות חלקיות או לא מדויקות. מידע נוסף על מגבלות ההעברה זמין במאמר שכפול של מערכי נתונים באזורים שונים.

לפני שמתחילים

לפני שמתחילים להעביר את הנתונים לאזור אחר, כדאי לקחת בחשבון את הנקודות הבאות:

  • ההעברה לוקחת זמן, וצריך להשהות זמנית את הסטרימינג במהלך הפעולה. כדי לשמור על תקינות הנתונים, מסד הנתונים של המקור צריך לשמור את יומני השינויים כשהסטרימינג מושהה. כדי להעריך כמה זמן צריך להשהות את הסטרימינג, משלבים את הערך של max_staleness במערך הנתונים עם פעולת המיזוג הארוכה ביותר:
    • כדי לדעת כמה זמן יכול לקחת לפעולות המיזוג להסתיים, קראו את המאמר ערך מומלץ לטבלה max_staleness.
    • כדי למצוא את הערך המקסימלי של max_staleness במערך הנתונים, אפשר לעיין במאמר בנושא קביעת הערך הנוכחי של max_staleness בטבלה ולהתאים את השאילתה לצרכים הספציפיים שלכם.
    • אם ההשהיה המשוערת ארוכה מדי למסד הנתונים של המקור, כדאי לשקול להפחית באופן זמני את הערך של max_staleness בטבלאות שבמערך הנתונים.
  • מוודאים שלמשתמש שמבצע את ההעברה יש מספיק משאבים ב-BigQuery באזור היעד (הקצאת שאילתות והקצאת רקע). מידע נוסף על הזמנות זמין במאמר הקצאות של הזמנות.
  • מוודאים שלמשתמש שמבצע את ההעברה יש מספיק הרשאות כדי לבצע את הפעולה הזו, כמו אמצעי בקרה של ניהול זהויות והרשאות גישה (IAM) או VPC Service Controls.

שלבי ההעברה

כדי להתחיל העברה של מערך נתונים, משתמשים בשכפול נתונים ב-BigQuery:

  1. נכנסים לדף BigQuery Studio במסוף Google Cloud .

    כניסה ל-BigQuery Studio

  2. יוצרים רפליקה של מערך הנתונים ב-BigQuery באזור החדש:

    ALTER SCHEMA DATASET_NAME
    ADD REPLICA 'NEW_REGION'
    OPTIONS(location='NEW_REGION');
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATASET_NAME: השם של קבוצת הנתונים שרוצים ליצור.
    • ‫NEW_REGION: שם האזור שבו רוצים ליצור את מערך הנתונים. לדוגמה, region-us.
  3. עוקבים אחרי התקדמות ההעברה ומחכים עד שסימן המים של ההעתקה ברפליקה יהיה בטווח של כמה דקות מהמקור. כדי לבדוק את התקדמות ההעברה, אתם יכולים להריץ את השאילתה הזו ב-INFORMATION_SCHEMA של BigQuery:

    SELECT
    catalog_name as project_id,
    schema_name as dataset_name,
    replication_time as dataset_replica_staleness
    FROM
    'NEW_REGION'.INFORMATION_SCHEMA.SCHEMATA_REPLICAS
    WHERE
    catalog_name = PROJECT_ID
    AND schema_name = DATASET_NAME
    AND location = NEW_REGION;
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
    • ‫DATASET_NAME: שם מערך הנתונים.
    • DATASET_REPLICA_STALENESS: הגדרת העדכניות של הטבלאות ברפליקה של קבוצת הנתונים שיצרתם.
    • ‫NEW_REGION: האזור שבו יצרתם את מערך הנתונים.
  4. משהים את ה-stream הקיים ב-Datastream. מידע נוסף מופיע במאמר בנושא השהיית הסטרימינג.

  5. מחכים שהסטרימינג יסתיים ורושמים את השעה שבה הסטרימינג עבר למצב PAUSED.

  6. כדי לוודא שהשינויים האחרונים ב-CDC הוחלו על טבלת BigQuery, בודקים את upsert_stream_apply_watermark של הטבלה. מריצים את השאילתה הבאה ומוודאים שחותמת הזמן של סימן המים היא 10 דקות אחרי שהסטרימינג הושהה:

    SELECT table_name, upsert_stream_apply_watermark
    FROM DATASET_NAME.INFORMATION_SCHEMA.TABLES
    

    כדי להריץ את השאילתה רק עבור טבלה ספציפית, מוסיפים את סעיף WHERE הבא:

    WHERE table_name = 'TABLE_NAME'
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATASET_NAME: שם מערך הנתונים.
    • ‫TABLE_NAME: אופציונלי. הטבלה שבה רוצים לבדוק את upsert_stream_apply_watermark.
  7. משתמשים בשאילתה משלב 3 כדי לוודא שסימן המים של העותק באזור החדש מאוחר יותר מהערך של upsert_stream_apply_watermark שתועד בשלב 6.

  8. אופציונלי: משווים באופן ידני כמה טבלאות במערך הנתונים הראשי באזור המקורי עם הרפליקה באזור החדש, כדי לוודא שכל הנתונים הועתקו בצורה נכונה.

  9. כדי להעלות בדרגה את הרפליקה של קבוצת הנתונים ב-BigQuery, מריצים את הפקודה הבאה ב-BigQuery Studio:

    ALTER SCHEMA DATASET_NAME
    SET OPTIONS(primary_replica = 'NEW_REGION');
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATASET_NAME: שם מערך הנתונים.
    • ‫NEW_REGION: האזור שבו יצרתם את מערך הנתונים.
  10. לחלופין, אם אינכם זקוקים עוד למערך הנתונים המקורי (כעת הוא רפליקה), ואינכם רוצים לשאת בחיובים נוספים, היכנסו ל-BigQuery Studio ומחקו את מערך הנתונים המקורי של BigQuery:

    ALTER SCHEMA DATASET_NAME DROP REPLICA IF EXISTS ORIGINAL_REGION;
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATASET_NAME: השם של מערך הנתונים המקורי.
    • ‫ORIGINAL_REGION: האזור של מערך הנתונים המקורי.
  11. יוצרים שידור חדש עם אותה הגדרה בדיוק, אבל עם מיקום יעד חדש ב-BigQuery.

  12. מתחילים את השידור החדש.

    כדי למנוע שכפול של אירועים כפולים, מתחילים את הסטרימינג ממיקום ספציפי:

    • במקורות MySQL ו-Oracle: אפשר לזהות את מיקום היומן על ידי בדיקת היומנים של ה-stream המקורי ומציאת המיקום האחרון שממנו ה-stream קרא בהצלחה. במאמר ניהול סטרימינג מוסבר איך להתחיל את הסטרימינג ממיקום ספציפי.
    • במקורות PostgreSQL: הסטרימינג החדש מתחיל לקרוא שינויים מהמספר הסידורי הראשון (LSN) במשבצת הרפליקציה. יכול להיות שה-stream המקורי כבר עיבד חלק מהשינויים האלה, לכן צריך לשנות ידנית את המצביע של משבצת הרפליקציה ל-LSN האחרון ש-Datastream קרא ממנו. אפשר למצוא את ה-LSN הזה ביומני הצרכנים של Datastream.
  13. אם רוצים, מוחקים את מקור הנתונים המקורי.