אחרי שמבצעים אופטימיזציה של סכימת Spanner ומעבירים את האפליקציה, אפשר להעביר את הנתונים למסד נתונים ריק של Spanner בגודל שמתאים לסביבת ייצור, ואז להעביר את האפליקציה לשימוש במסד הנתונים של Spanner.
בהתאם לתרחיש השימוש, יכול להיות שתוכלו לבצע העברת נתונים בזמן אמת עם השבתה מינימלית, או שתצטרכו השבתה ממושכת כדי לבצע את העברת הנתונים.
אם האפליקציה שלכם לא יכולה להרשות לעצמה הרבה זמן השבתה, כדאי לבצע העברת נתונים בזמן אמת. אם האפליקציה שלכם יכולה להתמודד עם השבתה, כדאי לשקול העברה עם השבתה.
בהעברת נתונים פעילה, צריך להגדיר את תשתית הרשת שנדרשת כדי שהנתונים יזרמו בין מסד הנתונים של המקור, מסד הנתונים של היעד ב-Spanner והכלים שבהם אתם משתמשים כדי לבצע את העברת הנתונים. צריך להחליט אם להשתמש בקישוריות לרשת פרטית או לרשת ציבורית, בהתאם לדרישות התאימות של הארגון. יכול להיות שתצטרכו לבקש מאדמין הרשת בארגון להגדיר את התשתית.
העברת נתונים בזמן אמת
העברת נתונים בזמן אמת כוללת שני רכיבים:
- העברת הנתונים בתמונת מצב עקבית של מסד הנתונים של המקור.
- העברת זרם השינויים (הוספות, עדכונים ומחיקות) מאז תמונת המצב הזו, שנקראת סימון נתונים שהשתנו (CDC).
העברות נתונים בזמן אמת עוזרות להגן על הנתונים, אבל התהליך כולל אתגרים, כולל:
- אחסון נתוני CDC בזמן העברת התמונה.
- כתיבת נתוני ה-CDC ל-Spanner בזמן לכידת זרם ה-CDC הנכנס.
- הבטחה שההעברה של נתוני CDC ל-Spanner תהיה מהירה יותר מזרם ה-CDC הנכנס.
העברה עם זמן השבתה
אם אפשר לייצא את מסד הנתונים שלכם ל-CSV או ל-Avro, אתם יכולים להעביר אותו ל-Spanner עם השבתה. מידע נוסף זמין במאמר סקירה כללית על ייבוא וייצוא ב-Spanner.
אפשר להשתמש בהעברות עם השבתה בסביבות בדיקה או באפליקציות שיכולות להתמודד עם השבתה של כמה שעות. במסד נתונים פעיל, העברה עם זמן השבתה עלולה לגרום לאובדן נתונים.
כדי לבצע העברה עם השבתה, כדאי לפעול לפי הגישה הכללית הבאה:
- מפסיקים את הפעלת האפליקציה ומייצרים קובץ dump של הנתונים ממסד הנתונים של המקור.
- מעלים את קובץ ה-dump ל-Cloud Storage בפורמט dump של MySQL, PostgreSQL, Avro או CSV.
- טוענים את קובץ ה-dump ל-Spanner באמצעות Dataflow או הכלי להעברת נתונים של Spanner.
יצירה של כמה קובצי dump קטנים מאפשרת כתיבה מהירה יותר ל-Spanner, כי Spanner יכול לקרוא כמה קובצי dump במקביל.
כשיוצרים קובץ dump ממסד הנתונים של המקור, חשוב לזכור את הנקודות הבאות כדי ליצור תמונת מצב עקבית של הנתונים:
- לפני שמבצעים את ה-dump, צריך להחיל נעילת קריאה על מסד הנתונים של המקור כדי למנוע שינוי של הנתונים במהלך יצירת קובץ ה-dump.
- אפשרות אחרת היא ליצור את קובץ ה-dump באמצעות העתק לקריאה ממסד הנתונים של המקור, כששכפול מושבת.
מדריכים ספציפיים למקור
- MySQL: העברת נתונים פעילה ב-MySQL.