כלים למיגרציה

מומלץ להשתמש בכלים הבאים כדי לקבל עזרה בשלבים שונים של המעבר ל-Spanner, בהתאם למסד הנתונים של המקור ולגורמים אחרים. חלק מהכלים תומכים רק במסדי נתונים מסוימים כמקור. חלק מהשלבים בתהליך ההעברה לא ניתנים לביצוע באמצעות כלי, ולכן צריך לבצע אותם באופן ידני.

• כלי ההעברה של Spanner‏ (SMT) הוא כלי בקוד פתוח שמבצע הערכות, המרות של סכימות והעברות של נתונים. מידע על הגדרת כלי ההעברה של Spanner זמין במאמר הגדרת כלי ההעברה של Spanner.

• ‫Datastream הוא שירות Google Cloudשמאפשר לקרוא אירועים של סימון נתונים שהשתנו (CDC) ונתונים בכמות גדולה ממסד נתונים של מקור ולכתוב ליעד שצוין.

• העברת נתונים בכמות גדולה היא תבנית Dataflow שמאפשרת להעביר מערכי נתונים גדולים של MySQL ישירות ל-Spanner.

• העברת נתונים בזמן אמת משתמשת ב-Datastream וב-Dataflow כדי להעביר:

  • נתונים קיימים במסד הנתונים של המקור.
  • זרם של שינויים שמתבצעים במסד הנתונים של המקור במהלך ההעברה.

• כלי לאימות נתונים (DVT) הוא שיטה סטנדרטית לאימות נתונים שפותחה על ידי Google ונתמכת על ידי קהילת הקוד הפתוח. אפשר לשלב DVT במוצרים קיימים שלGoogle Cloud .

• Database Migration Assessment (DMA) מציע הערכה בסיסית להעברת MySQL ו-PostgreSQL ל-Spanner.

כלי העברה למסדי נתונים של MySQL

אם מסד הנתונים של המקור הוא MySQL, אפשר לבצע חלק משלבי ההעברה הראשוניים באמצעות קובצי dump של MySQL. כדי להשלים העברה של נתונים לייצור, צריך להתחבר ישירות למסד הנתונים של MySQL שפועל כמקור.

הערה: אם מסד הנתונים של המקור הוא לא MySQL או PostgreSQL, ויש לכם קובץ dump לדוגמה בפורמט CSV, ‏ Avro או Parquet, אתם יכולים לטעון את הקובץ ל-BigQuery ולהעתיק אותו ל-Spanner באמצעות ETL הפוך. בכל שלבי המיגרציה האחרים, צריך להעריך פתרונות בהתאמה אישית.

בטבלה הבאה מפורטים כלי העברה מומלצים בהתאם לשלב ההעברה ולשיטה שבה אתם משתמשים – קובץ dump או חיבור ישיר למסד הנתונים של המקור:

שלב ההעברה	קובץ dump	קישור ישיר למסד הנתונים של המקור
בדיקה	שימוש ב-SMT עם mysqldump.	שימוש ב-SMT עם mysqldump.
המרת סכימה	שימוש ב-SMT עם mysqldump.	משתמשים ב-SMT כדי להגדיר ולהמיר סכימה.
טעינת נתונים לדוגמה	אם קובץ ה-dump לדוגמה קטן מ-100GB, צריך להשתמש ב-SMT במצב POC. אם קובץ ה-dump לדוגמה גדול מ-‎100 GB, מייצאים את הקובץ אל Cloud SQL ומבצעים העברה בכמות גדולה. אם קובץ ה-dump לדוגמה הוא בפורמט CSV,‏ Avro או Parquet,‏ טוענים את הקובץ ל-BigQuery ומעתיקים אותו ל-Spanner באמצעות ETL הפוך.	מבצעים העברה בכמות גדולה.
העברת נתונים	לא רלוונטי	מבצעים העברה בכמות גדולה ואז מבצעים העברה עם זמן השבתה מינימלי.
אימות נתונים	לא רלוונטי	שימוש ב-DVT.
הגדרת מעבר חד למערכת אחרת (cutover) והחזרה למצב ראשוני	לא רלוונטי	משתמשים ב-SMT לשכפול הפוך.

כלים להעברת נתונים ממסדי נתונים של PostgreSQL

אם מסד הנתונים של המקור משתמש ב-PostgreSQL, אפשר לבצע חלק משלבי ההעברה באמצעות קובץ dump של PostgreSQL. כדי להשלים את ההעברה, צריך להתחבר ישירות למסד הנתונים של PostgreSQL שפועל כמקור.

בטבלה הבאה מפורטים כלי העברה מומלצים על סמך שלב ההעברה והשאלה אם אתם עובדים עם קובץ dump או מתחברים ישירות ממסד הנתונים של המקור:

שלב ההעברה	קובץ dump	קישור ישיר למסד הנתונים של המקור
בדיקה	שימוש ב-SMT עם pg_dump.	שימוש ב-DMA.
המרת סכימה	שימוש ב-SMT עם pg_dump.	משתמשים ב-SMT כדי להגדיר ולהמיר סכימה.
טעינת נתונים לדוגמה	אם קובץ ה-dump לדוגמה קטן מ-100GB, צריך להשתמש ב-SMT במצב POC. אם קובץ ה-dump לדוגמה גדול מ-‎100 GB, מייצאים את הקובץ ל-Cloud SQL ומבצעים העברה עם זמן השבתה מינימלי. אם קובץ ה-dump לדוגמה הוא בפורמט CSV,‏ Avro או Parquet, אפשר לטעון את הקובץ ל-BigQuery ולהעתיק אותו ל-Spanner באמצעות ETL הפוך.	מבצעים העברה עם זמן השבתה מינימלי.
העברת נתונים	לא רלוונטי	מבצעים העברה עם זמן השבתה מינימלי.
אימות נתונים	לא רלוונטי	שימוש ב-DVT.
הגדרת מעבר חד למערכת אחרת (cutover) והחזרה למצב ראשוני	לא רלוונטי	לא רלוונטי

כלי העברה למסדי נתונים ממקור Cassandra

גרסת טרום-השקה — Cassandra

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

‫Spanner מציע ממשק שתואם ל-Cassandra, שתומך בשינויים מינימליים בקוד האפליקציה כשמבצעים מיגרציה מ-Cassandra ל-Spanner. מידע נוסף על פרטי התאימות זמין בסקירה הכללית על Cassandra.

בטבלה הבאה מומלצים כלי העברה לפי שלב ההעברה:

שלב ההעברה	כלי או תהליך מומלצים
בדיקה	לא רלוונטי
המרת סכימה	כלי להמרת סכימות
העברת נתונים	העברה בכמות גדולה: שימוש בתבנית Sourcedb to Spanner נתונים בזמן אמת: משתמשים ב-DataStax ZDM Proxy.
אימות נתונים	אימות של מספר שורות הנתונים אימות התוכן בשורת הנתונים למסדי נתונים גדולים (>10 מיליון שורות): צריך ליצור כלים משלכם. מידע נוסף זמין במאמר טיפים לאימות של Cassandra באמצעות התאמת שורות. למסדי נתונים בקנה מידה קטן (פחות מ-10 מיליון שורות), אפשר לעיין בתסריטי האימות לדוגמה ב-GitHub.
הגדרת מעבר אוטומטי לגיבוי	משתמשים ב-Spanner migration tool CLI (SMT) ב-GitHub לשכפול הפוך.