כלים למיגרציה

מומלץ להשתמש בכלים הבאים כדי לקבל עזרה בשלבים שונים של המעבר ל-Spanner, בהתאם למסד הנתונים של המקור ולגורמים אחרים. חלק מהכלים תומכים רק במסדי נתונים מסוימים כמקור. אין כלי זמין לחלק מהשלבים בתהליך ההעברה, ולכן צריך לבצע את השלבים האלה באופן ידני.

• כלי ההעברה של Spanner‏ (SMT) הוא כלי בקוד פתוח שמבצע הערכות, המרות של סכימות והעברות של נתונים. מידע על הגדרת כלי ההעברה של Spanner זמין במאמר הגדרת כלי ההעברה של Spanner.

• ‫Datastream הוא שירות Google Cloud שמאפשר לקרוא אירועים של סימון נתונים שהשתנו (CDC) ונתונים בכמות גדולה ממסד נתונים של מקור ולכתוב ליעד שצוין.

• העברת נתונים בכמות גדולה היא תבנית Dataflow שמאפשרת להעביר מערכי נתונים גדולים של MySQL ישירות ל-Spanner.

• העברת נתונים בזמן אמת משתמשת ב-Datastream וב-Dataflow כדי להעביר:

  • נתונים קיימים במסד הנתונים של המקור.
  • זרם של שינויים שמתבצעים במסד הנתונים של המקור במהלך ההעברה.

• ‫Data Validation Tool (DVT) היא שיטה סטנדרטית לאימות נתונים שפותחה על ידי Google ונתמכת על ידי קהילת הקוד הפתוח. אפשר לשלב את DVT במוצרים קיימים שלGoogle Cloud .

• ‫Database Migration Assessment (DMA) מציע הערכה בסיסית להעברת MySQL ו-PostgreSQL ל-Spanner.

כלים להעברה של מסדי נתונים של MySQL

אם מסד הנתונים של המקור הוא MySQL, אפשר לבצע חלק משלבי ההעברה הראשוניים באמצעות קובצי dump של MySQL. כדי להשלים העברה של נתונים לייצור, צריך להתחבר ישירות למסד הנתונים של MySQL שפועל כמקור.

הערה: אם מסד הנתונים של המקור הוא לא MySQL או PostgreSQL, ויש לכם קובץ dump לדוגמה בפורמט CSV, ‏ Avro או Parquet, אתם יכולים לטעון את הקובץ ל-BigQuery ולהעתיק אותו ל-Spanner באמצעות ETL הפוך. בכל שלבי המיגרציה האחרים, צריך להעריך פתרונות בהתאמה אישית.

בטבלה הבאה מפורטים כלי העברה מומלצים בהתאם לשלב ההעברה ולשיטה שבה אתם משתמשים – קובץ dump או חיבור ישיר למסד הנתונים של המקור:

שלב ההעברה	קובץ dump	קישור ישיר למסד הנתונים של המקור
בדיקה	שימוש ב-SMT עם mysqldump.	שימוש ב-SMT עם mysqldump.
המרת סכימה	שימוש ב-SMT עם mysqldump.	משתמשים ב-SMT כדי להגדיר ולהמיר סכימה.
טעינת נתונים לדוגמה	אם קובץ ה-dump לדוגמה קטן מ-100GB, צריך להשתמש ב-SMT במצב POC. אם קובץ ה-dump לדוגמה גדול מ-‎100 GB, מייצאים את הקובץ אל Cloud SQL ומבצעים העברה בכמות גדולה. אם קובץ ה-dump של הדוגמה הוא בפורמט CSV,‏ Avro או Parquet,‏ טוענים את הקובץ ל-BigQuery ומעתיקים אותו ל-Spanner באמצעות ETL הפוך.	מבצעים העברה בכמות גדולה.
העברת נתונים	לא רלוונטי	מבצעים העברה בכמות גדולה ואז מבצעים העברה עם זמן השבתה מינימלי.
אימות נתונים	לא רלוונטי	שימוש ב-DVT.
הגדרת מעבר חד למערכת אחרת (cutover) והחזרה למצב ראשוני	לא רלוונטי	משתמשים ב-SMT לשכפול הפוך.

כלים להעברת נתונים ממסדי נתונים של PostgreSQL

אם מסד הנתונים של המקור משתמש ב-PostgreSQL, אפשר לבצע חלק משלבי ההעברה באמצעות קובץ dump של PostgreSQL. כדי להשלים את ההעברה, צריך להתחבר ישירות למסד הנתונים של PostgreSQL שפועל כמקור.

בטבלה הבאה מפורטים כלים מומלצים להעברה לפי שלב ההעברה, ובהתאם לשאלה אם אתם עובדים עם קובץ dump או מתחברים ישירות ממסד הנתונים של המקור:

שלב ההעברה	קובץ dump	קישור ישיר למסד הנתונים של המקור
בדיקה	שימוש ב-SMT עם pg_dump.	שימוש ב-DMA.
המרת סכימה	שימוש ב-SMT עם pg_dump.	משתמשים ב-SMT כדי להגדיר ולהמיר סכימה.
טעינת נתונים לדוגמה	אם קובץ ה-dump לדוגמה קטן מ-100GB, צריך להשתמש ב-SMT במצב POC. אם קובץ ה-dump לדוגמה גדול מ-‎100 GB, מייצאים את הקובץ ל-Cloud SQL ומבצעים העברה עם זמן השבתה מינימלי. אם קובץ ה-dump לדוגמה הוא בפורמט CSV,‏ Avro או Parquet, טוענים את הקובץ ל-BigQuery ומעתיקים אותו ל-Spanner באמצעות ETL הפוך.	מבצעים העברה עם זמן השבתה מינימלי.
העברת נתונים	לא רלוונטי	מבצעים העברה עם זמן השבתה מינימלי.
אימות נתונים	לא רלוונטי	שימוש ב-DVT.
הגדרת מעבר חד למערכת אחרת (cutover) והחזרה למצב ראשוני	לא רלוונטי	לא רלוונטי

כלים להעברת נתונים ממסדי נתונים של Cassandra

תצוגה מקדימה — Cassandra

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

‫Spanner מציע ממשק שתואם ל-Cassandra, שתומך בשינויים מינימליים בקוד האפליקציה כשמבצעים מיגרציה מ-Cassandra ל-Spanner. מידע נוסף על פרטי התאימות זמין בסקירה הכללית על Cassandra.

בטבלה הבאה מומלצים כלי העברה לפי שלב ההעברה:

שלב ההעברה	כלי או תהליך מומלצים
בדיקה	לא רלוונטי
המרת סכימה	כלי להמרת סכימה
העברת נתונים	העברה בכמות גדולה: שימוש בתבנית Sourcedb to Spanner נתונים פעילים: משתמשים ב-DataStax ZDM Proxy.
אימות נתונים	אימות של מספר שורות הנתונים אימות התוכן של שורת נתונים למסדי נתונים גדולים (>10 מיליון שורות): צריך ליצור כלים משלכם. מידע נוסף זמין במאמר טיפים לאימות של Cassandra באמצעות התאמת שורות. למסדי נתונים קטנים (עד 10 מיליון שורות), אפשר לעיין בתסריטי האימות לדוגמה ב-GitHub.
הגדרת מעבר אוטומטי לגיבוי	משתמשים ב-Spanner migration tool CLI (SMT) ב-GitHub לשכפול הפוך.