סקירה כללית על ייבוא וייצוא ב-Spanner

אפשר לייבא ולייצא כמות גדולה של נתונים אל Spanner או ממנו באמצעות אחת מהשיטות הבאות:

לייבא או לייצא כל מסד נתונים של Spanner באמצעות Dataflow.
לייצא כל מסד נתונים של Spanner לקטגוריה של Cloud Storage בפורמט Avro או CSV.
ייבוא נתונים מקובצי Avro או CSV למסד נתונים חדש ב-Spanner.

תרחישים לדוגמה

אפשר להשתמש בייבוא ובייצוא של Spanner בתרחישי השימוש הבאים:

טעינה בכמות גדולה: אפשר לייבא נתונים בכמות גדולה ל-Spanner.
גיבוי ואחסון בארכיון לטווח ארוך: אתם יכולים לייצא את מסד הנתונים בכל שלב ולאחסן אותו במיקום של קטגוריה ב-Cloud Storage לפי בחירתכם לצורך גיבוי או אחסון בארכיון לטווח ארוך. בנוסף, אפשר להשתמש בשחזור לנקודת זמן מסוימת כדי לייצא מסד נתונים מחותמת זמן ספציפית בעבר. אם אתם מחפשים טכניקות התאוששות מאסון (DR) שמציעות שחזור מהיר יותר, אבל עם תקופות שמירה קצרות יותר, כדאי לשקול שימוש בגיבויים או בשחזור מערכת מנקודה מסוימת בזמן (PITR).
העתקת מסדי נתונים לפרויקטים של פיתוח או בדיקה: אפשר לייצא מסד נתונים מפרויקט ייצור ואז לייבא אותו לפרויקט פיתוח או בדיקה כדי להשתמש בו לבדיקות שילוב או לניסויים אחרים.
העברה לצורך ניתוח: אפשר לייצא מסד נתונים כדי להעביר את הנתונים התפעוליים בכמות גדולה לשירותי ניתוח כמו BigQuery. מערכת BigQuery יכולה להטמיע נתונים באופן אוטומטי בפורמט Avro מקטגוריה של Cloud Storage, וכך להקל עליכם להריץ ניתוחים על הנתונים התפעוליים שלכם. אם אתם רוצים להשתמש ב-BigQuery לניתוח בזמן אמת של נתוני Spanner בלי להעתיק או להעביר את הנתונים, אתם יכולים להשתמש במקום זאת בשאילתות מאוחדות של Spanner.

השוואה בין ייבוא וייצוא לבין גיבוי ושחזור

ייבוא וייצוא ב-Spanner דומים לגיבוי ושחזור במובנים רבים. בטבלה הבאה מפורטים נקודות הדמיון וההבדלים בין האפשרויות, כדי לעזור לכם להחליט באיזו מהן להשתמש.

	גיבוי ושחזור	ייבוא וייצוא
עקביות הנתונים	הגיבויים ומסדי הנתונים המיוצאים עקביים מבחינת טרנזקציות וחיצונית.
השפעה על הביצועים	לגיבויים אין השפעה על הביצועים של מופע. ‫Spanner מבצע גיבויים באמצעות משימות ייעודיות שלא משתמשות במשאבי השרת של מופע.	כדי למזער את ההשפעה על ביצועי מסד הנתונים, מייצאים את ההרצות כמשימה בעדיפות בינונית. מידע נוסף זמין במאמר בנושא עדיפות למשימות.
פורמט האחסון	הפורמט מוצפן וקנייני, ומיועד לשחזור מהיר.	תמיכה בפורמטים של קבצים CSV ו-Avro.
ניידות	אתם יוצרים גיבויים באותו מופע שבו נמצא מסד הנתונים של המקור. אחרי שיוצרים גיבוי, אפשר להעתיק את הגיבוי למופע באזור או בפרויקט אחרים, אם אתם צריכים גיבוי חוצה אזורים או חוצה פרויקטים. אחר כך תוכלו לשחזר מגיבוי כמסד נתונים חדש לכל מופע באותו פרויקט. למכונה שאליה אתם משחזרים צריך להיות אותו הגדרות מכונה כמו למכונה שבה מאוחסן הגיבוי.	מסדי הנתונים המיוצאים נמצאים ב-Cloud Storage, ואפשר להעביר את הנתונים לכל מערכת שתומכת ב-CSV או ב-Avro.
שמירה	אפשר לשמור גיבויים למשך עד שנה.	מסדי נתונים מיוצאים מאוחסנים ב-Cloud Storage, שם הם נשמרים כברירת מחדל עד שהם נמחקים. אתם יכולים להתאים אישית את מדיניות מחזור החיים והשמירה.
תמחור	החיוב על הגיבויים מתבצע בפרויקט Spanner על סמך נפח האחסון שנעשה בו שימוש לכל יחידת זמן. פרטים נוספים מופיעים בקטע תמחור.	החיוב על ייבוא וייצוא הוא מורכב יותר כי הוא כולל שימוש ב-Cloud Storage וב-Dataflow. מידע נוסף זמין במאמר תמחור של ייצוא וייבוא מסדי נתונים.
זמן השחזור	השחזור מתבצע בשתי פעולות: שחזור ואופטימיזציה. פעולת השחזור מציעה זמן מהיר עד לבית הראשון, כי מסד הנתונים מטמיע את הגיבוי ישירות בלי להעתיק את הנתונים. אחרי שפעולת השחזור מסתיימת, מסד הנתונים מוכן לשימוש, אבל יכול להיות שזמן האחזור של הקריאה יהיה קצת יותר גבוה בזמן האופטימיזציה. מידע נוסף זמין במאמר הסבר על תהליך השחזור.	הייבוא איטי יותר. צריך לחכות עד שכל הנתונים ייכתבו במסד הנתונים.

השוואה בין פורמטים של קבצים

בטבלה הבאה מוצגות השוואה בין היכולות של פורמטים של קובצי Avro ו-CSV כשמייבאים ומייצאים נתונים מ-Spanner.

יכולת	פורמט Avro	פורמט CSV
ייבוא או ייצוא של מסד נתונים שלם	כן	לא
אפשרות לייצא רק טבלאות נבחרות במסד נתונים	כן	כן
יכולת ייבוא של טבלאות שיוצאו בעבר	כן	כן
ייצוא בחותמת זמן קודמת	כן	כן
יבוא או יצוא באמצעות Google Cloud CLI	כן	כן
ייבוא או ייצוא באמצעות Dataflow	כן	כן
ייבוא או ייצוא באמצעות Spanner	כן	לא

קובצי Avro

כשמייצאים לפורמט Avro, אפשר לציין רשימה של טבלאות לייצוא. כל טבלאות צאצא שמיוצאות בדרך הזו צריכות להיות מלוות בטבלאות האב שלהן. ‫Spanner שומר את סכימת מסד הנתונים המלאה בקבצים המיוצאים.

כשמייבאים מפורמט Avro, ‏ Spanner יוצר מחדש את הסכימה כולה של מסד הנתונים שיוצא, כולל כל הטבלאות. הטבלאות שנכללות בייצוא המקורי מקבלות את כל הנתונים המיוצאים שלהן, וכל שאר הטבלאות נשארות ריקות.

בדף Spanner במסוף Google Cloud יש אפשרויות מוגבלות לייבוא וייצוא בפורמט Avro. לדוגמה, אי אפשר להגדיר אפשרויות של רשת ושל רשת משנה. כדי לקבל מגוון רחב יותר של אפשרויות, אפשר להשתמש ב-Dataflow.

מגבלות

אי אפשר לייצא ולייבא קבוצות של רשויות מוניציפאליות לפורמט Avro.

קובצי CSV

אפשר לייצא רק טבלת Spanner אחת בכל פעם בפורמט CSV. כשמייצאים, הסכימה לא מיוצאת, רק הנתונים מיוצאים.

לפני שמייבאים מקובצי CSV, צריך ליצור קובץ מניפסט JSON.

תמחור

אין חיובים נוספים מ-Spanner על שימוש בכלי הייצוא או הייבוא. אתם משלמים את התעריפים הרגילים על אחסון נתונים כשאתם מייבאים מסד נתונים ל-Spanner. עם זאת, יש חיובים פוטנציאליים אחרים שקשורים לייבוא ולייצוא של מסדי נתונים. מידע נוסף זמין במאמר תמחור של ייצוא וייבוא מסדי נתונים.