העברה של קטגוריות

במאמר הזה מוסבר איך העברה של קטגוריות Cloud Storage עוזרת להעביר קטגוריות בין מיקומים גיאוגרפיים בלי שרת (serverless). באמצעות העברה של קטגוריות, אתם יכולים להעביר קטגוריה קיימת ממיקום אחד למיקום אחר בלי לשנות את השם של הקטגוריה או להעביר את הנתונים בתוך הקטגוריה באופן ידני.

לפני שמתחילים בתהליך ההעברה, חשוב לתכנן את העברת הדלי כדי לצמצם את ההפרעות. הוראות להעברת קטגוריות מפורטות במאמר העברת קטגוריות.

יתרונות

היתרונות של העברת קטגוריות:

  • העברה פשוטה: אפשר להעביר קטגוריות עם תקורה תפעולית מינימלית. לא נדרש תסריט מורכב או תהליך רב-שלבי.

  • פעולה רציפה: האפליקציות שלכם נשארות נגישות לאורך תהליך ההעברה, ללא זמן השבתה לפעולות קריאה ועם זמן השבתה מינימלי לפעולות כתיבה.

  • שיפור הביצועים: מיקום משותף של משאבי Compute Engine ו-Cloud Storage באותו אזור יכול לצמצם את זמן האחזור ולשפר את הביצועים.

  • שמירה על המטא-נתונים: תהליך ההעברה של הקטגוריה שומר על המטא-נתונים של האובייקט. שמירת המטא-נתונים של האובייקט שומרת על תאימות ליישומים ולתהליכי עבודה קיימים אחרי העברת הקטגוריה.

  • הגדרות של סוגי אחסון: אתם יכולים לשמור על ההגדרות הקיימות של סוגי אחסון ב-Cloud Storage, כולל סיווג אוטומטי. שמירה על סוג האחסון עוזרת לשמור על מבנה העלויות עקבי אחרי ההעברה.

תרחישים לדוגמה

אלה תרחישי שימוש שאפשר להשיג באמצעות העברה של דליים:

  • הפחתת עלויות העברת נתונים: כדי להימנע מעלויות העברת נתונים, כדאי להעביר את הקטגוריה למיקום שקרוב יותר לעומסי העבודה שנדרשת להם גישה לנתונים בקטגוריה. לדוגמה, אם הנתונים שלכם מאוחסנים בארצות הברית והגישה אליהם היא בעיקר מאירופה, אתם יכולים להעביר את הדלי למיקום באירופה כדי להפחית את עלויות העברת הנתונים.

  • שיפור הביצועים: שיפור המהירות והתגובה של האפליקציה על ידי העברת הנתונים קרוב יותר לעומסי העבודה של Compute Engine. לדוגמה, אם האפליקציה שלכם פועלת ב-us-central1 אבל הנתונים נמצאים ב-asia-east1, אתם יכולים להעביר את הדלי ל-us-central1 כדי לצמצם את זמן האחזור.

  • שיפור החוסן: הגנה על הנתונים הקריטיים מפני הפסקות זמניות בשירות אזוריות. לדוגמה, אם הנתונים שלכם מאוחסנים באזור אחד, אתם יכולים להעביר אותם לשני אזורים או למספר אזורים כדי לשפר את הזמינות שלהם ולשפר את תוכנית ההתאוששות מאסון (DR).

סוגי רילוקיישן

יש שני סוגים של העברות של מאגרי מידע:

  • העברת קטגוריה עם השבתה של פעולות כתיבה: בהעברת קטגוריה עם השבתה של פעולות כתיבה, יש תקופה שבה אי אפשר לבצע פעולות כתיבה של אובייקטים במהלך תהליך העברת הקטגוריה.

  • העברת קטגוריות ללא השבתה של פעולות כתיבה: בהעברת קטגוריות ללא השבתה של פעולות כתיבה, אפשר להמשיך לבצע פעולות כתיבה של אובייקטים ללא הפרעה בזמן שהעברת הקטגוריה מתבצעת ברקע.

מיקומי המקור והיעד של הקטגוריה קובעים אם העברת קטגוריה כוללת זמן השבתה של כתיבה. בטבלה הבאה מוצגות השפעות המיקום של קטגוריה על זמן ההשבתה של פעולות כתיבה במהלך העברה, כולל ההבדלים בין העברות עם זמן השבתה לבין העברות ללא זמן השבתה.

מפרט העברה של קטגוריה עם השבתה של פעולות כתיבה העברת דלי בלי השבתה של הרשאות הכתיבה
מיקום הקטגוריה

העברה של קטגוריה בין המיקומים הבאים גורמת להשבתה:

  • אזורים
  • בשני אזורים
  • במספר אזורים
  • מספר אזורים וצמד מוגדר מראש של שני אזורים
  • מספר אזורים ושני אזורים שאפשר להגדיר אם לשני המיקומים יש קודים שונים של מספר אזורים

אם מעבירים קטגוריה בין שני מיקומים שחולקים את אותו קוד של מספר אזורים, לא תהיה השבתה אם המיקומים הם:

  • צמד אזורים שניתן להגדרה
  • מספר אזורים וצמד אזורים שאפשר להגדיר
כתיבת זמינות אי אפשר לבצע פעולות כתיבה במהלך שלב הסנכרון הסופי.

פעולות הכתיבה ימשיכו לפעול כרגיל במהלך ההעברה.

הערה: שינויים במדיניות ללא השבתה של פעולות כתיבה נמשכים לפחות שבעה ימים, כי צריך להמתין עד לסיום ההעלאות שניתנות להמשך.
מעורבות המשתמשים צריך להפעיל את השלב האחרון של השבתת הכתיבה. לא נדרש שלב סיום מפורש.
השפעה על הביצועים במהלך שלב הסנכרון הסופי, אי אפשר לכתוב או לעדכן אובייקטים בדלי.‫Object זמן האחזור של קריאה וכתיבה עשוי להתארך במהלך ההעברה.
ביטול של העברת קטגוריה מהיר יותר מהעברות בלי השבתה של הרשאות כתיבה. הביטול לא מתבצע באופן מיידי, ויכול להיות שייקח יותר זמן כי צריך למלא מחדש את האובייקטים.
תמיכה בתכונותהוא מספק תמיכה בפחות תכונות מאשר העברות ללא זמן השבתה לכתיבה. מידע נוסף על התכונות שלא נתמכות זמין במאמר תכונות שלא נתמכות.יש מגבלות על תכונות כמו העלאות מרובות חלקים, מדיניות שמירת נתונים, Firebase ו-appspot. מידע נוסף על ההגבלות האלה זמין במאמר בנושא דרישות התאימות וההגבלות של מאגרי נתונים.
משך המעבר המינימלי ללא שבעה ימים

הסבר על תהליך ההעברה של דלי

העברה של קטגוריות מאפשרת להעביר נתונים מקטגוריית מקור לקטגוריית יעד. קטגוריית המקור מכילה את הנתונים שרוצים להעביר, וקטגוריית היעד היא המקום שאליו רוצים להעביר את הנתונים.

בתרשים הבא מוצג תהליך ההעברה של קטגוריה:

תרשים זרימה של תהליך העברת דליים.
איור 1. תרשים זרימת תהליך ההעברה של קטגוריות (אפשר ללחוץ כדי להגדיל).

* סנכרון סופי נדרש רק להעברות עם זמן השבתה לכתיבה.

בטבלה הבאה מפורטים שלושת השלבים העיקריים ותיאור של כל שלב:

שלב תיאור

מבצעים הרצת בדיקה
(אופציונלי)

מדמה את תהליך ההעברה של הדלי כדי לזהות בעיות פוטנציאליות לפני שמתחילים בהעברת הנתונים בפועל.

התחלת שלב ההעברה

העתקת נתונים מקטגוריית המקור לקטגוריית היעד. המטא-נתונים של הקטגוריה נעולים לכתיבה כדי למנוע שינויים בקטגוריה שיכולים להשפיע על תהליך ההעברה. אבל אתם יכולים לכתוב, לשנות ולמחוק אובייקטים בקטגוריה. הגורמים שמשפיעים על משך הזמן הם:

  • התדירות של עדכונים, מחיקות או הוספות של אובייקטים בתוך הקטגוריה משפיעה ישירות על משך ההעתקה. שיעור שינוי גבוה יותר דורש יותר זמן. יש קצב מקסימלי של תנועת אובייקטים `Rm, objects/second`. עם `N` אובייקטים בסך הכול וקצב עדכון של `R objects/second`, אפשר להעריך את משך שלב ההעתקה כ-`N / (Rm - R)` שניות.
  • העברה של דליים גדולים דורשת יותר זמן בגלל רוחב פס מוגבל.
  • הגודל של כל אובייקט משפיע על זמן ההעתקה. העברה של אובייקטים שגדולים מ-10GB אורכת יותר זמן מאשר העברה של אובייקטים שקטנים מ-10GB, בגלל מגבלות רוחב הפס. לדוגמה, העתקה של אובייקט בגודל 1 TB נמשכת יום אחד.

מתחילים את שלב הסנכרון הסופי
(נדרש רק במעברים עם זמן השבתה לכתיבה)

אחרי שתתחילו את הסנכרון הסופי, הגישה ל-bucket תהיה מוגבלת לכתיבה בלבד. כתוצאה מכך, אי אפשר לכתוב או לעדכן אובייקטים בקטגוריה במהלך הזמן הזה, וכך נמנעת חוסר עקביות בנתונים. עם זאת, אפשר להמשיך לקרוא מהמאגר.

אפשר לבצע פעולות כתיבה בדלי.

אחרי שכל הנתונים יועברו ויאומתו, והבאקט יפעל במיקום החדש, נעילת הכתיבה תוסר באופן אוטומטי. אחרי זה תוכלו להמשיך לכתוב ולעדכן אובייקטים בקטגוריה.

מגבלות

כדי להעביר את הקטגוריה, צריך לוודא שההגדרות של הקטגוריה תומכות בהעברה של קטגוריות. לשם כך, מעיינים ברשימה של התכונות שלא נתמכות ובדרישות התאימות.

אי אפשר להעביר קטגוריות אם קטגוריות המקור והיעד נמצאות במיקומים הבאים:

סוג מיקום מיקומים לא נתמכים
אזורים
  • ME-CENTRAL1
  • ME-WEST1

תמחור

פרטים על התמחור שקשור להעברת קטגוריות זמינים במאמר תמחור של Cloud Storage.

המאמרים הבאים