תקינות נתונים

Storage Transfer Service משתמש במטא-נתונים שזמינים ממערכת האחסון של המקור, כמו סכומי ביקורת וגדלי קבצים, כדי לוודא שהנתונים שנכתבים ב-Cloud Storage הם אותם נתונים שנקראים מהמקור.

כשיש מטא-נתונים של סיכום ביקורת (checksum)

אם מטא-נתונים של סיכום ביקורת (checksum) זמינים במקור, Storage Transfer Service משתמש באימות סיכום ביקורת מקצה לקצה. אם מטא-נתוני סיכום הביקורת במערכת אחסון המקור מציינים שהנתונים ש-Storage Transfer Service קיבל לא תואמים לנתוני המקור, ‏ Storage Transfer Service מתעד כשל בפעולת ההעברה. דוגמאות למערכות אחסון שכוללות מטא-נתונים של סכומי ביקורת הן רוב האובייקטים של Amazon Simple Storage Service ‏ (Amazon S3) ושל Microsoft Azure Blob Storage (עם כמה חריגים), והעברות HTTP (מטא-נתונים של סכומי ביקורת מסופקים על ידי המשתמש).

כשמטא-נתונים של סכומי ביקורת לא זמינים

מתי סוכנים יכולים לפעול ליד המקור

אם מטא-נתוני סיכום הביקורת לא זמינים ממערכת האחסון הבסיסית של המקור, אבל אפשר להפעיל סוכנים באופן מקומי ליד מערכת האחסון של המקור, Storage Transfer Service מנסה לקרוא את נתוני המקור ולחשב סיכום ביקורת לפני שליחת הנתונים ל-Cloud Storage. זה קורה כשמעבירים נתונים ממערכות קבצים ל-Cloud Storage.

מקרים שבהם סוכנים לא יכולים לפעול בקרבת המקור

אם מטא-נתוני סכום הבדיקה לא זמינים ממערכת האחסון הבסיסית של המקור, ואי אפשר להריץ סוכנים באופן מקומי ליד מערכת האחסון של המקור, Storage Transfer Service משתמש במטא-נתונים זמינים, כמו גודל הקובץ, כדי לוודא שהקובץ שהועתק ל-Cloud Storage זהה לקובץ המקור.

בנוסף, Storage Transfer Service מחשב סכום ביקורת של הנתונים 'בזמן אמת' במהלך ההעברה. אחרי שהנתונים מאוחסנים ב-Cloud Storage,‏ Storage Transfer Service משווה את סכום הבדיקה שחושב לסכום הבדיקה הסופי שדווח על ידי Cloud Storage. אם סכומי הביקורת לא תואמים, המשימה תיכשל ותוצג השגיאה DATA_LOSS.

העברות ממקורות שלא מספקים סכומי ביקורת, כמו:

אחרי בדיקות ההעברה

אחרי שההעברה מסתיימת, מומלץ לבצע בדיקות נוספות של תקינות הנתונים כדי לוודא ש:

  • הגרסה הנכונה של הקבצים מועתקת, אם הקבצים משתנים במקור.
  • הקבוצה והמספר הנכונים של הקבצים מועתקים, כדי לוודא שהגדרתם את העברות העבודה בצורה נכונה.
  • הקבצים הועתקו בצורה תקינה. כדי לוודא זאת, צריך לבדוק את המטא-נתונים של הקבצים, כמו סכומי ביקורת של הקבצים, גודל הקובץ וכו'.