שמירה על מטא-נתונים

במסמך הזה מתוארים המטא-נתונים שנשמרים כשמשתמשים ב-Storage Transfer Service כדי להעביר נתונים בין מקורות ויעדים שונים.

סקירה כללית

‫Storage Transfer Service שומר על המטא-נתונים הבאים:

מטא-נתונים מותאמים אישית שנוצרו על ידי משתמשים להעברות שמקורן ב-Cloud Storage, ב-Amazon S3 או ב-Microsoft Azure Blob Storage נשמרים.
בהעברות בין קטגוריות של Cloud Storage אפשר לשמור את רשימות בקרת הגישה (ACL) של האובייקטים, מפתחות הצפנה בניהול הלקוח, סוג האחסון, זמן יצירת האובייקט (כערך של שדה customTime) והשעיות זמניות.
כשמעבירים אובייקטים מכל מקור לקטגוריה של Cloud Storage, אפשר להגדיר את סוג האחסון של האובייקט בקטגוריית היעד לכל סוג נתמך כחלק מההעברה.
גודל הקובץ והשעה של השינוי האחרון (mtime) נשמרים בהעברות שמקורן במערכות קבצים של POSIX. הערך mtime לא נשמר בתיקיות.
אופציונלי, אפשר לשמור קישורים סמליים, UID מספרי, GID מספרי ו-MODE מספרי בהעברות אל מערכות קבצים של POSIX וממערכות קבצים של POSIX.
בהעברות בין מערכות קבצים בלבד, אם נשמרים UID,‏ GID או MODE, נשמרים גם המטא-נתונים האלה של התיקיות. ‫Cloud Storage יוצר מחדש תיקיות במערכת הקבצים של היעד ומשחזר את ה-UID, ה-GID או את ה-MODE. כולל תיקיות ריקות. mtime לא נשמר.

מטא-נתונים ברמת התיקייה לא נשמרים אם ההעברה מתבצעת באמצעות קובץ מניפסט.

שדות מטא-נתונים שלא מוזכרים במפורש במסמך הזה לא נשמרים.

התנהגות של שמירת מטא-נתונים

בקטעים הבאים מפורטות דוגמאות למטא-נתונים ממערכות אחסון שונות של מקורות, ומוסבר איך Storage Transfer Service שומר את המטא-נתונים מכל אחת מהן. רשימה מלאה של המטא-נתונים זמינה במסמכי העזרה של מערכת אחסון המקור.

‫Amazon S3 או אחסון שתואם ל-S3 ל-Cloud Storage

דוגמה למטא-נתונים	התנהגות השמירה
שדות מטא-נתונים עם מַפְתח קבוע ב-Amazon S3, כמו: `Cache-Control`, `Content-Disposition` ו- `Content-Type`.	הם נשמרים כמטא-נתונים עם מפתח קבוע.
מטא-נתונים מוגדרים על ידי המשתמש ב-Amazon S3, בפורמט של צמדי מפתח:ערך. מידע נוסף מופיע בקטע מטא-נתונים של אובייקטים שהוגדרו על ידי המשתמש במאמר מטא-נתונים ומפתח של אובייקטים.	הנתונים נשמרים כשדה מטא-נתונים בהתאמה אישית באובייקטים של Cloud Storage ביעד, ואפשר לערוך או להסיר אותם בהמשך.
`ETag`	הערך נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח `x-goog-source-etag`, שאפשר לערוך או להסיר אותו בהמשך.
גודל האובייקט.	השם נשמר כ-`size`.
רשימות של בקרת גישה (ACL) ב-Amazon S3. רשימה מלאה זמינה בקטע מפתחות תנאים במאמר סקירה כללית על רשימות של בקרת גישה (ACL).	לא נשמר.
תגי אובייקט של Amazon S3, שמוגדרים על ידכם כצמדי מפתח/ערך. מידע נוסף זמין במאמר בנושא תגי אובייקטים.	לא נשמר.
מטא-נתונים שמוגדרים על ידי המערכת ב-Amazon S3, למעט `ETag` וגודל האובייקט. רשימה מלאה מופיעה בקטע מטא-נתונים של אובייקטים שמוגדרים על ידי המערכת במאמר מפתח ומטא-נתונים של אובייקטים.	לא נשמר. מטא-נתונים של חותמות זמן ממקור הנתונים לא נשמרים. זמן היצירה, `timeCreated`, משקף את הזמן שבו נוצר אובייקט ב-Cloud Storage. באופן דומה, `updated` משקף את הזמן שבו בוצע שינוי במטא-נתונים של אובייקט ב-Cloud Storage.
סוג אחסון (storage class)	יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה. הגדרת סוג האחסון של כל אובייקט לסוג האחסון של קטגוריית היעד. זו התנהגות ברירת המחדל. הגדרת סוג אחסון ספציפי לכל האובייקטים שמועברים. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions.

‫Microsoft Azure Storage ל-Cloud Storage

דוגמה למטא-נתונים	התנהגות השמירה
שדות מטא-נתונים עם מַפְתח קבוע ב-Microsoft Azure Storage, כמו: `Cache-Control`, `Content-Disposition` ו- `Content-Type`.	הם נשמרים כמטא-נתונים עם מפתח קבוע.
מטא-נתונים שמוגדרים על ידי המשתמש ב-Microsoft Azure Storage, בפורמט של צמדי מפתח:ערך. מידע נוסף זמין במאמר הגדרות ואחזור של מאפיינים ומטא-נתונים של משאבים בשירות Blob .	הנתונים נשמרים כשדה מטא-נתונים בהתאמה אישית באובייקטים של Cloud Storage ביעד, ואפשר לערוך או להסיר אותם בהמשך.
`ETag`	הערך נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח `x-goog-source-etag`, שאפשר לערוך או להסיר אותו בהמשך.
גודל האובייקט.	השם נשמר כ-`size`.
הרשאות של מערכת קבצים ל-POSIX שנתמכות ב-Azure Data Lake Storage ‏(ADLS) דור שני.	לא נשמר.
בקרת גישה ל-Microsoft Azure Storage, במיוחד `x-ms-blob-public-access`. מידע נוסף זמין בקטע כותרות תגובה במאמר קבלת רשימת ACL של קונטיינר .	לא נשמר.
תגי אינדקס של Microsoft Azure Storage. מידע נוסף זמין במאמר בנושא ניהול נתונים ב-Azure Blob ומציאת נתונים באמצעות תגים של אינדקס Blob .	לא נשמר.
מטא-נתונים של חותמות זמן ב-Microsoft Azure Storage, כמו: `Last-Modified`, `x-ms-creation-time`, `x-ms-version`, `x-ms-request-server-encrypted` וגם `x-ms-encryption-scope`. מידע נוסף זמין במאמר בנושא הגדרת מטא-נתונים של Blob .	לא נשמר. מטא-נתונים של חותמות זמן ממקור הנתונים לא נשמרים. זמן היצירה, `timeCreated`, משקף את הזמן שבו נוצר אובייקט ב-Cloud Storage. באופן דומה, `updated` משקף את הזמן שבו בוצע שינוי במטא-נתונים של אובייקט ב-Cloud Storage.
סוג אחסון (storage class)	יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה. הגדרת סוג האחסון של כל אובייקט לסוג האחסון של קטגוריית היעד. זו התנהגות ברירת המחדל. הגדרת סוג אחסון ספציפי לכל האובייקטים שמועברים. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions.

העברות בין קטגוריות של Cloud Storage

דוגמה למטא-נתונים	התנהגות השמירה
שדות מטא-נתונים עם מפתח קבוע של Cloud Storage, כמו: `Cache-Control`, `Content-Disposition` ו- `Content-Type`. מידע נוסף זמין במאמר מטא-נתונים של אובייקטים.	הם נשמרים כמטא-נתונים עם מפתח קבוע.
מטא-נתונים מוגדרים על ידי המשתמש ב-Cloud Storage, בפורמט של צמדי מפתח:ערך. מידע נוסף מופיע במאמר בנושא מטא-נתונים בהתאמה אישית.	הנתונים נשמרים כשדה מטא-נתונים בהתאמה אישית באובייקטים של Cloud Storage ביעד, ואפשר לערוך או להסיר אותם בהמשך.
גודל האובייקט	השם נשמר כ-`size`.
יצירת אובייקטים	הערך נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח `x-goog-reserved-source-generation`, שאפשר לערוך או להסיר אותו בהמשך.
החזקות אובייקטים	החזקות לצורך משפטי לפי אירוע לא נשמרות. אם בקטגוריית היעד מופעל מאפיין ברירת המחדל של השהיה מבוססת-אירועים, השהיה מבוססת-אירועים מופעלת על האובייקטים המועברים. כברירת מחדל, חיובים זמניים נשמרים. כדי לבטל השהיות זמניות במהלך ההעברה, צריך להגדיר את השדה `temporaryHold` של האובייקט metadataOptions לערך `TEMPORARY_HOLD_SKIP`.
רשימות של בקרת גישה (ACL)	אפשר גם לשמור את רשימות בקרת הגישה. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions. כשמשמרים רשימות ACL, חשוב להיזהר כדי לא ליצור אובייקטים שלא ניתן לגשת אליהם. מידע נוסף זמין במאמר בנושא רשימות בקרת גישה ב-Cloud Storage.
סוג אחסון (storage class)	יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה. הגדרת סוג האחסון של כל אובייקט לסוג האחסון של קטגוריית היעד. זו התנהגות ברירת המחדל. שמירה על סוג האחסון (storage class) של אובייקט המקור. הגדרת סוג אחסון ספציפי לכל האובייקטים שמועברים. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions.
מפתח הצפנה בניהול הלקוח	אם נעשה שימוש ב מפתח הצפנה בניהול הלקוח (CMEK) באובייקט, אפשר להשתמש באותו מפתח גם כשהאובייקט נכתב לקטגוריית היעד. התנהגות ברירת המחדל היא כתיבת האובייקט לקטגוריית היעד באמצעות שיטת ההצפנה של הקטגוריה. כשמשמרים את ה-CMEK המקורי, חשוב לשים לב למגבלות הבאות: קטגוריית היעד צריכה להיות באותו מיקום כמו מפתח ה-CMEK. אם קטגוריית היעד נמצאת בפרויקט אחר, צריך להוסיף את חשבון השירות של Cloud Storage של פרויקט היעד למפתח. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions.
מטא-נתונים של חותמות זמן	אפשר לשמור את `timeCreated`. הערך שנשמר מאוחסן בשדה `customTime` של האובייקט שהועבר ב-Cloud Storage. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions. המטא-נתונים של `updated` לא נשמרים.
מטא-נתונים אחרים ב-Cloud Storage שלא ניתן לערוך, כמו `etag` ו-`componentCount`.	לא נשמר.

רשימת המטא-נתונים ב-Cloud Storage מופיעה במאמר בנושא אובייקטים.

העברה של רשימת כתובות URL ל-Cloud Storage

מידע נוסף על רשימות של כתובות URL זמין במאמר יצירת רשימה של כתובות URL.

דוגמה למטא-נתונים	התנהגות השמירה
שדות של מטא-נתונים עם מפתח קבוע, כמו: `Cache-Control`, `Content-Disposition` ו- `Content-Type`.	נשמרים כמטא-נתונים שניתנים לעריכה.
`Content-Length` וגם `MD5`	הנתונים יישמרו כמטא-נתונים שלא ניתן לערוך. אם המקור לא מספק ערך hash של `MD5`, לא נשמור ערך. התנהגות השמירה הזו ספציפית ל-`Content-Length` ול-`MD5`. מטא-נתונים אחרים שלא רשומים כאן ואי אפשר לערוך אותם לא נשמרים.
מטא-נתונים של חותמות זמן, כמו: זמן היצירה, זמן השינוי ומטא-נתונים אחרים שספציפיים למקור.	לא נשמר. מטא-נתונים של חותמות זמן ממקור הנתונים לא נשמרים. זמן היצירה, `timeCreated`, משקף את הזמן שבו נוצר אובייקט ב-Cloud Storage. באופן דומה, `updated` משקף את הזמן שבו בוצע שינוי במטא-נתונים של אובייקט ב-Cloud Storage.
סוג אחסון (storage class)	יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה. הגדרת סוג האחסון של כל אובייקט לסוג האחסון של קטגוריית היעד. זו התנהגות ברירת המחדל. הגדרת סוג אחסון ספציפי לכל האובייקטים שמועברים. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions.

העברות של מערכות קבצים ל-POSIX

כשמעבירים קבצים ממערכות קבצים של POSIX, אפשר להגדיר את Storage Transfer Service כך שישמור מאפיינים מסוימים כמטא-נתונים מותאמים אישית. אם הקבצים האלה ייכתבו בהמשך בחזרה למערכת קבצים, Storage Transfer Service יכול להמיר את המטא-נתונים שנשמרו בחזרה למאפייני POSIX.

דוגמה למטא-נתונים	התנהגות השמירה
זמן השינוי (`mtime`)	משומר. ‫`mtime` נשמר כמטא-נתונים בהתאמה אישית עם המפתח `goog-reserved-file-mtime`.
גודל הקובץ	משומר. גודל הקובץ נשמר כ-`size`.
מזהה משתמש מספרי מזהה קבוצה מספרי מצב מספרי קישורים סמליים	זה שינוי אופציונלי. התנהגות השמירה מצוינת באובייקט `metadataOptions`. פרטים נוספים זמינים במאמר בנושא שמירה של מטא-נתונים אופציונליים של POSIX. התנהגות ברירת המחדל היא לא לשמור מטא-נתונים.
מטא-נתונים של תיקיות	מטא-נתונים ברמת התיקייה נשמרים רק בהעברות בין מערכות קבצים. ההגדרות של שמירת ה-UID, ה-GID והמצב של ההעברה חלות על קבצים ותיקיות בהעברות האלה. ההגדרה `mtime` לא נשמרת בתיקיות. ‫`mtime` מוגדר לזמן היצירה של התיקייה במערכת הקבצים של היעד. המטא-נתונים של התיקייה לא נשמרים בהעברות של קובץ המניפסט.
סוג אחסון (storage class)	יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה. הגדרת סוג האחסון של כל אובייקט לסוג האחסון של קטגוריית היעד. זו התנהגות ברירת המחדל. הגדרת סוג אחסון ספציפי לכל האובייקטים שמועברים. פרטים נוספים מופיעים במאמרי העזרה בנושא metadataOptions.

שמירה של מטא-נתונים אופציונליים של POSIX

כדי לשמור על אחד או יותר מהערכים UID מספרי, GID מספרי, MODE מספרי וקישורים סמליים, צריך לציין אובייקט metadataOptions בגוף של עבודת ההעברה.

האפשרויות האלה חלות גם על העברות מ-POSIX ל-Cloud Storage וגם על העברות מ-Cloud Storage ל-POSIX. במקרה השני, המטא-נתונים צריכים להישמר כשמעבירים קבצים ל-Cloud Storage.

{
  "description": "metadata-example",
  "projectId": "example-project-id"
  "transferSpec": {
    ...
    "transferOptions": {
      "metadataOptions": {
        "gid":     "GID_NUMBER",       # Default is "GID_SKIP"
        "uid":     "UID_NUMBER",       # Default is "UID_SKIP"
        "mode":    "MODE_PRESERVE",    # Default is "MODE_SKIP"
        "symlink": "SYMLINK_PRESERVE"  # Default is "SYMLINK_SKIP"
      }
    }
  }
}

מ-POSIX ל-Cloud Storage

המטא-נתונים שנשמרו מאוחסנים ב-Cloud Storage כצמדי מפתח:ערך של מטא-נתונים בהתאמה אישית.

ה-GID המספרי מאוחסן כ-goog-reserved-posix-gid.
מזהה משתמש מספרי מאוחסן כ-goog-reserved-posix-uid.
הערך של מצב המספרים נשמר כ-goog-reserved-posix-mode.

בקישורים סמליים, Storage Transfer Service שומר את קישור היעד כאובייקט ב-Cloud Storage עם המאפיינים הבאים:

מפתח האובייקט מורכב מהקידומת של היעד בתוספת הנתיב לקישור הסימבולי, ביחס ל-root_directory.
מטא-נתונים של אובייקט:
- כל המטא-נתונים של הקישור הסימבולי נשמרים כמטא-נתונים של אובייקט ב-Cloud Storage.
- נוצרת רשומת מטא-נתונים מותאמים אישית: goog-reserved-file-is-symlink:true.
תוכן האובייקט הוא היעד של הקישור הסמלי. לדוגמה, עבור קישור סמלי sym-> dir1/target, התוכן של האובייקט הוא dir1/target.

Storage Transfer Service לא מאמת את הקישור או מעתיק את קובץ היעד.

Cloud Storage ל-POSIX

אם המטא-נתונים נשמרים כשמעבירים קבצים ל-Cloud Storage, אפשר לכתוב את המטא-נתונים בחזרה לקבצים כשמעבירים אותם בחזרה למערכת קבצים של POSIX.

אם אפשרות של מטא-נתונים מוגדרת לשימור, Storage Transfer Service מבצע את הפעולות הבאות:

קישורים סימבוליים: Storage Transfer Service יוצר קובץ קישור סימבולי שמפנה לקישור היעד. אם קובץ היעד לא קיים, הקישור הסמלי יישבר.
‫GID,‏ UID ו-MODE: הערכים שמאוחסנים במטא-נתונים של Cloud Storage נכתבים בחזרה לקובץ.

מ-POSIX ל-POSIX

העברות בין מערכות קבצים יכולות לשמור על GID,‏ UID ו-MODE עבור קבצים ותיקיות.

השעה של השינוי האחרון נשמרת לגבי קבצים, אבל לא לגבי תיקיות. ‫mtime מוגדר לזמן היצירה של התיקייה במערכת הקבצים של היעד.

Storage Transfer Service שומר את המטא-נתונים של התיקייה על ידי יצירת אובייקטים של תיקיות בגודל 0 בייט בקטגוריית הביניים, ואז מעתיק את המטא-נתונים האלה חזרה לתיקייה במערכת הקבצים של היעד. לכן, יכול להיות שמספר האובייקטים שנוצרו בדלי הביניים יהיה גדול ממספר הקבצים שמועברים.

שמירה על מטא-נתונים קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.