בדף הזה מתועדות מגבלות ידועות של Cloud Storage ושל Storage Transfer Service.
מגבלות נפוצות
מגבלת גודל האובייקט ב-Cloud Storage: 5TiB
ב-Cloud Storage יש תמיכה בגודל אובייקט יחיד של עד 5 טביבייט. אם יש לכם אובייקטים שגדולים מ-5TiB, העברת האובייקטים האלה תיכשל ב-Cloud Storage או ב-Storage Transfer Service.
דרישות למתן שמות לאובייקטים ב-Cloud Storage
ב-Cloud Storage יש דרישות לשמות של אובייקטים שחלות על כל ההעברות של Storage Transfer Service.
אובייקטים שהשתנו לא מועברים
Storage Transfer Service לא נועל קובצי מקור במהלך העברה.
אם הנתונים של אובייקט מתעדכנים במהלך העברה, כך Storage Transfer Service מגיב:
העברות מעננים שאינם של Google אל Google Cloud: אם הנתונים של אובייקט מתעדכנים במהלך ההעברה, Storage Transfer Service לא מצליח להעביר את האובייקט הספציפי הזה והוא לא מועבר.
העברות ממערכות קבצים אל Google Cloud: אם הנתונים של אובייקט מתעדכנים במהלך ההעברה, Storage Transfer Service מנסה להעלות אותו שוב. אם ההעלאה נכשלת כמה פעמים, Storage Transfer Service מתעד
FILE_MODIFIED_FAILURE. מידע נוסף זמין במאמר בנושא פתרון בעיות.העברות מ-Google Cloud למערכת קבצים: אם הנתונים של אובייקט מתעדכנים במהלך ההעברה, Storage Transfer Service מנסה להוריד אותו שוב. אם ההורדה נכשלת כמה פעמים, Storage Transfer Service מתעד את השגיאה
PRECONDITION_FAILURE. מידע נוסף זמין במאמר בנושא פתרון בעיות.
כדי לפתור את הכשל:
- מנסים להעביר שוב.
אם העברת האובייקט ממשיכה להיכשל, צריך לוודא שאי אפשר לעדכן את הנתונים שלו במהלך ההעברה:
- מקור Cloud Storage – הוספת דגל object hold לאובייקט.
- מקור Amazon S3 – הגדרת נעילת אובייקט ב-S3.
- מקור Microsoft Azure Storage – הגדרת מדיניות אי-שינוי ל-Blob Storage.
- מקור מערכת הקבצים – הגדרת הקבצים במצב קריאה בלבד או הגבלת הכתיבה לקבצים שמועברים.
אחרי שההעברה תסתיים, תוכלו להפעיל מחדש את העדכונים לאובייקט.
תיקיות ב-Cloud Storage
אובייקטים ב-Cloud Storage נמצאים במרחב שמות שטוח בתוך קטגוריה. מידע נוסף זמין במאמר בנושא מרחב השמות של אובייקטים. לכן, Storage Transfer Service לא יוצר מרחבי שמות היררכיים ב-Cloud Storage. לדוגמה, אם אתם מעבירים מ-Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service לא יוצר מחדש את מרחבי השמות של ADLS Gen 2 ב-Cloud Storage.
מחיקת אובייקטים בקטגוריות של Amazon S3 שהושעה בהן ניהול הגרסאות
כשמשתמשים בתכונה 'מחיקת אובייקטים מהמקור אחרי ההעברה' של Storage Transfer Service בקטגוריית Amazon S3 שבה מושעה ניהול הגרסאות, Storage Transfer Service מסיר את האובייקט עם מזהה גרסה null, ולא את הגרסה הנוכחית.
המיקום של משימות Storage Transfer Service
המיקום של Storage Transfer Service נבחר על סמך האזור של קטגוריית המקור ב-Cloud Storage. החל מהיום, אנחנו יוצרים משימות של Storage Transfer Service במיקומים הבאים. הרשימה הזו עשויה להשתנות ככל ש-Storage Transfer Service יוסיף תמיכה באזורים חדשים.
אם קטגוריה של Cloud Storage של המקור ממוקמת באזור שלא מופיע ברשימה, המערכת תבחר את אזור ברירת המחדל בתוך האזור החיצוני של המקור.
| מיקומים נתמכים | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
מגבלות ידועות של העברות של מערכות קבצים
אין תמיכה בזמן אמת
Storage Transfer Service לא תומך בזיהוי שינויים בתדירות של פחות משעה. Storage Transfer Service הוא שירות להעברת נתונים באצווה, שיכול לסרוק את המקור בתדירות של עד פעם בשעה.
תצורות נתמכות של מערכות הפעלה
סוכני ההעברה דורשים התקנה של Docker, והם פועלים בשרתים או במכונות וירטואליות (VM) של Linux. כדי להעתיק נתונים במערכת קבצים CIFS או SMB, אפשר להטמיע את אמצעי האחסון בשרת או במכונה וירטואלית של Linux ואז להריץ את הסוכן משרת או ממכונה וירטואלית של Linux.
דרישות זיכרון
אלה דרישות הזיכרון של שירות ההעברה לסוכני נתונים מקומיים:- זיכרון מינימלי: 1GiB
- הזיכרון המינימלי שנדרש כדי לתמוך בהעלאות עם ביצועים גבוהים: 6GiB
מגבלות על הרחבת היקף הפעילות
Storage Transfer Service תומך בהעברות נפרדות:
- הגודל שלהן הוא מאות טרה-בייט
- עד מיליארד קבצים
- מהירות העברה של כמה עשרות Gbps
העברות בנפח גדול יותר הן אמינות, אבל לא נבדקו מבחינת ביצועים.
אם יש לכם מערך נתונים גדול יותר מהמגבלות האלה, מומלץ לפצל את הנתונים בין כמה משימות העברה.
אנחנו תומכים כרגע בספריות גדולות, כל עוד לכל סוכן יש לפחות 1GB של זיכרון זמין לכל מיליון קבצים בספרייה הגדולה ביותר, כדי שנוכל לחזור על תוכן הספרייה בלי לחרוג מהזיכרון.
הגבלות על סוכנים ומאגרי סוכנים
אנחנו תומכים בעד 100 סוכנים במאגר סוכנים יחיד. בסביבות טיפוסיות, לא סביר שתצטרכו יותר נציגים כדי לשפר את הביצועים.
אפשר להשתמש בעד 800 מאגרי סוכנים לכל פרויקט.
ספרייה אחת לכל משרה
אנחנו תומכים בהעברה רק של התוכן המלא של ספרייה במערכת קבצים (באופן רקורסיבי). אפשר לחלק את ההעברה על ידי יצירת כמה משימות להעברת ספריות משנה שונות של מערך הנתונים, אבל נכון לעכשיו אנחנו לא תומכים בחיפוש קבצים באמצעות globbing או בסינון קבצים במסגרת משימה אחת.
שמות קבצים נתמכים
הכללים הבאים חלים על כל שמות הקבצים שמועברים:
- שמות הקבצים צריכים להיות בקידוד UTF8.
- שמות הקבצים צריכים להיות תואמים ל-Unicode.
- הם לא יכולים להכיל מעברי שורה (
\n) או חזרה לתחילת השורה (\r).
אם ספריית קובצי המקור מכילה שמות קבצים שלא נתמכים, המשימה של רישום הקבצים בספרייה הזו תיכשל.
אם זה קורה, צריך לעדכן את שמות הקבצים שלא נתמכים ולהפעיל מחדש את העבודה.
סוגי קבצים נתמכים
Storage Transfer Service תומך בהעברה של קבצים רגילים וקבצים מוסתרים דמויי Unix.
קבצים מוסתרים בסגנון Unix הם קבצים שמתחילים בתו .. כש-Storage Transfer Service נתקל בקובץ לא רגיל, כמו מכשיר, צינור בעל שם או שקע, הוא מעלה שגיאה UNSUPPORTED_FILE_MODE.
ספריות ריקות לא נוצרות ב-Cloud Storage, כי אובייקטים לא נמצאים בספריות משנה בתוך קטגוריה. מידע נוסף זמין במאמר בנושא מרחב שמות של אובייקטים.
אורך הנתיב המקסימלי
Storage Transfer Service פועל לפי האורך המקסימלי של נתיב ב-Cloud Storage, שהוא 1,024 בייטים. הקידומת של אובייקט היעד כלולה במגבלת האורך, כי הקידומת משולבת בשם האובייקט ב-Cloud Storage.
מטא-נתונים נתמכים של קבצים
במאמר שמירת מטא-נתונים מפורט אילו מטא-נתונים נשמרים כברירת מחדל או כאפשרות.
השהיות ממושכות של משרות
משרות שמושהות למשך יותר מ-30 יום נחשבות לא פעילות. כשמשימה לא פעילה, המשימה המושהית מבוטלת והתזמון של הגדרות המשימה מושבת. לא יתחילו הרצות חדשות של עבודות אלא אם תפעילו מחדש את העבודה באופן מפורש.
אבטחה של מקור מערכת הקבצים
גישת סוכן
משתמשים שיש להם הרשאה ליצור משימות העברה יכולים לאחזר נתונים מכל ספרייה במערכת הקבצים שהסוכן יכול לגשת אליה, ולהוריד אליה נתונים. אם סוכנים מופעלים כ-root ומקבלים גישה לכל מערכת הקבצים, גורם זדוני עלול להשתלט על המארח. מומלץ מאוד להגביל את הגישה של הסוכנים רק לספריות שנדרשות.