שיפור מהירויות ההעברה

מהירויות ההעברה מושפעות מגורמים כמו מיקום וספק המקור, גודל הקבצים ומספר הקבצים.

אם ההעברה מתקדמת לאט יותר מהצפוי, כדאי לעיין במידע שבדף הזה כדי לראות מה יכולות להיות הסיבות לכך ומה אפשר לעשות.

העברות ללא סוכן

בהעברות אל Cloud Storage מ-Amazon S3, מ-Microsoft Azure, מרשימות כתובות URL או מ-Cloud Storage,‏ Storage Transfer Service מנהל את ההעברה בלי צורך בסוכני העברה מתארחים.

יצירת כמה העברות במקביל

ל-Storage Transfer Service יש מספר מקסימלי של שאילתות מותרות לשנייה (QPS) לכל משימת העברה. אם העבודה שלכם כוללת מספר גדול של קבצים קטנים יחסית, מהירות ההעברה מוגבלת על ידי מכסת ה-QPS הזו. העברה של אובייקט יכולה להפעיל פעולות של רשימה, קריאה וכתיבה, וכל אחת מהן נספרת במכסת ה-QPS המקסימלית.

כדי לעקוף את מגבלת השאילתות לשנייה, צריך לפצל את ההעברה הגדולה לכמה משימות העברה. כדי ליצור העברות עם פחות קבצים, אפשר להשתמש בקידומות של הכללה והחרגה. אתם יכולים ליצור:

• עד 5,000 עבודות ביום
• עם 200 משימות שפועלות בכל נקודת זמן

לדוגמה, כדי להעביר רק קבצים ששם הקובץ או הנתיב שלהם מתחילים באותיות a עד e:

‫CLI של gcloud

gcloud transfer jobs create SOURCE DESTINATION \
  --include-prefixes="a,b,c,d,e"

REST

{
    "description": "YOUR DESCRIPTION",
    "status": "ENABLED",
    "projectId": "PROJECT_ID",
    "schedule": {
        "scheduleStartDate": {
            "day": 1,
            "month": 1,
            "year": 2015
        },
        "startTimeOfDay": {
            "hours": 1,
            "minutes": 1
        }
    },
    "transferSpec": {
        "gcsDataSource": {
            "bucketName": "GCS_SOURCE_NAME"
        },
        "gcsDataSink": {
            "bucketName": "GCS_SINK_NAME"
        },
        "transferOptions": {
            "deleteObjectsFromSourceAfterTransfer": true
        },
        "objectConditions": {
            "includePrefixes": [
                "a","b","c","d","e"
            ],
            "excludePrefixes": [
                "path_1/subpath_2/object_5"
            ]
        }
    }
}

העברות מבוססות-סוכן

לקבלת טיפים לזירוז ההעברות שמבוססות על סוכנים, אפשר לעיין במאמר בנושא שיטות מומלצות להעברות של מערכות קבצים.