Übertragungsgeschwindigkeit verbessern

Die Übertragungsgeschwindigkeit wird durch Faktoren wie Quellspeicherort und ‑anbieter, Dateigrößen und Anzahl der Dateien beeinflusst.

Wenn die Übertragung langsamer als erwartet verläuft, finden Sie auf dieser Seite mögliche Gründe und Lösungen.

Übertragungen ohne Agent

Bei Übertragungen zu Cloud Storage von Amazon S3, Microsoft Azure, URL-Listen oder Cloud Storage wird die Übertragung vom Storage Transfer Service verwaltet, ohne dass gehostete Übertragungs-Agents erforderlich sind.

Mehrere parallele Übertragungen erstellen

Für den Storage Transfer Service gilt eine maximale Anzahl von zulässigen Abfragen pro Sekunde (QPS) pro Übertragungsjob. Wenn Ihr Job eine große Anzahl relativ kleiner Dateien umfasst, wird die Übertragungsgeschwindigkeit durch diese Obergrenze für QPS begrenzt. Das Übertragen eines Objekts kann Listen-, Lese- und Schreibvorgänge auslösen, die jeweils auf die maximale Anzahl von QPS angerechnet werden.

Um das QPS-Limit zu umgehen, teilen Sie die große Übertragung in mehrere Übertragungsjobs auf. Verwenden Sie einschließende und ausschließende Präfixe, um Übertragungsjobs mit weniger Dateien zu erstellen. Sie können Folgendes erstellen:

Wenn Sie beispielsweise nur Dateien übertragen möchten, deren Dateiname oder Pfad mit den Buchstaben a bis e beginnt:

gcloud-CLI 

gcloud transfer jobs create SOURCE DESTINATION \
  --include-prefixes="a,b,c,d,e"

REST 

{
    "description": "YOUR DESCRIPTION",
    "status": "ENABLED",
    "projectId": "PROJECT_ID",
    "schedule": {
        "scheduleStartDate": {
            "day": 1,
            "month": 1,
            "year": 2015
        },
        "startTimeOfDay": {
            "hours": 1,
            "minutes": 1
        }
    },
    "transferSpec": {
        "gcsDataSource": {
            "bucketName": "GCS_SOURCE_NAME"
        },
        "gcsDataSink": {
            "bucketName": "GCS_SINK_NAME"
        },
        "transferOptions": {
            "deleteObjectsFromSourceAfterTransfer": true
        },
        "objectConditions": {
            "includePrefixes": [
                "a","b","c","d","e"
            ],
            "excludePrefixes": [
                "path_1/subpath_2/object_5"
            ]
        }
    }
}

Übertragungen mit Agenten

Tipps zum Beschleunigen von agentbasierten Übertragungen finden Sie unter Best Practices für Dateisystemübertragungen.