Améliorer la vitesse de transfert

Les vitesses de transfert sont affectées par des facteurs tels que l'emplacement et le fournisseur source, la taille des fichiers et le nombre de fichiers.

Si votre transfert progresse plus lentement que prévu, consultez les informations de cette page pour connaître les raisons et les solutions possibles.

Transferts sans agent

Pour les transferts vers Cloud Storage depuis Amazon S3, Microsoft Azure, des listes d'URL ou Cloud Storage, le service de transfert de stockage gère le transfert sans avoir besoin d'agents de transfert hébergés.

Créer plusieurs transferts parallèles

Le service de transfert de stockage est limité à un nombre maximal de requêtes par seconde (RPS) autorisé par tâche de transfert. Si votre tâche implique un grand nombre de fichiers relativement petits, sa vitesse de transfert est limitée par ce plafond de RPS. Le transfert d'un objet peut déclencher des opérations de liste, de lecture et d'écriture, chacune d'elles étant comptabilisée dans le nombre maximal de RPS.

Pour contourner la limite de RPS, divisez votre transfert volumineux en plusieurs tâches de transfert. Utilisez des préfixes d'inclusion et d'exclusion pour créer des tâches de transfert contenant moins de fichiers. Voici ce que vous pouvez créer :

Par exemple, pour ne transférer que les fichiers dont le nom ou le chemin d'accès commence par les lettres a à e :

Gcloud CLI 

gcloud transfer jobs create SOURCE DESTINATION \
  --include-prefixes="a,b,c,d,e"

REST 

{
    "description": "YOUR DESCRIPTION",
    "status": "ENABLED",
    "projectId": "PROJECT_ID",
    "schedule": {
        "scheduleStartDate": {
            "day": 1,
            "month": 1,
            "year": 2015
        },
        "startTimeOfDay": {
            "hours": 1,
            "minutes": 1
        }
    },
    "transferSpec": {
        "gcsDataSource": {
            "bucketName": "GCS_SOURCE_NAME"
        },
        "gcsDataSink": {
            "bucketName": "GCS_SINK_NAME"
        },
        "transferOptions": {
            "deleteObjectsFromSourceAfterTransfer": true
        },
        "objectConditions": {
            "includePrefixes": [
                "a","b","c","d","e"
            ],
            "excludePrefixes": [
                "path_1/subpath_2/object_5"
            ]
        }
    }
}

Transferts basés sur un agent

Pour obtenir des conseils sur l'accélération des transferts basés sur un agent, consultez Bonnes pratiques pour les transferts de système de fichiers.