La velocidad de transferencia se ve afectada por factores como la ubicación y el proveedor de la fuente, el tamaño de los archivos y el número de archivos.
Si tu transferencia se está completando más lentamente de lo esperado, consulta la información de esta página para ver los posibles motivos y soluciones.
Transferencias sin agentes
En el caso de las transferencias a Cloud Storage desde Amazon S3, Microsoft Azure, listas de URLs o Cloud Storage, el Servicio de transferencia de Storage gestiona la transferencia sin necesidad de agentes de transferencia alojados.
Crear varias transferencias paralelas
Storage Transfer Service tiene un número máximo de consultas por segundo (CPS) permitidas por trabajo de transferencia. Si tu trabajo implica un gran número de archivos relativamente pequeños, la velocidad de transferencia se verá limitada por este límite de consultas por segundo. La transferencia de un objeto puede activar operaciones de lista, lectura y escritura, cada una de las cuales se tiene en cuenta para el máximo de consultas por segundo.
Para evitar el límite de CPS, divide la transferencia grande en varias tareas de transferencia. Usa prefijos de inclusión y exclusión para crear trabajos de transferencia que contengan menos archivos. Puedes crear lo siguiente:
- Hasta 5000 tareas al día
- con 200 trabajos en ejecución en cualquier momento
Por ejemplo, para transferir solo los archivos cuyo nombre o ruta empiecen por las letras de la a
a la e
, haz lo siguiente:
CLI de gcloud
gcloud transfer jobs create SOURCE DESTINATION \
--include-prefixes="a,b,c,d,e"
REST
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
},
"objectConditions": {
"includePrefixes": [
"a","b","c","d","e"
],
"excludePrefixes": [
"path_1/subpath_2/object_5"
]
}
}
}
Transferencias basadas en agentes
Para obtener consejos sobre cómo acelerar las transferencias basadas en agentes, consulta las prácticas recomendadas para las transferencias de sistemas de archivos.