Questa pagina documenta le limitazioni note di Cloud Storage e Storage Transfer Service.
Limitazioni comuni
Limite dimensionale degli oggetti di 5 TiB di Cloud Storage
Cloud Storage supporta una dimensione massima di un singolo oggetto fino a 5 tebibyte. Se hai oggetti di dimensioni superiori a 5 TiB, il trasferimento degli oggetti non riesce per Cloud Storage o Storage Transfer Service.
Requisiti per la denominazione degli oggetti Cloud Storage
Cloud Storage impone requisiti per i nomi degli oggetti che si applicano a tutti i trasferimenti di Storage Transfer Service.
Gli oggetti modificati non vengono trasferiti
Storage Transfer Service non blocca i file di origine durante un trasferimento.
Se i dati di un oggetto vengono aggiornati durante un trasferimento, di seguito viene descritto come risponde Storage Transfer Service:
Trasferimenti da cloud non Google a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service non riesce a completare il trasferimento per quell'oggetto specifico e l'oggetto non viene trasferito.
Trasferimenti da file system a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta nuovamente il caricamento. Se il caricamento non riesce più volte, Storage Transfer Service registra un
FILE_MODIFIED_FAILURE. Per saperne di più, vedi Risoluzione dei problemi.Trasferimenti da Google Cloud a un file system: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta nuovamente il download. Se il download non va a buon fine più volte, Storage Transfer Service registra un
PRECONDITION_FAILURE. Per saperne di più, vedi Risoluzione dei problemi.
Per risolvere l'errore:
- Prova di nuovo a effettuare il trasferimento.
Se il trasferimento dell'oggetto continua a non riuscire, assicurati che i relativi dati non possano essere aggiornati durante il trasferimento:
- Origine Cloud Storage - Inserisci un blocco di conservazione di un oggetto.
- Origine Amazon S3: Imposta un blocco oggetto S3.
- Origine di archiviazione Microsoft Azure - Imposta una policy di immutabilità per l'archiviazione BLOB.
- Origine del file system: imposta i file in modalità di sola lettura o limita in altro modo le scritture ai file in fase di trasferimento.
Al termine del trasferimento, puoi riattivare gli aggiornamenti dell'oggetto.
Cartelle in Cloud Storage
Gli oggetti Cloud Storage si trovano all'interno di uno spazio dei nomi semplice in un bucket. Per maggiori informazioni, vedi Spazio dei nomi degli oggetti. Per questo motivo, Storage Transfer Service non crea spazi dei nomi gerarchici in Cloud Storage. Ad esempio, se esegui il trasferimento da Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service non ricrea gli spazi dei nomi ADLS Gen 2 in Cloud Storage.
Eliminazione di oggetti nei bucket Amazon S3 con controllo delle versioni sospeso
Quando utilizzi la funzionalità di eliminazione degli oggetti dall'origine dopo il trasferimento di Storage Transfer Service su un bucket Amazon S3 con controllo delle versioni sospeso, Storage Transfer Service rimuove l'oggetto con un ID versione nullo, non la versione corrente.
Posizione dei job Storage Transfer Service
Storage Transfer Service sceglie la sua posizione in base alla regione del bucket Cloud Storage di origine. A partire da oggi, creiamo job Storage Transfer Service nelle seguenti località. Questo elenco potrebbe cambiare man mano che Storage Transfer Service aggiunge il supporto per nuove regioni.
Se il bucket Cloud Storage di origine si trova in una regione non elencata, sceglieremo la regione predefinita all'interno della regione esterna dell'origine.
| Località supportate | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia1 | europe-west10 | us-east5 |
| australia-southeast1 | europe-west12 | us-east7 |
| australia-southeast2 | me-central1 | us-west1 |
| me-central2 | us-west2 | |
| me-west1 | us-west3 | |
| us-west4 |
Limitazioni note dei trasferimenti del file system
Nessun supporto in tempo reale
Storage Transfer Service non supporta il rilevamento delle modifiche a intervalli inferiori a un'ora. Storage Transfer Service è un servizio di spostamento dei dati batch che può eseguire la scansione dell'origine con una frequenza massima di una volta all'ora.
Configurazioni del sistema operativo supportate
Gli agenti di trasferimento richiedono l'installazione di Docker e vengono eseguiti su server Linux o macchine virtuali (VM). Per copiare i dati su un file system CIFS o SMB, puoi montare il volume su un server o una VM Linux e poi eseguire l'agente dal server o dalla VM Linux.
Requisiti di memoria
Di seguito sono riportati i requisiti di memoria per gli agenti di Transfer Service for On Premises Data:- Memoria minima: 1 GiB
- Memoria minima per supportare caricamenti ad alte prestazioni: 6 GiB
Limitazioni di scalabilità
Storage Transfer Service supporta i singoli trasferimenti che:
- Centinaia di terabyte
- Fino a 1 miliardo di file
- Velocità di trasferimento di diverse decine di Gbps
I trasferimenti individuali superiori a queste dimensioni sono affidabili, ma non sono stati testati per le prestazioni.
Se hai un set di dati più grande di questi limiti, ti consigliamo di dividere i dati in più job di trasferimento.
Al momento supportiamo directory di grandi dimensioni, a condizione che ogni agente disponga di almeno 1 GB di memoria disponibile per ogni milione di file nella directory più grande, in modo da poter iterare sui contenuti della directory senza superare la memoria.
Limitazioni di agenti e pool di agenti
Supportiamo fino a 100 agenti per un singolo pool di agenti. È improbabile che ti servano più agenti per ottenere un rendimento migliore in ambienti tipici.
Sono supportati fino a 800 pool di agenti per progetto.
Una directory per job
Supportiamo il trasferimento solo dei contenuti completi di una directory del file system (in modo ricorsivo). Puoi partizionare il trasferimento creando più job che trasferiscono directory secondarie diverse del set di dati, ma al momento non supportiamo il globbing o il filtraggio dei file all'interno di un singolo job.
Nomi dei file supportati
Le seguenti regole si applicano a tutti i nomi dei file che fanno parte di un trasferimento:
- I nomi dei file devono utilizzare la codifica UTF8.
- I nomi dei file devono essere compatibili con Unicode.
- Non devono contenere nuove righe (
\n) o ritorni a capo (\r).
Se la directory di origine contiene nomi di file non supportati, l'attività di elenco dei file per quella directory non viene completata.
In questo caso, aggiorna i nomi dei file non supportati ed esegui di nuovo il job.
Tipi di file supportati
Storage Transfer Service supporta il trasferimento di file regolari e file nascosti di tipo Unix.
I file nascosti in stile Unix sono file che iniziano con il carattere .. Quando Storage Transfer Service
rileva un file non regolare, ad esempio un dispositivo, una named pipe o un socket, genera un errore UNSUPPORTED_FILE_MODE.
Le directory vuote non vengono create in Cloud Storage perché gli oggetti non risiedono all'interno di sottodirectory di un bucket. Per maggiori informazioni, vedi Spazio dei nomi dell'oggetto.
Lunghezza massima del percorso
Storage Transfer Service rispetta la lunghezza massima del percorso di 1024 byte di Cloud Storage. Il prefisso dell'oggetto di destinazione è incluso nel limite di lunghezza, in quanto è incorporato nel nome dell'oggetto in Cloud Storage.
Metadati dei file supportati
Consulta la sezione Conservazione dei metadati per informazioni dettagliate sui metadati conservati, per impostazione predefinita o facoltativamente.
Pause prolungate dei lavori
I job messi in pausa per più di 30 giorni vengono considerati inattivi. Quando un job è inattivo, il job in pausa viene interrotto e la pianificazione della configurazione del job viene disattivata. Non vengono avviate nuove esecuzioni del job, a meno che tu non lo riattivi esplicitamente.
Sicurezza dell'origine del file system
Accesso agente
Gli utenti in grado di creare job di trasferimento possono recuperare i dati da qualsiasi directory del file system accessibile all'agente e scaricarli. Se gli agenti vengono eseguiti come root e hanno accesso all'intero file system, un malintenzionato potrebbe essere in grado di assumere il controllo dell'host. Ti consigliamo vivamente di limitare l'accesso dell'agente solo alle directory necessarie.