Caricare e scaricare oggetti di archiviazione

L'archiviazione di oggetti in Google Distributed Cloud (GDC) con air gap consente di trasferire e recuperare file, directory e dati con controllo delle versioni tra bucket con ambito di progetto. Puoi eseguire operazioni su file singoli o in più parti tramite la console GDC o la CLI gdcloud e proteggere gli oggetti con la crittografia AEADKey personalizzata.

Prima di iniziare

I bucket di archiviazione sono risorse con ambito limitato a un progetto specifico. Il progetto funge da container, raggruppando i bucket e consentendone la gestione tramite il server dell'API di gestione. Prima di poter eseguire le operazioni in questa pagina, devi creare un nuovo progetto o selezionarne uno esistente per cui disponi di autorizzazioni sufficienti.

Ruoli IAM richiesti

Contatta l'amministratore di progetto IAM per richiedere i seguenti ruoli nello spazio dei nomi del progetto:

  • Project Bucket Admin (project-bucket-admin): crea, aggiorna ed elimina i bucket di archiviazione.
  • Project Bucket Object Viewer (project-bucket-object-viewer): visualizza e controlla i dettagli dei bucket e degli oggetti di archiviazione.

Per saperne di più, consulta Concedi l'accesso al bucket.

prepara l'ambiente

Per eseguire comandi sul server API di gestione o sul server API globale, segui questi passaggi:

  1. Accedi e genera il file kubeconfig per il server API di gestione a livello di zona, se non ne hai uno.
  2. Per i bucket a due zone, segui questi passaggi:
    • Verifica con l'operatore dell'infrastruttura (IO) che la risorsa personalizzata BucketLocationConfig sia stata creata per le zone accoppiate.
    • Genera il file kubeconfig per il server API globale.

Linee guida per la denominazione degli oggetti

Segui queste linee guida per assegnare un nome agli oggetti:

  • Utilizza i caratteri UTF-8 per i nomi degli oggetti.
  • Avere una lunghezza compresa tra 1 e 55 caratteri.
  • Evita di includere informazioni che consentono l'identificazione personale (PII).

Carica oggetti nei bucket di archiviazione

Console

  1. Nel menu di navigazione, fai clic su Archiviazione di oggetti.
  2. Fai clic sul nome del bucket in cui vuoi caricare l'oggetto.
  3. (Facoltativo) Se vuoi creare una cartella in cui archiviare l'oggetto, fai clic su Crea cartella > inserisci un nome per la cartella > fai clic su Crea.
  4. Fai clic direttamente su Carica file o vai alla cartella appena creata e fai clic su Carica file.
  5. Seleziona il file desiderato e fai clic su Apri.
  6. Attendi il messaggio di conferma che il caricamento è andato a buon fine.

gdcloud

Per caricare un oggetto, esegui questi comandi:

gdcloud storage cp LOCAL_PATH s3://REMOTE_PATH
gdcloud storage cp s3://FULLY_QUALIFIED_SOURCE_BUCKET_NAME s3://FULLY_QUALIFIED_DESTINATION_BUCKET_NAME
gdcloud storage mv s3://FULLY_QUALIFIED_SOURCE_BUCKET_NAME s3://FULLY_QUALIFIED_DESTINATION_BUCKET_NAME

I seguenti comandi richiedono FULLY_QUALIFIED_BUCKET_NAME. Utilizza il comando GET o DESCRIBE della sezione Visualizza la configurazione del bucket per ottenere il nome completo del bucket.

Il seguente comando carica tutti i file di testo dalla directory locale a un bucket:

gdcloud storage cp *.txt s3://FULLY_QUALIFIED_BUCKET_NAME

Il seguente comando carica più file dalla directory locale in un bucket:

gdcloud storage cp abc1.txt abc2.txt s3://FULLY_QUALIFIED_BUCKET_NAME

Per caricare una cartella in un bucket, utilizza l'opzione --recursive per copiare un intero albero di directory. Il seguente comando carica l'albero di directory dir:

gdcloud storage cp DIRECTORY_NAME s3://FULLY_QUALIFIED_BUCKET_NAME --recursive

Eseguire caricamenti multiparte per oggetti di grandi dimensioni o utilizzare automaticamente i caricamenti multiparte quando devi caricare un file di dimensioni superiori a 15 MB. In questo caso, il file viene suddiviso in più parti, ciascuna di 15 MB. L'ultima parte è più piccola. Ogni parte viene caricata separatamente e ricostruita nella destinazione al termine del trasferimento.

Se il caricamento di una parte non va a buon fine, puoi riavviarlo senza influire sulle altre parti già caricate.

Sono disponibili due opzioni relative ai caricamenti multiparte:

  • --disable-multipart: disattiva i caricamenti in più parti per tutti i file.
  • --multipart-chunk-size-mb=SIZE: imposta le dimensioni di ogni blocco di un caricamento in più parti.

I file di dimensioni superiori a SIZE vengono caricati automaticamente come file multiparte multithread. I file più piccoli vengono caricati utilizzando il metodo tradizionale. SIZE è in megabyte. La dimensione predefinita dei blocchi è 15 MB. La dimensione minima consentita per i blocchi è di 5 MB, mentre quella massima è di 5 GB.

Scarica oggetti dai bucket di archiviazione

Console

  1. Nel menu di navigazione, fai clic su Object Storage.
  2. Fai clic sul nome del bucket contenente gli oggetti.
  3. Seleziona la casella di controllo accanto al nome dell'oggetto da scaricare.
  4. Fai clic su Scarica.

gdcloud

Per recuperare gli oggetti dal bucket:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/OBJECT LOCAL_FILE_TO_SAVE

Per scaricare tutti i file di testo da un bucket nella directory corrente:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/*.txt .

Per scaricare il file di testo abc.txt da un bucket nella directory corrente:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt .

Per scaricare una versione precedente del file, visualizza prima l'elenco di tutte le versioni del file:

gdcloud storage ls s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt --all-versions

Output di esempio:

s3://my-bucket/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND
s3://my-bucket/abc.txt#ODgzNEYzQ0MtMzEzRS0xMUVFLTk2NEItMjI1MTAwQkJENjND
s3://my-bucket/abc.txt#ODNCNDEzNzgtMzEzRS0xMUVFLTlDOUMtQzRDOTAwQjg3RTg3

Poi, scarica una versione specifica del file di testo abc.txt dal bucket alla directory corrente:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND .

Utilizza AEADKey personalizzata

Per una maggiore personalizzazione, puoi creare la tua AEADKey e utilizzarla direttamente durante la crittografia degli oggetti nel bucket. In questo modo avrai il pieno controllo della chiave di crittografia, bypassando l'impostazione predefinita. Segui la procedura Crea una chiave per creare una nuova chiave AEADKey e assicurati che si trovi nello stesso Namespace del bucket che intendi utilizzare. Poi, ogni volta che invii la richiesta, assicurati che HEADER sia configurato con x-amz-server-side-encryption: SSE-KMS e x-amz-server-side-encryption-aws-kms-key-id: NAMESPACE_NAME/AEADKey_NAME