Letture e download di oggetti

Questa pagina illustra i concetti relativi alla lettura e al download di oggetti in Cloud Storage.

Lettura di oggetti

La lettura di un oggetto si riferisce allo streaming, al consumo o all'ispezione dei dati dell'oggetto o di un intervallo di byte specifico su una connessione di rete aperta direttamente in memoria. Anziché essere salvato localmente, il payload recuperato è effimero e risiede in un flusso di memoria, un buffer, una pipeline dell'applicazione o direttamente nella memoria della CPU/GPU. La lettura degli oggetti è adatta a workload ad alte prestazioni e a elevato throughput, come lo streaming di set di dati di addestramento e batch di tensori in framework di intelligenza artificiale (AI) e machine learning (ML) come Pytorch o Jax.

Il seguente elenco descrive i tipi di letture di oggetti disponibili in Cloud Storage:

  • Lettura di oggetti in memoria o letture di oggetti interattive: un metodo in cui i dati vengono utilizzati in modo interattivo o in memoria. Il client recupera l'intero oggetto e carica tutti i relativi byte in una variabile contigua, in un array di byte o in una stringa in memoria.

  • Lettura dei flussi di dati: un metodo in cui i dati vengono utilizzati come flusso di byte direttamente durante la ricezione dalla rete, anziché attendere il completamento dell'intero trasferimento.

Download di oggetti

Il download di un oggetto è un'attività end-to-end che trasferisce i dati dell'oggetto da Cloud Storage a un file persistente su un file system locale, un disco o un dispositivo di archiviazione di destinazione. A differenza delle letture di streaming in memoria, il download comprende sia il recupero dei byte remoti sia il loro commit nell'archiviazione locale. Il download degli oggetti è adatto principalmente alla gestione dei file per uso generico, all'archiviazione locale, al backup dei dati e all'utilizzo di utilità offline.

Quando si utilizzano le API REST, i download vengono eseguiti utilizzando le richieste GET HTTP o HTTPS che possono includere un'intestazione Range facoltativa, che definisce una parte specifica dell'oggetto da scaricare nell'archiviazione persistente o locale. Puoi anche utilizzare l'intestazione Range per riprendere i download interrotti. Quando si utilizza gRPC, i download utilizzano i flussi storage.v2.Storage/ReadObject o BidiReadObject.

Il seguente elenco descrive i tipi di download di oggetti disponibili in Cloud Storage:

  • Download semplici: la forma più semplice di download di oggetti. Il client invia una singola richiesta per recuperare l'intero oggetto o un intervallo di byte specificato in un unico trasferimento continuo.

  • Download di oggetti suddivisi: una strategia ad alte prestazioni in cui un singolo oggetto di grandi dimensioni viene suddiviso in più "sezioni" più piccole (note anche come "blocchi"). Il client scarica queste sezioni in parallelo utilizzando più richieste in parallelo indipendenti, quindi le riassembla localmente in un unico file.

Supporto degli strumenti per la lettura e il download di oggetti

Console

Quando utilizzi la Google Cloud console, puoi eseguire le seguenti letture di oggetti e download:

Riga di comando

Puoi eseguire le seguenti letture e download di oggetti quando utilizzi Google Cloud CLI:

Librerie client

C++

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client C++:

C#

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client C#:

Vai

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client Go:

Java

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client Java:

Node.js

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client Node.js:

PHP

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client PHP:

Python

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client Python:

Ruby

Puoi eseguire i seguenti tipi di letture e download quando utilizzi la libreria client Ruby:

API REST

Se utilizzi le API REST per scaricare gli oggetti, consulta Endpoint delle richieste per una discussione completa sugli endpoint delle richieste che puoi utilizzare.

API JSON

Puoi eseguire i seguenti tipi di download quando utilizzi l'API JSON:

API XML

Puoi eseguire i seguenti tipi di download quando utilizzi l'API XML:

Passaggi successivi