Letture e download di oggetti

Questa pagina illustra i concetti relativi alla lettura e al download di oggetti in Cloud Storage.

Lettura degli oggetti

La lettura di un oggetto si riferisce allo streaming, all'utilizzo o all'ispezione dei dati dell'oggetto o di un intervallo di byte specifico su una connessione di rete aperta direttamente in memoria. Anziché essere salvato localmente, il payload recuperato è temporaneo e risiede in uno stream di memoria dell'applicazione, in un buffer, in una pipeline o direttamente nella memoria della CPU/GPU. La lettura di oggetti è adatta per workload ad alte prestazioni e ad alta intensità di throughput, come lo streaming di set di dati di addestramento e batch di tensori in framework di intelligenza artificiale (AI) e machine learning (ML) come Pytorch o Jax.

L'elenco seguente descrive i tipi di letture di oggetti disponibili in Cloud Storage:

  • Lettura di oggetti in memoria o letture di oggetti interattivi: un metodo in cui i dati vengono utilizzati in modo interattivo o in memoria. Il client recupera l'intero oggetto e carica tutti i suoi byte in una variabile contigua, un array di byte o una stringa in memoria.

  • Letture in streaming: un metodo in cui i dati vengono utilizzati come flusso di byte direttamente mentre vengono ricevuti dalla rete, anziché attendere il completamento dell'intero trasferimento.

Download di oggetti

Il download di un oggetto è un'attività end-to-end che trasferisce i dati dell'oggetto da Cloud Storage a un file permanente su un file system locale, un disco o un dispositivo di archiviazione di destinazione. A differenza delle letture in streaming in memoria, il download comprende sia il recupero dei byte remoti sia il commit nello spazio di archiviazione locale. Il download di oggetti è adatto principalmente alla gestione di file per uso generico, all'archiviazione locale, al backup dei dati e all'utilizzo di utilità offline.

Quando utilizzi le API REST, i download vengono eseguiti utilizzando richieste HTTP o HTTPS GET che possono includere un'intestazione Range facoltativa, che definisce una parte specifica dell'oggetto da scaricare nello spazio di archiviazione permanente o locale. Puoi anche utilizzare l'intestazione Range per riprendere i download interrotti. Quando utilizzi gRPC, i download utilizzano stream storage.v2.Storage/ReadObject o BidiReadObject.

Il seguente elenco descrive i tipi di download di oggetti disponibili in Cloud Storage:

  • Download semplici: la forma più semplice di download di oggetti. Il client invia una singola richiesta per recuperare l'intero oggetto o un intervallo di byte specificato in un unico trasferimento continuo.

  • Download di oggetti suddivisi: una strategia ad alte prestazioni in cui un singolo oggetto di grandi dimensioni viene diviso in più "sezioni" più piccole (note anche come "chunk"). Il client scarica queste sezioni in parallelo utilizzando più richieste in parallelo indipendenti, quindi le riassembla localmente in un unico file.

Supporto degli strumenti per la lettura e il download degli oggetti

Console

Quando utilizzi la console Google Cloud , puoi eseguire le seguenti letture e download di oggetti:

Riga di comando

Quando utilizzi Google Cloud CLI, puoi eseguire le seguenti letture e download di oggetti:

Librerie client

C++

Quando utilizzi la libreria client C++, puoi eseguire i seguenti tipi di letture e download:

C#

Quando utilizzi la libreria client C#, puoi eseguire i seguenti tipi di letture e download:

Vai

Quando utilizzi la libreria client Go, puoi eseguire i seguenti tipi di letture e download:

Java

Quando utilizzi la libreria client Java, puoi eseguire i seguenti tipi di letture e download:

Node.js

Quando utilizzi la libreria client Node.js, puoi eseguire i seguenti tipi di letture e download:

PHP

Quando utilizzi la libreria client PHP, puoi eseguire i seguenti tipi di letture e download:

Python

Quando utilizzi la libreria client Python, puoi eseguire i seguenti tipi di letture e download:

Ruby

Quando utilizzi la libreria client Ruby, puoi eseguire i seguenti tipi di letture e download:

API REST

Se utilizzi le API REST per scaricare oggetti, consulta Endpoint di richiesta per una discussione completa sugli endpoint di richiesta che puoi utilizzare.

API JSON

Quando utilizzi l'API JSON, puoi eseguire i seguenti tipi di download:

API XML

Quando utilizzi l'API XML, puoi eseguire i seguenti tipi di download:

Passaggi successivi