Leituras e downloads de objetos

Nesta página, abordamos conceitos relacionados à leitura e ao download de objetos no Cloud Storage.

Como ler objetos

Ler um objeto se refere a fazer streaming, consumir ou inspecionar dados de objetos ou um intervalo de bytes específico em uma conexão de rede aberta diretamente na memória. Em vez de ser salvo localmente, o payload recuperado é temporário e reside em um fluxo de memória do aplicativo, buffer, pipeline ou diretamente na memória da CPU/GPU. A leitura de objetos é adequada para cargas de trabalho de alto desempenho e uso intensivo de capacidade, como streaming de conjuntos de dados de treinamento e lotes de tensores em frameworks de inteligência artificial (IA) e machine learning (ML), como Pytorch ou Jax.

A lista a seguir descreve os tipos de leituras de objetos disponíveis no Cloud Storage:

  • Leitura de objetos na memória ou leituras de objetos interativos: um método em que os dados são consumidos de forma interativa ou na memória. O cliente recupera todo o objeto e carrega todos os bytes dele em uma variável contígua, matriz de bytes ou string na memória.

  • Leituras de streaming: um método em que os dados são consumidos como um stream de bytes diretamente à medida que são recebidos da rede, em vez de esperar que toda a transferência seja concluída.

Como fazer download de objetos

O download de um objeto é uma tarefa completa que transfere dados de objeto do Cloud Storage para um arquivo persistente em um sistema de arquivos local, disco ou dispositivo de armazenamento de destino. Ao contrário das leituras de streaming na memória, o download abrange a busca dos bytes remotos e a confirmação deles no armazenamento local. O download de objetos é adequado principalmente para gerenciamento de arquivos de uso geral, arquivamento local, backup de dados e uso de utilitários off-line.

Ao usar APIs REST, os downloads são realizados usando solicitações HTTP ou HTTPS GET que podem incluir um cabeçalho Range opcional, que define uma parte específica do objeto para download no armazenamento permanente ou local. Também é possível usar o cabeçalho Range para retomar downloads interrompidos. Ao usar o gRPC, os downloads usam streams storage.v2.Storage/ReadObject ou BidiReadObject.

A lista a seguir descreve os tipos de downloads de objetos disponíveis no Cloud Storage:

  • Downloads simples: a forma mais básica de download de objetos. O cliente envia uma única solicitação para recuperar o objeto inteiro ou um intervalo de bytes especificado em uma transferência contínua.

  • Downloads de objetos divididos: uma estratégia de alto desempenho em que um único objeto grande é dividido em várias "fatias" menores (também conhecidas como "partes"). O cliente faz o download dessas frações em paralelo usando várias solicitações independentes e simultâneas e, em seguida, as remonta localmente em um único arquivo.

Suporte de ferramentas para ler e baixar objetos

Console

Ao usar o console do Google Cloud , é possível realizar as seguintes leituras e downloads de objetos:

Linha de comando

É possível realizar as seguintes leituras e downloads de objetos ao usar a Google Cloud CLI:

Bibliotecas de cliente

C++

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente C++:

C#

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente C#:

Go

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente Go:

Java

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente Java:

Node.js

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente Node.js:

PHP

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente PHP:

Python

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente do Python:

Ruby

Você pode realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente do Ruby:

APIs REST

Caso você use APIs REST para fazer download de objetos, consulte Endpoints de solicitação para ver uma discussão completa sobre os endpoints de solicitação que podem ser usados.

API JSON

É possível realizar os seguintes tipos de downloads ao usar a API JSON:

API XML

Você pode realizar os seguintes tipos de downloads ao usar a API XML:

A seguir