Leituras e downloads de objetos

Esta página aborda conceitos relacionados à leitura e ao download de objetos no Cloud Storage.

Leitura de objetos

A leitura de um objeto se refere ao streaming, consumo ou inspeção de dados de objetos ou um intervalo de bytes específico em uma conexão de rede aberta diretamente na memória. Em vez de serem salvos localmente, o payload recuperado é temporário e reside em um stream de memória do aplicativo, buffer, pipeline ou diretamente na memória da CPU/GPU. A leitura de objetos é adequada para cargas de trabalho de alto desempenho e capacidade de processamento, como streaming de conjuntos de dados de treinamento e lotes de tensores em frameworks de inteligência artificial (IA) e machine learning (ML), como Pytorch ou Jax.

A lista a seguir descreve os tipos de leitura de objetos disponíveis no Cloud Storage:

  • Leitura de objetos na memória ou leituras interativas de objetos: um método em que os dados são consumidos de forma interativa ou na memória. O cliente recupera o objeto inteiro e carrega todos os bytes dele em uma variável contígua, matriz de bytes ou string na memória.

  • Leituras de streaming: um método em que os dados são consumidos como um stream de bytes diretamente à medida que são recebidos da rede, em vez de esperar a conclusão de toda a transferência.

Download de objetos

O download de um objeto é uma tarefa completa que transfere dados de objetos do Cloud Storage para um arquivo persistente em um sistema de arquivos local, disco ou dispositivo de armazenamento de destino. Ao contrário das leituras de streaming na memória, o download abrange a busca dos bytes remotos e a confirmação deles no armazenamento local. O download de objetos é adequado principalmente para gerenciamento de arquivos de uso geral, arquivamento local, backup de dados e uso de utilitários off-line.

Ao usar APIs REST, os downloads são realizados usando solicitações GET HTTP ou HTTPS que podem incluir um cabeçalho Range opcional, que define uma parte específica do objeto a ser baixado para armazenamento persistente ou local. Também é possível usar o cabeçalho Range para retomar downloads interrompidos. Ao usar o gRPC, os downloads usam streams storage.v2.Storage/ReadObject ou BidiReadObject.

A lista a seguir descreve os tipos de download de objetos disponíveis no Cloud Storage:

  • Downloads simples: a forma mais básica de download de objetos. O cliente envia uma única solicitação para recuperar o objeto inteiro ou um intervalo de bytes especificado em uma transferência contínua.

  • Downloads de objetos divididos: uma estratégia de alto desempenho em que um único objeto grande é dividido em várias "fatias" menores (também conhecidas como "blocos"). O cliente faz o download dessas fatias em paralelo usando várias solicitações simultâneas independentes e, em seguida, as remonta localmente em um único arquivo.

Suporte a ferramentas para leitura e download de objetos

Console

Ao usar o Google Cloud console, é possível realizar as seguintes leituras e downloads de objetos:

Linha de comando

É possível realizar as seguintes leituras e downloads de objetos ao usar a Google Cloud CLI:

Bibliotecas de cliente

C++

Você pode realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente C++:

C#

Você pode realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente C#:

Go

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente Go:

Java

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente Java:

Node.js

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente Node.js:

PHP

Você pode realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente PHP:

Python

É possível realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente do Python:

Ruby

Você pode realizar os seguintes tipos de leituras e downloads ao usar a biblioteca de cliente do Ruby:

APIs REST

Caso você use APIs REST para fazer download de objetos, consulte Endpoints de solicitação para ver uma discussão completa sobre os endpoints de solicitação que podem ser usados.

API JSON

É possível realizar os seguintes tipos de downloads ao usar a API JSON:

API XML

É possível realizar os seguintes tipos de downloads ao usar a API XML:

A seguir