オブジェクトの読み取りとダウンロード

このページでは、Cloud Storage でのオブジェクトの読み取りとダウンロードに関連するコンセプトについて説明します。

オブジェクトの読み取り

オブジェクトの読み取りとは、開いているネットワーク接続を介して、オブジェクト データまたは特定のバイト範囲をメモリ内で直接ストリーミング、使用、検査することを指します。 取得したペイロードはローカルに保存されるのではなく、一時的なもので、アプリケーションのメモリ ストリーム、バッファ、パイプライン、または CPU/GPU メモリに直接保存されます。オブジェクトの読み取りは、Pytorch や Jax などの AI / ML フレームワークにトレーニング データセットやテンソル バッチをストリーミングするなど、高パフォーマンスでスループット集約型のワークロードに適しています。

次のリストは、Cloud Storage で使用できるオブジェクトの読み取りのタイプを示しています。

オブジェクトのダウンロード

オブジェクトのダウンロードは、オブジェクト データを Cloud Storage からローカル ファイル システム、ディスク、またはターゲット ストレージ デバイス上の永続ファイルに転送するエンドツーエンドのタスクです。インメモリ ストリーミング読み取りとは異なり、ダウンロードにはリモート バイトの取得とローカル ストレージへのコミットの両方が含まれます。オブジェクトのダウンロードは、主に汎用ファイル管理、ローカル アーカイブ、データバックアップ、オフライン ユーティリティの使用に適しています。

REST API を使用する場合、ダウンロードは HTTP または HTTPS GET リクエストを使用して行われます。このリクエストには、永続ストレージまたはローカル ストレージにダウンロードするオブジェクトの特定の部分を定義するオプションの Range ヘッダーを含めることができます。Range ヘッダーを使用して、中断したダウンロードを再開することもできます。gRPC を使用する場合、ダウンロードでは storage.v2.Storage/ReadObject または BidiReadObject ストリームを使用します。

次のリストは、Cloud Storage で使用できるオブジェクトのダウンロードのタイプを示しています。

  • シンプル ダウンロード: オブジェクトのダウンロードの最も基本的な形式。クライアントは、オブジェクト全体または指定されたバイト範囲を 1 回の連続転送で取得する単一のリクエストを送信します。

  • スライス化されたオブジェクトのダウンロード: 1 つの大きな オブジェクトを複数の小さな「スライス」（「チャンク」とも呼ばれます）に分割する高パフォーマンスの戦略。クライアントは、複数の独立した同時リクエストを使用してこれらのスライスを並行してダウンロードし、スライスをローカルで 1 つのファイルに再構成します。

オブジェクトの読み取りとダウンロードのツールサポート

Console

コンソール Google Cloud を使用すると、次のオブジェクトの読み取り とダウンロードを実行できます。

コマンドライン

Google Cloud CLI を使用すると、次のオブジェクトの読み取りとダウンロードを実行できます。

クライアント ライブラリ

C++

C++ クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

C#

C# クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

Go

Go クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

Java

Java クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

Node.js

Node.js クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

PHP

PHP クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

Python

Python クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

Ruby

Ruby クライアント ライブラリを使用する場合は、次の種類の読み取りとダウンロードを実行できます。

REST API

REST API を使用してオブジェクトをダウンロードする場合に使用可能なリクエスト エンドポイントの詳細については、リクエスト エンドポイントを ご覧ください。

次のステップ