Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

オブジェクトの読み取りとダウンロード

このページでは、Cloud Storage でのオブジェクトの読み取りとダウンロードに関連するコンセプトについて説明します。

オブジェクトの読み取り

オブジェクトの読み取りとは、開いているネットワーク接続を介して、オブジェクトデータまたは特定のバイト範囲をメモリに直接ストリーミング、消費、検査することを指します。取得されたペイロードはローカルに保存されるのではなく、エフェメラルであり、アプリケーションメモリストリーム、バッファ、パイプライン、または CPU/GPU メモリに直接保存されます。オブジェクトの読み取りは、トレーニングデータセットやテンソルバッチを Pytorch や Jax などの AI や ML のフレームワークにストリーミングするなど、高パフォーマンスでスループットを重視するワークロードに適しています。

次のリストに、Cloud Storage で使用可能なオブジェクト読み取りの種類を示します。

オブジェクトをメモリに読み取る、またはインタラクティブなオブジェクト読み取り: データがインタラクティブに、またはメモリに消費される方法。クライアントはオブジェクト全体を取得し、そのすべてのバイトを連続した変数、バイト配列、またはメモリ内文字列に読み込みます。
ストリーミング読み取り: 転送全体が完了するのを待つのではなく、ネットワークから受信したデータをバイトストリームとして直接使用する方法。

オブジェクトのダウンロード

オブジェクトのダウンロードは、Cloud Storage からローカルファイルシステム、ディスク、またはターゲットストレージデバイス上の永続ファイルにオブジェクトデータを転送するエンドツーエンドのタスクです。インメモリストリーミング読み取りとは異なり、ダウンロードにはリモートバイトの取得とローカルストレージへの commit の両方が含まれます。オブジェクトのダウンロードは、主に汎用ファイル管理、ローカルアーカイブ、データバックアップ、オフラインユーティリティの使用に適しています。

REST API を使用する場合、ダウンロードは HTTP または HTTPS の GET リクエストを使用して行われます。このリクエストには、オプションの Range ヘッダーを含めることができます。このヘッダーは、永続ストレージまたはローカルストレージにダウンロードするオブジェクトの特定の部分を定義します。Range ヘッダーを使用して、中断されたダウンロードを再開することもできます。gRPC を使用する場合、ダウンロードには storage.v2.Storage/ReadObject ストリームまたは BidiReadObject ストリームが使用されます。

次のリストは、Cloud Storage で使用可能なオブジェクトのダウンロードの種類を示しています。

シンプルなダウンロード: オブジェクトのダウンロードの最も基本的な形式。クライアントは、1 回の連続転送でオブジェクト全体または指定されたバイト範囲を取得する単一のリクエストを送信します。
スライス化されたオブジェクトのダウンロード: 1 つの大きなオブジェクトを複数の小さな「スライス」（「チャンク」とも呼ばれます）に分割する、高パフォーマンスの戦略。クライアントは、複数の独立した同時リクエストを使用してこれらのスライスを並行してダウンロードし、ローカルでスライスを 1 つのファイルに再構成します。