Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

オブジェクトの読み取りとダウンロード

このページでは、Cloud Storage でのオブジェクトの読み取りとダウンロードに関連するコンセプトについて説明します。

オブジェクトの読み取り

オブジェクトの読み取りとは、開いているネットワーク接続を介して、オブジェクトデータまたは特定のバイト範囲をメモリ内で直接ストリーミング、使用、検査することを指します。取得されたペイロードはローカルに保存されるのではなく、エフェメラルであり、アプリケーションのメモリストリーム、バッファ、パイプライン、または CPU/GPU メモリに直接存在します。オブジェクトの読み取りは、Pytorch や Jax などの AI / ML フレームワークにトレーニングデータセットやテンソルバッチをストリーミングするような、高パフォーマンスでスループット集約型のワークロードに適しています。

次のリストは、Cloud Storage で使用可能なオブジェクト読み取りの種類を示しています。

オブジェクトのメモリへの読み取りまたはインタラクティブなオブジェクトの読み取り: データをインタラクティブにまたはメモリに読み込む方法。クライアントはオブジェクト全体を取得し、そのすべてのバイトを連続した変数、バイト配列、またはインメモリ文字列に読み込みます。
ストリーミング読み取り: 転送が完了するのを待つのではなく、ネットワークから受信したデータをバイトストリームとして直接消費する方法。

オブジェクトのダウンロード

オブジェクトのダウンロードは、Cloud Storage からローカルファイルシステム、ディスク、またはターゲットストレージデバイス上の永続ファイルにオブジェクトデータを転送するエンドツーエンドのタスクです。インメモリストリーミング読み取りとは異なり、ダウンロードにはリモートバイトの取得とローカルストレージへのコミットの両方が含まれます。オブジェクトのダウンロードは、主に汎用ファイル管理、ローカルアーカイブ、データバックアップ、オフラインユーティリティの使用に適しています。

REST API を使用する場合、ダウンロードは HTTP または HTTPS の GET リクエストを使用して実行されます。このリクエストには、永続ストレージまたはローカルストレージにダウンロードするオブジェクトの特定の部分を定義するオプションの Range ヘッダーを含めることができます。Range ヘッダーを使用して、中断されたダウンロードを再開することもできます。gRPC を使用する場合、ダウンロードでは storage.v2.Storage/ReadObject または BidiReadObject ストリームが使用されます。

Cloud Storage で使用可能なオブジェクトダウンロードの種類は次のとおりです。

シンプルダウンロード: オブジェクトダウンロードの最も基本的な形式です。クライアントは、オブジェクト全体または指定されたバイト範囲を 1 回のリクエストで取得し、1 回の転送で取得します。
スライス化されたオブジェクトのダウンロード: 1 つの大きなオブジェクトを複数の小さな「スライス」（「チャンク」とも呼ばれます）に分割する高パフォーマンスの戦略。クライアントは、複数の独立した同時リクエストを使用してこれらのスライスを並行してダウンロードし、スライスをローカルで 1 つのファイルに再構成します。