Cloud Storage には、Rapid Bucket と Rapid Cache が用意されています。これらを使用すると、AI、機械学習(ML)、データ量の多い分析などの高パフォーマンスのユースケースに合わせてデータ ストレージを最適化できます。このドキュメントでは、これらのオプションを紹介し、ワークロードのニーズに最適なオプションを選択できるようにします。
Cloud Storage Rapid プロダクト ファミリー
Cloud Storage Rapid は、AI / ML ワークロードとデータ分析ワークロードのデータ ボトルネックを解消するように設計された、Cloud Storage の高パフォーマンス プロダクト ファミリーです。AI / ML モデルの複雑さが増し、データセットがペタバイト規模に達するにつれて、ストレージ パフォーマンスが高価な GPU クラスタと TPU クラスタの主なボトルネックになることがよくあります。Cloud Storage Rapid は、ゾーン アーキテクチャを活用してデータをコンピューティング リソースに近づけることで、アクセラレータの飽和状態を維持し、トレーニング時間を短縮して、最も要求の厳しいワークロードの総所有コスト(TCO)を削減します。
Cloud Storage Rapid には、Rapid Bucket と Rapid Cache が含まれます。
Rapid Bucket を使用して Rapid Storage ストレージ クラスにデータを保存する
Rapid Bucket は、高パフォーマンスのゾーン オブジェクト ストレージ ソリューションです。バケットのロケーションとしてゾーンを定義することで、Rapid Storageにデータを保存できます。Rapid Bucket を使用すると、AI アクセラレータと同じ物理ゾーンにデータをコロケーションできます。これにより、他の Cloud Storage プロダクトの中で最も低いレイテンシと最も高いスループットを実現できます。Rapid Bucket は、1 ミリ秒未満のレイテンシ、最大 15 TB/秒の集約スループットを実現し、最大 2,000 万の秒間クエリ数(QPS)をサポートします。
Rapid バケットは、ステートフルなストリーミング オブジェクトの追加をサポートしているため、アプリケーションは既存のオブジェクトにリアルタイムでデータを書き込むことができます。この機能により、コストのかかるオブジェクトの書き換えを回避し、データの可視性を即座に確保できるため、コンシューマ アプリケーションは書き込み中のデータを読み取ることができます。
最適な用途: 超低レイテンシと高い確定的パフォーマンスを必要とする AI モデルのトレーニング、チェックポイント処理、サービング
このオプションを使用するケース: 読み取りと書き込みの両方で専用の高性能が必要な場合
Rapid Bucket を使用してゾーンバケットを作成する方法については、ゾーンバケットを作成するをご覧ください。
Rapid Cache を使用してゾーン キャッシュを作成する
Rapid Cache は、API の変更を必要とせずに、既存のリージョン、デュアルリージョン、マルチリージョンのバケットで動作する、SSD ベースのフルマネージド ゾーン読み取りキャッシュです。キャッシュは、ワークロードのニーズに応じて自動的にスケールアップまたはスケールダウンする一時的なストレージ容量と帯域幅を提供します。データは、キャッシュと同じゾーンにある VM によって読み取られたときに、バケットからキャッシュに自動的に取り込まれます。
Rapid Cache は、2.5 TB/秒の合計スループットを提供し、VM と同じゾーンにデータを配置することで、読み取りを高速化し、レイテンシを短縮します。キャッシュから提供されるデータは、データをより高速に提供するだけでなく、バケットから直接提供されるデータよりもデータ転送料金、データ取得料金、オペレーション料金が低くなる可能性があります。詳細については、Rapid Cache のメリットをご覧ください。
最適な用途: 既存の Cloud Storage バケットから高い読み取り帯域幅を必要とする AI モデルのトレーニング、チェックポイントの復元、サービング
このオプションを使用するケース: 高速化する Cloud Storage バケットに既存のデータ ストレージがある場合
Rapid Cache の使用方法については、キャッシュを作成して管理するをご覧ください。