AI エージェント ワークロードのストレージを選択する

このドキュメントでは、AI エージェントの特定のデータ ライフサイクル ニーズとレイテンシ要件に基づいて、適切なストレージ オプションを選択するのに役立ちます。

実装の詳細については、Agent Sandbox ストレージを管理するをご覧ください。

ストレージ ソリューションを選択する際の考慮事項

AI エージェントのストレージ ソリューションを選択する際は、パフォーマンスやスケールなどのエージェント プラットフォームの要件と、エージェントのデータ管理要件を考慮する必要があります。

プラットフォームの要件

プラットフォームの運用要件とアーキテクチャ要件を評価します。

  • プラットフォームのスケールとエージェントのチャーン頻度(コントロール プレーン): 同時エージェントの数と、1 分間に作成、一時停止、再アクティブ化、 削除されるエージェントの数。1 分間に数千のエージェントを作成するプラットフォームや、アイドル状態のエージェントを一時停止するプラットフォームでは、大規模な低レイテンシのアタッチ オペレーションとマウント オペレーションを備えたストレージが必要です(たとえば、Filestore は Hyperdisk よりも高速にマウントできます)。
  • データセットのサイズと読み込みレイテンシ(データプレーン): 起動時に マルチギガバイトのデータセットや大規模なライブラリ(Node.js や Python パッケージなど)を読み込むエージェントには、データを数秒で読み取るための高いストレージ I/O パフォーマンスが必要です(たとえば、Hyperdisk は ディスクあたりの読み取りスループットが高くなります)。
  • エージェントのコールド スタートと再アクティブ化のレイテンシ: サブ秒または複数秒などの予想されるレイテンシ。サブ秒の起動レイテンシを実現するには、 GKE Agent Sandbox ウォームプールを使用する必要があります。通常、サンドボックスを直接作成すると、Pod の起動とディスクの動的アタッチに数秒の遅延が発生します。
  • エージェントあたりのストレージ サイズ: 選択したサービスに応じて、プロビジョニングの上限に対応する必要があります。たとえば、Google Cloud Hyperdisk の最小サイズは 4 GiB、単一の Filestore 共有の最小サイズは 10 GiB です。
  • データアクセス モードと分離: プラットフォームで ワークスペースの分離と共同ワークスペースをサポートする方法。これにより、エージェントにプライベート分離ワークスペース(ReadWriteOnce)、共同ワークスペース(ReadWriteMany)、探索ブランチ ワークスペース(書き込み可能なスクラッチパッドを備えた読み取り専用テンプレート)が必要かどうかが決まります。
  • 復元性: エージェントにリージョンの復元性が特に必要な場合は、 Filestore Multishares for GKE(Enterprise)が適切です。
  • ストレージ費用: ストレージ サービスは価格が大きく異なります。 Hyperdisk Balanced は、Filestore Multishares と比較して費用対効果の高いオプションです。

エージェントのデータ ライフサイクル パターン

ソリューションで永続データとエフェメラル データを処理する方法を決定する際は、次のエージェント データ ライフサイクル パターンを考慮してください。

  • ステートフル ワークスペース(継続的な状態): ワークスペースはセッション間で継続的な状態を維持します。エージェントは、一時停止(Agent Sandbox が削除される)時にデータを保持し、再アクティブ化(Sandbox が再作成される)時に最後に保存された状態からデータを復元します。
  • 特定の時点への復元とオーナー権限の譲渡(スナップショットの状態): ワークスペースはスナップショットの状態として機能します。つまり、 特定の時点から分岐します。ワークスペースは、オーナー権限の譲渡を実行するために、過去のデータセットまたは別のユーザーの共有状態から初期化されます。 以降の変更は、別のプライベート書き込み可能レイヤに保存され、マスター コピーは変更されません。このパターンは、データセットをクローンして並列実験を実行する、デバッグを行う、共有データに基づいて独立した作業を行うなどのシナリオで役立ちます。
  • エフェメラル ワークスペース(スクラッチ状態): ワークスペースは、データが保持されない一時的な スクラッチ状態を提供します。エージェントは、アクティブな間、一時ファイルを保持するためにストレージ ボリュームを厳密に使用します。エージェントが一時停止または削除されると(Agent Sandbox の削除)、一時データは完全に破棄されます。

エージェントのデータアクセス モード

エージェントが次のいずれかのデータアクセス モードでストレージにアクセスする必要がある場合は、エージェントのニーズをサポートするストレージ サービスを選択します。

  • プライベート分離ワークスペース: エージェントは、読み取りと書き込みのアクセス権を持つプライベート分離 ストレージ ディレクトリで起動します。
  • 共同ワークスペース: 複数の連携エージェントが、読み取り / 書き込み(RW)モードでまったく同じ共有ディレクトリをマウントし、ファイルをリアルタイムで共同更新します。
  • 探索ブランチ ワークスペース: エージェントは、テンプレートを変更しないように 読み取り専用(RO)モードでベース テンプレート ファイルにアクセスし、新しい書き込みを 別のローカル emptyDir スクラッチパッドまたはプライベート 永続パスにルーティングするか、起動時にテンプレート ファイルをプライベート 書き込み可能ワークスペースに直接コピーして行います。

Agent Sandbox のストレージ オプションを比較する

ストレージ オプションを比較する際は、次のシナリオを考慮してください。

  • 数秒の起動レイテンシを許容し、ReadWriteOnce(RWO)アクセス モードでプライベート分離ワークスペースを使用するエージェントには、費用対効果の高いストレージとして Hyperdisk Balanced を使用します。
  • 共同ワークスペースまたはリージョンの復元性を必要とするエージェントには、Filestore Multishares for GKE(Enterprise)を使用します。

次の表にストレージ サービスを比較して、AI エージェントのパフォーマンス、スケール、データアクセス、費用の要件を満たすのに役立ててください。

機能 Hyperdisk Balanced Filestore Multishares for GKE(Enterprise)
最適な用途
  • ReadWriteOnce(RWO)アクセス モードの個々のワークスペース
  • 複数秒のストレージ アタッチ レイテンシを許容するワークロード
  • 費用対効果
  • 直接サンドボックスの作成
  • ReadWriteMany(RWX)アクセス モードの共同ワークスペース
  • サブ秒のストレージ アタッチ レイテンシを必要とするワークロード
  • リージョンの復元性
アクセス モード ReadWriteOnce(RWO)

注: ReadOnlyMany(ROX)モードにはHyperdisk ML を使用します。
ReadWriteMany(RWX)
サブ秒の Agent Sandbox 起動(ウォームプール
  • エフェメラル ワークスペース: 作成時に空のボリュームを事前アタッチし、アクティブ セッションの終了後に破棄できます。
  • ステートフル ワークスペースまたは特定の時点への復元: 動的ボリューム バインディングにはカスタム スクリプトと DaemonSet が必要です(GitHub の例)。
  • エフェメラル ワークスペース: 作成時に空のボリュームを事前アタッチし、アクティブ セッションの終了後に破棄できます。
  • ステートフル ワークスペースまたは特定の時点への復元: 動的ボリューム バインディングにはカスタム スクリプトと DaemonSet が必要です(GitHub の例)。
ストレージ プロビジョニング レイテンシ ボリュームあたり数秒
  • 最大 80 個の共有を含むインスタンスの作成に 6 分
  • 複数のインスタンスを並行して作成できる
ホットパスのアタッチとマウントのレイテンシ ディスクのアタッチに数秒 ネットワーク NFS マウントの場合はサブ秒
最大読み取りスループット
  • ディスクあたり 2,400 MiB/秒
  • スループットは、接続されたデバイスの物理ハードウェアの上限によって制限されます。
  • プロビジョニングされた容量 1 TiB あたり 120 MiB/秒
  • 最大容量の 10 TiB マルチシェア インスタンスの場合、スループットは 1,200 MiB/秒に制限されます。
IOPS ボリュームサイズと構成に応じて 3,000 ~ 160,000
  • 読み取り IOPS: インスタンス容量 1 TiB あたり 12,000 読み取り IOPS(最大 120,000 読み取り IOPS)
  • 書き込み IOPS: インスタンス容量 1 TiB あたり 4,000 書き込み IOPS(最大 40,000 書き込み IOPS)
サイズの上限
  • ディスクごと: 最小 4 GiB、最大 64 TiB(C4 では 128 TiB)
  • ノードごと: 32 個未満の vCPU の場合は最大 247 TiB、32 個以上の vCPU の場合は 512 TiB
スケールの上限
  • ノードごと: アタッチの上限なし
  • マルチシェア インスタンスごと: 最大 80 個の共有、最大 20,000 個の接続(1 TiB あたり 2,000 個、500 単位でスケーリング)
容量のスケーリング方向 スケールアップのみ スケールアップまたはスケールダウン
CSI VolumeSnapshot のサポート サポート対象 サポート対象外(共有ごとのスナップショットはサポートされていません)
料金 Persistent Disk と Google Cloud Hyperdisk の料金 Filestore の料金

次のステップ