このドキュメントでは、Cloud Storage の AI ゾーンの概要について説明します。AI ゾーン は、AI と ML のワークロードにコンピューティング能力を提供するように設計された特殊なゾーン Google Cloud です。ML アクセラレータ(GPU と TPU)の容量が大幅に向上します。
AI ゾーンは、次のような AI と ML のワークロード向けに最適化されています。
- 大規模なトレーニング
- 小規模なトレーニング、ファインチューニング、一括推論、再トレーニング
- リアルタイム ML 推論
AI ゾーンの背景情報については、Compute Engine のドキュメントの AI ゾーンをご覧ください。
リージョン内では、AI ゾーンは標準(非 AI)ゾーンから地理的に離れた場所に配置されることがあります。
AI ゾーンは、他の Cloud Storage と Google Cloud 機能と互換性があります。
ストレージ アーキテクチャに関する推奨事項
費用、耐久性、パフォーマンスのバランスを取るには、階層型ストレージ アーキテクチャを使用することをおすすめします。
コールド ストレージ レイヤ: トレーニング データセットとモデル チェックポイントの永続的で耐久性の高いストレージ(「信頼できる情報源」)には、 標準ゾーンのリージョン Cloud Storage バケットを使用します。
パフォーマンス レイヤ: 特殊なゾーン ストレージ サービスを使用して、 高速キャッシュまたは一時的なスクラッチ スペースとして機能させます。このアプローチにより、ゾーン間のレイテンシが解消され、アクティブなジョブの処理量が最大化されます。
AI ゾーンで AI と ML のシステム パフォーマンスを最適化するには、次のストレージ ソリューションをおすすめします。
| ストレージ サービス | 説明 | ユースケース |
|---|---|---|
| Rapid Cache 機能 of Cloud Storage |
フルマネージドの SSD ベースのゾーン読み取りキャッシュ。頻繁に読み取られるデータをバケットから AI ゾーンに移動します。 サービス提供するトレーニング データセットまたはモデルを含むリージョンの ソース バケットの AI ゾーンに Rapid Cache インスタンスを作成します。トレーニング ジョブがファイルを読み取ると、ファイルは 高速なゾーン内キャッシュにプルされます。以降の読み取りは、 キャッシュから直接提供され、リージョン ネットワークをバイパスします。これは、モデル トレーニングでの反復的なデータアクセス パターンや、低レイテンシのモデル提供に最適です。 |
推奨する用途:
推奨されない用途
|
ベスト プラクティス
AI ゾーンを使用する場合は、ストレージに関する次のベスト プラクティスに従ってください。
パフォーマンス レイヤは、コンピューティング リソースと同じ AI ゾーンにプロビジョニングします。コンピューティングとストレージを同じ場所に配置すると、GPU と TPU が完全に飽和状態になり、「グッドプット」(有用なスループット)を最大化できます。
Rapid Cache の場合、プライマリ トレーニング エポックを開始する前に、データセットの事前読み取りを実行して、SSD ベースのキャッシュにデータを入力またはウォームアップします。
利用可能な AI ゾーン
次の表に、AI ゾーンとその親 Google Cloud リージョンを示します。
| 地理的エリア | 親リージョン | AI ゾーン |
|---|---|---|
| ヨーロッパ | europe-west4 |
europe-west4-ai1a |
| 米国 | us-central1 |
us-central1-ai1a |
| 米国 | us-south1 |
us-south1-ai1b |
考慮事項
リージョン内のプロダクトには、リージョンの AI ゾーンからアクセスできます。 Google Cloud Google Cloud ただし、AI ゾーンの場所がリージョンの標準ゾーンの場所と物理的に分離されている可能性があるため、AI ゾーンからリージョン内のサービスにアクセスすると、ネットワーク レイテンシが発生する可能性があります。 Google Cloud
AI ゾーンではすべてのサービスがローカルで提供されないため、ML 以外のワークロードは AI ゾーンではなく標準ゾーンで実行することをおすすめします。 Google Cloud
次のステップ
- バケットを作成する。
- Rapid Cache の詳細を確認する。
- Cloud Storage バケットのロケーションについて確認する。
- AI と ML のワークロードに関するアーキテクチャ センターの設計ガイダンスを読む。