このドキュメントでは、Cloud Storage の AI ゾーンの概要について説明します。AI ゾーンは、AI ワークロードと ML ワークロードのコンピューティング容量を提供するように設計された特殊なゾーンです。 Google Cloud これらは、ML アクセラレータ（GPU と TPU）の容量を大幅に提供します。
AI ゾーンは、次のような AI ワークロードと ML ワークロード向けに最適化されています。
- 大規模なトレーニング
- 小規模なトレーニング、ファインチューニング、一括推論、再トレーニング
- リアルタイム ML 推論
AI ゾーンの背景情報については、Compute Engine ドキュメントの AI ゾーンをご覧ください。
リージョン内では、AI ゾーンが標準（非 AI）ゾーンから地理的に離れている場合があります。
AI ゾーンは、他の Cloud Storage 機能や Google Cloud機能と互換性があります。
ストレージ アーキテクチャに関する推奨事項
費用、耐久性、パフォーマンスのバランスを取るために、階層型ストレージ アーキテクチャを使用することをおすすめします。
コールド ストレージ レイヤ: 標準ゾーンのリージョン Cloud Storage バケットを、トレーニング データセットとモデル チェックポイントの永続的で耐久性の高いストレージ（「信頼できる情報源」）として使用します。
パフォーマンス レイヤ: 特殊なゾーン ストレージ サービスを高速キャッシュまたは一時的なスクラッチ スペースとして使用します。このアプローチにより、ゾーン間のレイテンシが解消され、アクティブなジョブ中のスループットが最大化されます。
AI ゾーンで AI / ML システムのパフォーマンスを最適化するには、次のストレージ ソリューションをおすすめします。
| ストレージ サービスまたはプロダクト | 説明 | ユースケース |
|---|---|---|
| Cloud Storage の Rapid Cache プロダクト |
バケットから AI ゾーンに頻繁に読み取られるデータを取り込む、SSD ベースのフルマネージド ゾーン読み取りキャッシュ。 提供するトレーニング データセットまたはモデルを含むリージョン ソースバケットの AI ゾーンに Rapid Cache インスタンスを作成します。トレーニング ジョブがファイルを読み取ると、ファイルは高速なゾーン内キャッシュにプルされます。以降の読み取りは、リージョン ネットワークをバイパスして、キャッシュから直接処理されます。これは、モデル トレーニングでの反復的なデータアクセス パターンや、低レイテンシのモデル提供に最適です。 |
推奨する用途:
|
| Cloud Storage のプロダクトである Rapid Bucket |
ゾーンにバケットを配置し、Rapid Storage ストレージ クラスを使用できる高パフォーマンス機能。I/O 負荷の高いワークロード向けに最適化されており、アクセスする必要があるデータとのコロケーションを必要とする AI/ML アプリケーション向けに特別に設計されています。 低レイテンシと高スループットを必要とするワークロード用にデータ ストレージを最適化するには、Rapid Storage を使用するゾーンバケットを作成し、Cloud Storage FUSE を使用してバケットを仮想マシンのディレクトリとしてマウントします。その後、バケットのマウント ポイントを介してゾーンバケットにデータを保存またはアクセスするようにアプリケーションを構成できます。たとえば、モデルのチェックポイントをゾーンバケットに保存するには、トレーニング コードでチェックポイント ディレクトリをマウント ポイントに構成します。 リージョンの復元性を確保するため、チェックポイントをリージョン バケット、マルチリージョン バケット、デュアルリージョン バケットにバックアップできます。Storage Transfer Service を使用して、ゾーンバケットから別のロケーションのバケットにデータを移動します。オブジェクトのライフサイクル管理を使用して、設定した期間の経過後にデータを期限切れにして削除します。 |
推奨する用途:
|
ベスト プラクティス
AI ゾーンを使用する場合は、ストレージに関する次のベスト プラクティスに従ってください。
コンピューティング リソースと同じ AI ゾーンにパフォーマンス レイヤをプロビジョニングします。コンピューティングとストレージを同じ場所に配置すると、GPU と TPU が完全に飽和状態になり、「グッドプット」（有用なスループット）が最大化されます。
Rapid Cache の場合、プライマリ トレーニング エポックを開始する前に、データセットの事前読み取りを実行して、SSD ベースのキャッシュにデータを入力（ウォームアップ）します。
利用可能な AI ゾーン
次の表に、AI ゾーンとその親 Google Cloudリージョンを示します。
| 地理的エリア | 親リージョン | AI ゾーン |
|---|---|---|
| ヨーロッパ | europe-west4 |
europe-west4-ai1a |
| 米国 | us-central1 |
us-central1-ai1a |
| 米国 | us-south1 |
us-south1-ai1b |
考慮事項
Google Cloud リージョンの Google Cloud プロダクトには、リージョンの AI ゾーンからアクセスできます。ただし、AI ゾーンから Google Cloudリージョンのサービスにアクセスすると、ネットワーク レイテンシが増加する可能性があります。これは、AI ゾーンのロケーションが、リージョンの標準ゾーンのロケーションと物理的に分離されている可能性があるためです。
AI ゾーンではすべての Google Cloud サービスがローカルで提供されないため、ML 以外のワークロードは AI ゾーンではなく標準ゾーンで実行することをおすすめします。
次のステップ
- バケットを作成する。
- Rapid Cache の詳細
- Cloud Storage バケットのロケーションについて確認する。
- AI ワークロードと ML ワークロードのアーキテクチャ センターの設計ガイダンスを読む。