このドキュメントでは、AI Hypercomputer でコンピューティング リソースを取得して使用するさまざまな方法（消費オプション）について説明します。ワークロード、その期間、費用のニーズに最適なオプションを選択します。
各消費オプションでは、次のことを指定します。
VM またはクラスタを作成するための容量へのアクセス方法。
基盤となるプロビジョニング モデル。VM の取得可能性、ライフサイクル、料金を決定します。
使用オプションの比較
次の表は、使用オプションの主な違いをまとめたものです。
| 使用オプション | AI Hypercomputer の将来の予約 | 最大 90 日間の将来の予約（カレンダー モード） | Flex Start | スポット |
|---|---|---|---|---|
| サポートされているマシン | A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High | GPU が 8 個の A4、A3 Ultra、A3 Mega、A3 High | A4X Max と A4X を除く任意の GPU マシン | A4X Max と A4X を除く任意の GPU マシン |
| 存続期間 | 指定なし | 最長 90 日間 | 最長 7 日 | 指定なし（ただし、プリエンプションの対象） |
| プリエンプティブル | ||||
| 容量保証 | 非常に高い。 Google Cloud が予約リクエストを承認すると、Compute Engine がリクエストされた容量をプロビジョニングする可能性が非常に高くなります。 | 非常に高い。 Google Cloud が予約リクエストを承認すると、Compute Engine がリクエストされた容量をプロビジョニングする可能性が非常に高くなります。 | ベスト エフォートCompute Engine は、リクエストされた容量のプロビジョニングをスケジュールするためにベスト エフォートで試行します。 | ベスト エフォートCompute Engine は、リクエストされた容量をプロビジョニングするためにベスト エフォートで試行します。 |
| 割り当て | 容量が提供される前に、割り当てが自動的に増加します。 | 割り当ては課金されません。 | プリエンプティブル割り当ては課金対象です。 | プリエンプティブル割り当ては課金対象です。 |
| 料金 |
|
|
|
|
| リソースの割り当て | 高密度 | 高密度 |
|
標準（コンパクト ポリシーは省略可） |
| プロビジョニング モデル | 予約で制限 | 予約で制限 | Flex Start | Spot |
| 作成方法 | VM を作成するには、次の操作を行う必要があります。
|
VM を作成するには、次の操作を行う必要があります。
|
VM を作成するには、次のいずれかの方法を使用します。
リクエストされた容量が使用可能になると、Compute Engine はその容量をプロビジョニングします。 |
デプロイ オプションの概要で説明されている方法のいずれかを使用して、VM をすぐに作成できます。 |
使用オプションを選択する
次のフローチャートを使用して、ワークロードに最適な使用オプションを選択します。
上の図の質問は次のとおりです。
90 日以上容量が必要ですか？
はい: AI Hypercomputer で将来の予約を使用するをご覧ください。
いいえ: 質問 2 に進みます。
予約済み容量が必要ですか？
はい: カレンダー モードで将来の予約を使用するをご覧ください。
いいえ: 質問 3 に進みます。
ワークロードはフォールト トレラントですか？
いいえ: Flex Start を使用するをご覧ください。
はい: スポットを使用するをご覧ください。
AI Hypercomputer で将来の予約を使用する
リソースの密な割り当てを必要とする大規模な長時間実行分散ワークロードを実行するには、将来の特定の時間にコンピューティング リソースをリクエストできます。この期間中、予約したリソースに排他的にアクセスできます。また、リソースを使用して VM またはクラスタを作成できます。予約期間の終了時に、Compute Engine は次の処理を行います。
- Compute Engine が予約を削除します。
- VM に指定した終了アクションに基づいて、Compute Engine は予約を使用する VM を停止または削除します。
AI Hypercomputer の将来の予約に最適なワークロード
将来の予約は、次のようなワークロードに最適です。
基盤モデルの事前トレーニング
マルチホストの基盤モデルの推論
AI Hypercomputer の将来の予約の主な特徴
将来の予約には次の特徴があります。
-
A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 個の GPU）マシンタイプを予約できます。ネットワーク レイテンシを最小限に抑えるために、マシンが高密度で割り振られます。
-
将来の日付で、必要な数の VM に対して必要な期間だけ予約できます。予約期間が終了するまで、予約済みリソースを使用して VM を作成して実行できます。1 年以上リソースを予約する場合は、リソースベースのコミットメントを購入して関連付ける必要があります。
-
予約期間が開始された後、自動作成された予約は次のように変更できます。
-
予約にバインドされたプロビジョニング モデルを使用します。これには次の利点があります。
GPU を取得できる可能性が高くなります。
VM に関連付けられたコミットメントに加えて、vCPU と GPU の割引率が最大 53% になります。
AI Hypercomputer で将来の予約を使用する方法
将来の予約を使用して VM またはクラスタを作成するには、次の操作を行う必要があります。
-
容量の予約をリクエストする。アカウント チームに連絡し、予約するリソースを指定します。空き状況に基づいて、予約リクエストのドラフトが作成されます。正しく入力されていることを確認したら、送信します。 Google Cloud がすぐに予約リクエストを承認します。
手順については、容量を予約するをご覧ください。
-
予約済みリソースを使用する。選択した予約期間の開始時に、予約を使用して VM またはクラスタを作成できます。
VM またはクラスタを作成するさまざまな方法については、VM とクラスタの作成の概要をご覧ください。
カレンダー モードで将来の予約を使用する
リソースの密な割り当てを必要とする短時間実行の分散ワークロードを実行するには、最大 90 日間のコンピューティング リソースをリクエストできます。この期間中、予約済みリソースに排他的にアクセスし、リソースを使用して VM またはクラスタを作成できます。予約期間の終了時に、Compute Engine は次の処理を行います。
- Compute Engine が予約を削除します。
- VM に指定した終了アクションに基づいて、Compute Engine は予約を使用する VM を停止または削除します。
カレンダー モードの将来の予約に最適なワークロード
カレンダー モードの将来の予約は、次のワークロードに最適です。
モデルの事前トレーニング
モデルの微調整
シミュレーション
推論
カレンダー モードでの将来の予約の主な特徴
カレンダー モードの将来の予約には次の特徴があります。
-
A4、A3 Ultra、A3 Mega、A3 High（8 個の GPU）マシンタイプを予約できます。これらのマシンは、ネットワーク レイテンシを最小限に抑えるために高密度で割り振られます。
-
リソースの将来の可用性を確認し、最大 80 個の VM を最大 90 日間予約できます。予約期間が終了するまで、予約済みリソースを使用して VM を作成できます。
-
予約期間が開始された後、自動作成された予約は次のように変更できます。
-
予約にバインドされたプロビジョニング モデルを使用します。これには次の利点があります。
GPU を取得できる可能性が高くなります。
vCPU と GPU の割引率は最大 53% です。
カレンダー モードで将来の予約を使用する方法
カレンダー モードで将来の予約を使用して VM またはクラスタを作成するには、次の操作を行います。
-
リソースの可用性を確認する。予約するリソースの将来の可用性を確認できます。予約リクエストを作成するときに、使用可能であることを確認したリソースの数、タイプ、予約期間を指定できます。この操作を行うと、 Google Cloud がリクエストを承認する可能性が高くなります。
手順については、 リソースの将来の可用性を確認するをご覧ください。
-
容量を予約する。将来の日時の予約リクエストを作成します。 Google Cloud は 2 分以内に予約リクエストを承認します。承認されると、Compute Engine は容量を予約します。選択した納品日に、予約済みリソースを使用して VM またはクラスタを作成できます。
手順については、 GPU VM または TPU の予約リクエストを作成するをご覧ください。
-
予約済みリソースを使用する。選択した予約期間の開始時に、予約を使用して VM またはクラスタを作成できます。
VM またはクラスタを作成するさまざまな方法については、以下をご覧ください。
- A4、A3 Ultra、A3 Mega、A3 High（GPU 数 8）VM を作成するには、VM とクラスタの作成の概要をご覧ください。
- GPUDirect-TCPX を有効にして A3 Mega VM または A3 High VM（8 個の GPU）を作成するには、GPUDirect-TCPX を有効にして A3 VM を作成するをご覧ください。
Flex Start を使用する
リソースの密な割り当てを必要とする短期間のワークロードを実行するには、Flex Start を使用して最大 7 日間のコンピューティング リソースをリクエストできます。リソースが使用可能になると、Compute Engine はリクエストされた数の VM を作成します。スタンドアロンの Flex Start VM は停止できますが、マネージド インスタンス グループ（MIG）がサイズ変更リクエストで作成した Flex Start VM は停止できません。Flex Start VM は、ユーザーが削除するか、Compute Engine が実行期間の終了時に VM を削除するまで存在します。
Flex Start に最適なワークロード
Flex Start は、次のような、いつでも開始できるワークロードに最適です。
小規模モデルの事前トレーニング
モデルの微調整
シミュレーション
バッチ推論
Flex Start の主な特性
Flex Start には次の特性があります。
-
A4X Max と A4X を除く任意の GPU マシンタイプをリクエストできます。リソース割り当ては、作成方法によって異なります。
- スタンドアロンの Flex Start VM の場合、マシンは標準の配置を使用します。この配置では、可用性に基づいてマシンが割り当てられるため、同じゾーン内の VM が離れて配置されることがあります。
- 他のすべての作成方法では、ネットワーク レイテンシを最小限に抑えるために、マシンが密に割り当てられます。
Flex Start プロビジョニング モデルを使用します。このモデルには次の利点があります。
GPU を取得できる可能性が高くなります。
vCPU、メモリ、GPU の割引率は最大 53% です。
Flex Start の使用方法
Flex Start を使用して VM またはクラスタを作成するには、次のいずれかのオプションを選択します。
- スタンドアロン VM を作成する
- サイズ変更リクエストを含む MIG を作成する
- Slurm クラスタを作成する
- GKE クラスタを作成します。
スポットを使用する
フォールト トレラントなワークロードを実行するには、可用性に基づいてコンピューティング リソースをすぐに取得できます。リソースを可能な限り低価格で取得できます。ただし、Compute Engine はいつでも VM をプリエンプトして容量を再利用できます。
Spot に最適なワークロード
Spot は、次のような中断が許容されるワークロードに最適です。
バッチ処理
ハイ パフォーマンス コンピューティング（HPC）
継続的インテグレーションと継続的デプロイ（CI / CD）
データ分析
メディアのエンコード
オンライン推論
Spot の主な特徴
スポットには次の特徴があります。
-
A4X Max と A4X を除く任意の GPU マシンタイプを作成できます。高密度の割り当てはリソースの可用性に依存します。より近い割り当てを確保するには、VM にコンパクト プレースメント ポリシーを適用します。
-
VM は必要な数だけすぐに作成できます。VM は、ユーザーが停止または削除するか、Compute Engine が容量を再利用するために VM をプリエンプトするまで実行されます。
-
スポット プロビジョニング モデルを使用します。これには次の利点があります。
GPU を取得できる可能性が高くなります。
多くのマシンタイプ、GPU、TPU、ローカル SSD ディスクで最大 91% の割引が適用されます。
Spot の使用方法
Spot を使用して VM またはクラスタを作成するには、次の操作を行う必要があります。
-
省略可: コンパクト プレースメント ポリシーを作成する。コンパクト プレースメント ポリシーを作成して、VM を相互にどの程度近づけて配置するかを指定します。選択した最小距離は、ポリシーを適用できる VM の数とタイプに影響します。
-
Spot VM を作成する。可用性に基づいて、必要な数の VM を作成できます。VM は、ユーザーが停止または削除するか、Compute Engine が容量を再利用するために VM をプリエンプトするまで実行されます。
手順については、VM とクラスタの作成の概要をご覧ください。