このドキュメントでは、さまざまな AI、ML、ハイ パフォーマンス コンピューティング（HPC）ワークロードに最適なアクセラレータ、使用オプション、デプロイツールに関する推奨事項について説明します。このドキュメントは、ワークロードに最適なデプロイを特定する際に役立ちます。
AI、ML、HPC ワークロードのインフラストラクチャ ピラーに関する情報と推奨事項については、次のドキュメントをご覧ください。
ワークロードの概要
AI Hypercomputer アーキテクチャは、次のユースケースをサポートしています。
| ワークロード | 説明 | 推奨事項 |
|---|---|---|
| 基盤モデルの事前トレーニング | これには、大規模なデータセットを使用して言語モデルを構築することが含まれます。基盤モデルの事前トレーニングの結果、一般的なタスクの実行に優れた新しいモデルが作成されます。 モデルは、 サイズに基づいて次のように分類されます。
|
事前トレーニング モデルに関する推奨事項をご覧ください。 |
| ファインチューニング | これには、トレーニング済みのモデルを取得し、特殊なデータセットやその他の手法を使用して、特定のタスクを実行するように適応させることが含まれます。 ファインチューニングは通常、大規模モデルに対して行われます。 | モデルのファインチューニングに関する推奨事項をご覧ください。 |
| 推論（サービング） | これには、トレーニング済みまたはファインチューニング済みのモデルを取得し、ユーザーまたはアプリケーションが使用できるようにすることが含まれます。 推論ワークロードは、モデルのサイズに基づいて 次のように分類されます。
|
推論に関する推奨事項をご覧ください。 |
| 小規模または中規模のモデルの ML | これには、サイズと複雑さが小さい ML モデルのトレーニングとサービングが含まれます。通常、より特殊なタスクに使用されます。 | 小規模または中規模のモデルの ML に関する推奨事項をご覧ください。 |
| HPC | これは、コンピューティング リソースを集約することで、単一のワークステーション、サーバー、コンピュータで行うよりも高いパフォーマンスを実現する手法です。HPC は、学術研究、 科学、設計、シミュレーション、ビジネス インテリジェンスの問題を解決するために使用されます。 | HPC に関する推奨事項をご覧ください。 |
事前トレーニング モデルに関する推奨事項
基盤モデルを事前トレーニングするには、アクセラレータの大規模なクラスタが大量のデータを継続的に読み取ります。これらのアクセラレータは、順方向と逆方向のパスを通じて重みを調整し、データから学習します。これらのトレーニング ジョブは、一度に数週間から数か月間実行されます。
以降のセクションでは、基盤モデルの事前トレーニングに使用することをおすすめするアクセラレータと使用オプションについて説明します。
推奨されるアクセラレータ
で基盤モデルを事前トレーニングするには Google Cloud、 A4X Max （NVIDIA GB300）、A4X （NVIDIA GB200）、A4 （NVIDIA B200）、 A3 Ultra （NVIDIA H200 141 GB）、A3 Mega （NVIDIA H100 80 GB）、またはA3 High （NVIDIA H100 80 GB） のアクセラレータ最適化マシンタイプを使用し、オーケストレーターを使用してクラスタをデプロイすることをおすすめします。
これらのアクセラレータ クラスタをデプロイするには、 Cluster Director または Cluster Toolkitを使用することをおすすめします。詳細については、次の表で選択したマシンタイプに対応するクラスタ デプロイガイドをご覧ください。
| ワークロード | 推奨事項 | クラスタ デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 基盤モデルの事前トレーニング |
|
GKE | デフォルト構成で AI によって最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルのトレーニング | A3 Ultra （NVIDIA H200 141 GB） | GKE | デフォルト構成で AI によって最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルのトレーニング |
|
GKE | 標準モードのクラスタで GPU ネットワーク帯域幅を最大化する |
| Slurm | |||
推奨される使用オプション
アクセラレータの大規模なクラスタを確実に取得するには、予約を使用することをおすすめします。具体的には、予約済みリソースの費用を最小限に抑えるために、確約利用割引を受けられるだけの十分な予約期間をリクエストすることをおすすめします。使用オプションの詳細については、 使用オプションを選択するをご覧ください。
モデルのファインチューニングに関する推奨事項
大規模な基盤モデルをファインチューニングするには、アクセラレータの小規模なクラスタが適度な量のデータを読み取ります。これらのアクセラレータは、特定のタスクを実行するようにモデルを調整します。これらのファインチューニング ジョブは、数日から数週間実行されます。
以降のセクションでは、モデルのファインチューニング時に使用することをおすすめするアクセラレータと使用オプションについて説明します。
推奨されるアクセラレータ
でモデルをファインチューニングするには Google Cloud、 A3 Ultra（NVIDIA H200 141 GB）、A3 Mega（NVIDIA H100 80 GB）、またはA3 High（NVIDIA H100 80 GB） のアクセラレータ最適化マシンタイプを使用し、オーケストレーターを使用して クラスタをデプロイすることをおすすめします。
これらのアクセラレータ クラスタをデプロイするには、 Cluster Director または Cluster Toolkitを使用することをおすすめします。詳細については、次の表で選択したマシンタイプに対応するクラスタ デプロイガイドをご覧ください。
| ワークロード | 推奨事項 | クラスタ デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 大規模モデルのファインチューニング | A3 Ultra （NVIDIA H200 141 GB） | GKE | デフォルト構成で AI によって最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルのファインチューニング |
|
GKE | 標準モードのクラスタで GPU ネットワーク帯域幅を最大化する |
| Slurm | |||
推奨される使用オプション
ファインチューニング ワークロードの場合は、カレンダー モードで将来の予約を使用してリソースをプロビジョニングします。使用オプションの詳細については、 使用オプションを選択する をご覧ください。
推論に関する推奨事項
以降のセクションでは、推論の実行時に使用することをおすすめするアクセラレータと使用オプションについて説明します。
推奨されるアクセラレータ
推論に推奨されるアクセラレータは、マルチホスト フロンティア推論または大規模モデル推論を実行するか、単一ホスト フロンティア推論を実行するかによって異なります。
推奨されるアクセラレータ（マルチホスト）
でマルチホスト フロンティア推論または大規模モデル推論を実行するには、 Google Cloud A4X Max （NVIDIA GB300）、 A4X （NVIDIA GB200）、A4 （NVIDIA B200）、 A3 Ultra （NVIDIA H200 141 GB）、A3 Mega （NVIDIA H100 80 GB）、または A3 High （NVIDIA H100 80 GB） のアクセラレータ最適化マシンタイプを使用し、 オーケストレーターを使用してマシンをデプロイします。これらのアクセラレータ クラスタをデプロイするには、we also recommend that you use Cluster Director または Cluster Toolkit を使用することをおすすめします。次の表に、推奨される各マシンタイプのクラスタ デプロイガイドへのリンクを示します。
| ワークロード | 推奨事項 | クラスタ デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| マルチホスト フロンティア推論 |
|
GKE | デフォルト構成で AI によって最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルの推論 | A3 Ultra （NVIDIA H200 141 GB） | GKE | デフォルト構成で AI によって最適化された GKE クラスタを作成する |
| Slurm | |||
| 大規模モデルの推論 |
|
GKE | 標準モードのクラスタで GPU ネットワーク帯域幅を最大化する |
| Slurm | |||
推奨されるアクセラレータ（単一ホスト）
次の表に、単一ホスト フロンティア推論の実行に使用することをおすすめするアクセラレータを示します。次の表に、推奨される各マシンタイプの VM デプロイガイドへのリンクを示します。
| ワークロード | 推奨事項 | VM デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 単一ホスト フロンティア推論とメインストリーム推論 |
|
なし | A4 または A3 Ultra インスタンスを作成する |
|
A3 High または A3 Edge インスタンスを作成する | ||
| G4 （NVIDIA RTX PRO 6000） | G4 インスタンスを作成する | ||
| A2 （NVIDIA A100） | A2 インスタンスを作成する | ||
| G2 （NVIDIA L4） | G2 インスタンスを作成する | ||
| N1 （NVIDIA T4 または V100） | N1 インスタンスを作成する | ||
推奨される使用オプション
推論には、長時間実行予約またはカレンダー モードの将来の予約を使用します。使用オプションの詳細については、使用オプション を選択するをご覧ください。
小規模または中規模のモデルに関する推奨事項
小規模から中規模のモデルを使用する ML ワークロードでは、料金とパフォーマンスの最適なバランスを実現することが主な考慮事項となります。
推奨されるアクセラレータ
次の表に、小規模から中規模のモデルの ML ワークロードに使用することをおすすめするアクセラレータを示します。
| ワークロード | 推奨事項 | VM デプロイガイド | |
|---|---|---|---|
| マシンタイプ | オーケストレーター | ||
| 小規模または中規模のモデルの ML | G4 （NVIDIA RTX PRO 6000） | なし | G4 インスタンスを作成する |
| G2 （NVIDIA L4） | G2 インスタンスを作成する | ||
| A2 （NVIDIA A100） | A2 インスタンスを作成する | ||
| A3 Edge （NVIDIA H100 80 GB） | A3 Edge インスタンスを作成する | ||
| N1 （NVIDIA T4 または V100） | N1 インスタンスを作成する | ||
HPC に関する推奨事項
HPC ワークロードには、アクセラレータ最適化マシンシリーズまたは コンピューティング最適化マシンシリーズが適しています。 アクセラレータ最適化マシンシリーズを使用する場合、最適なものは、GPU にオフロードする必要がある計算量によって異なります。HPC ワークロードに関する推奨事項の詳細については、 HPC ワークロードの実行に関するベスト プラクティスをご覧ください。
推奨事項の概要
次の表に、ワークロードごとに推奨されるアクセラレータと使用オプションの概要を示します。
| リソース | 推奨事項 |
|---|---|
| モデルの事前トレーニング | |
| マシン ファミリー | 次のいずれかのアクセラレータ最適化マシンタイプを使用します。A4X Max （NVIDIA GB300）、A4X （NVIDIA GB200）、A4 （NVIDIA B200）、A3 Ultra （NVIDIA H200 141 GB）、A3 Mega （NVIDIA H100 80 GB）、A3 High （NVIDIA H100 80 GB） |
| 使用オプション | 標準の将来の予約を使用する |
| モデルのファインチューニング | |
| マシン ファミリー | A3 Ultra （NVIDIA H200 141 GB）、A3 Mega （NVIDIA H100 80 GB）、A3 High （NVIDIA H100 80 GB）のアクセラレータ最適化マシンタイプを使用する |
| 使用オプション | 標準の将来の予約を使用する |
| 推論 | |
| マシン ファミリー | 次のいずれかのマシンタイプを使用します。A4X Max （NVIDIA GB300）、A4X （NVIDIA GB200）、A4 （NVIDIA B200）、A3 Ultra （NVIDIA H200 141 GB）、A3 Mega （NVIDIA H100 80 GB）、A3 High （NVIDIA H100 80 GB）、G2 （NVIDIA L4）、G4 （NVIDIA RTX PRO 6000）、A2 （NVIDIA A100）、A3 Edge （NVIDIA H100 80 GB）、N1 （NVIDIA T4 または V100） |
| 使用オプション | 予約、オンデマンド、またはスポットを使用する |
| 小規模または中規模のモデルの ML | |
| マシン ファミリー | 次のいずれかのマシンタイプを使用します。G2 （NVIDIA L4）、G4 （NVIDIA RTX PRO 6000）、A2 （NVIDIA A100）、A3 Edge （NVIDIA H100 80 GB）、N1 （NVIDIA T4 または V100） |
| 使用オプション | オンデマンド、スポット、または標準予約を使用する |
| ストレージ | Cloud Storage FUSE を使用する |
| HPC | |
| HPC ワークロードの実行に関するベスト プラクティスの概要セクションをご覧ください。 | |