ワークロードの実行をサポートするために、最も一般的な ML フレームワークとモデルの一部を使用する再現可能なベンチマーク レシピのセットを厳選しました。これらは GitHub リポジトリに保存されます。これらのリポジトリにアクセスするには、AI Hypercomputer GitHub 組織をご覧ください。これらのベンチマーク レシピは、Cluster Toolkit を使用して作成されたクラスタでテストされました。
概要
これらのレシピを開始する前に、次の手順を完了していることを確認してください。
- ワークロードに最適なアクセラレータを選択します。デプロイ戦略を選択するをご覧ください。
- 選択したアクセラレータに基づいて使用方法を選択します。使用オプションをご覧ください。
- 選択したアクセラレータのタイプに基づいてクラスタを作成します。クラスタ デプロイ ガイドをご覧ください。
レシピ
次の再現可能なベンチマーク レシピは、GKE クラスタでの事前トレーニングと推論に使用できます。
カタログを検索するには、フレームワーク、モデル、アクセラレータの組み合わせでフィルタできます。
| レシピ名 | アクセラレータ | モデル | フレームワーク | ワークロード タイプ |
|---|---|---|---|---|
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | MaxText | GKE での事前トレーニング |
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | NeMo | GKE での事前トレーニング |
| Mixtral-8-7B - A3 Ultra | A3 Ultra | Mixtral-8-7B | NeMo | GKE での事前トレーニング |
| GPT3-175B - A3 Mega | A3 Mega | GPT3-175B | NeMo | GKE での事前トレーニング |
| Mixtral 8x7B - A3 Mega | A3 Mega | Mixtral 8x7B | NeMo | GKE での事前トレーニング |
| Llama3 70B - A3 Mega | A3 Mega | Llama3 70B | NeMo | GKE での事前トレーニング |
| Llama3.1 70B A3 Mega | A3 Mega | Llama3.1 70B | NeMo | GKE での事前トレーニング |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | SGLang | GKE での推論 |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | vLLM | GKE での推論 |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | MaxText | GKE での事前トレーニング |
| Llama-3.1-405B - A3 Ultra（復元力） | A3 Ultra | Llama-3.1-405B | NeMo | GKE での事前トレーニング |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | NeMo | GKE での事前トレーニング |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | SGLang | GKE での推論 |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | vLLM | GKE での推論 |