Um Sie bei der Ausführung Ihrer Arbeitslasten zu unterstützen, haben wir eine Reihe von reproduzierbaren Benchmark-Rezepten zusammengestellt, die einige der gängigsten Frameworks und Modelle für maschinelles Lernen (ML) verwenden. Sie werden in GitHub-Repositories gespeichert. Informationen zum Zugriff auf diese Repositories finden Sie unter AI Hypercomputer-GitHub-Organisation. Diese Benchmark-Rezepte wurden auf Clustern getestet, die mit dem Cluster Toolkit erstellt wurden.
Übersicht
Bevor Sie mit diesen Rezepten beginnen, müssen Sie die folgenden Schritte ausgeführt haben:
- Wählen Sie einen Beschleuniger aus, der am besten zu Ihrer Arbeitslast passt. Weitere Informationen finden Sie unter Bereitstellungsstrategie auswählen.
- Wählen Sie eine Nutzungsmethode basierend auf dem von Ihnen ausgewählten Accelerator aus. Weitere Informationen finden Sie unter Nutzungsoptionen.
- Erstellen Sie Ihren Cluster basierend auf dem ausgewählten Beschleunigertyp. Weitere Informationen finden Sie unter Leitfäden für die Clusterbereitstellung.
Rezepte
Die folgenden reproduzierbaren Benchmark-Rezepte sind für das Vortraining und die Inferenz in GKE-Clustern verfügbar.
Wenn Sie im Katalog suchen möchten, können Sie nach einer Kombination aus Framework, Modell und Beschleuniger filtern.
| Name des Rezepts | Beschleuniger | Modell | Framework | Arbeitslasttyp |
|---|---|---|---|---|
| Llama3.1 70B – A3 Ultra | A3 Ultra | Llama3.1 70B | MaxText | Vortraining in GKE |
| Llama3.1 70B – A3 Ultra | A3 Ultra | Llama3.1 70B | NeMo | Vortraining in GKE |
| Mixtral-8-7B – A3 Ultra | A3 Ultra | Mixtral-8-7B | NeMo | Vortraining in GKE |
| GPT3-175B - A3 Mega | A3 Mega | GPT3-175B | NeMo | Vortraining in GKE |
| Mixtral 8x7B – A3 Mega | A3 Mega | Mixtral 8x7B | NeMo | Vortraining in GKE |
| Llama3 70B – A3 Mega | A3 Mega | Llama3 70B | NeMo | Vortraining in GKE |
| Llama3.1 70B A3 Mega | A3 Mega | Llama3.1 70B | NeMo | Vortraining in GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | SGLang | Inferenz in GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | vLLM | Inferenz in GKE |
| Llama-3.1-405B – A3 Ultra | A3 Ultra | Llama-3.1-405B | MaxText | Vortraining in GKE |
| Llama-3.1-405B – A3 Ultra (Resiliency) | A3 Ultra | Llama-3.1-405B | NeMo | Vortraining in GKE |
| Llama-3.1-405B – A3 Ultra | A3 Ultra | Llama-3.1-405B | NeMo | Vortraining in GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | SGLang | Inferenz in GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | vLLM | Inferenz in GKE |