Damit Sie Ihre Arbeitslasten ausführen können, haben wir eine Reihe reproduzierbarer Benchmark-Rezepte zusammengestellt, die einige der gängigsten Frameworks und Modelle für maschinelles Lernen (ML) verwenden. Diese sind in GitHub-Repositories gespeichert. Informationen zum Zugriff auf diese Repositories finden Sie unter GitHub-Organisation für AI Hypercomputer. Diese Benchmark-Rezepte wurden in Clustern getestet, die mit dem Cluster Toolkit erstellt wurden.
Übersicht
Bevor Sie mit diesen Rezepten beginnen, müssen Sie die folgenden Schritte ausführen:
- Wählen Sie einen Beschleuniger aus, der am besten zu Ihrer Arbeitslast passt. Weitere Informationen finden Sie unter Bereitstellungsstrategie auswählen.
- Wählen Sie eine Nutzungsmethode basierend auf dem von Ihnen ausgewählten Beschleuniger aus. Weitere Informationen finden Sie unter Nutzungsoptionen.
- Erstellen Sie Ihren Cluster basierend auf dem ausgewählten Beschleunigertyp. Weitere Informationen finden Sie in den Leitfäden zur Clusterbereitstellung .
Rezepte
Die folgenden reproduzierbaren Benchmark-Rezepte sind für das Vortraining und die Inferenz in GKE-Clustern verfügbar.
Wenn Sie den Katalog durchsuchen möchten, können Sie nach einer Kombination aus Framework, Modell und Beschleuniger filtern.
| Name des Rezepts | Beschleuniger | Modell | Framework | Arbeitslasttyp |
|---|---|---|---|---|
| Llama3.1 70B – A3 Ultra | A3 Ultra | Llama3.1 70B | MaxText | Vortraining in GKE |
| Llama3.1 70B – A3 Ultra | A3 Ultra | Llama3.1 70B | NeMo | Vortraining in GKE |
| Mixtral-8-7B – A3 Ultra | A3 Ultra | Mixtral-8-7B | NeMo | Vortraining in GKE |
| GPT3-175B – A3 Mega | A3 Mega | GPT3-175B | NeMo | Vortraining in GKE |
| Mixtral 8x7B – A3 Mega | A3 Mega | Mixtral 8x7B | NeMo | Vortraining in GKE |
| Llama3 70B – A3 Mega | A3 Mega | Llama3 70B | NeMo | Vortraining in GKE |
| Llama3.1 70B – A3 Mega | A3 Mega | Llama3.1 70B | NeMo | Vortraining in GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | SGLang | Inferenz in GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | vLLM | Inferenz in GKE |
| Llama-3.1-405B – A3 Ultra | A3 Ultra | Llama-3.1-405B | MaxText | Vortraining in GKE |
| Llama-3.1-405B – A3 Ultra (Resilienz) | A3 Ultra | Llama-3.1-405B | NeMo | Vortraining in GKE |
| Llama-3.1-405B – A3 Ultra | A3 Ultra | Llama-3.1-405B | NeMo | Vortraining in GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | SGLang | Inferenz in GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | vLLM | Inferenz in GKE |