Benchmarking-Rezepte

Um Sie bei der Ausführung Ihrer Arbeitslasten zu unterstützen, haben wir eine Reihe von reproduzierbaren Benchmark-Rezepten zusammengestellt, die einige der gängigsten Frameworks und Modelle für maschinelles Lernen (ML) verwenden. Sie werden in GitHub-Repositories gespeichert. Informationen zum Zugriff auf diese Repositories finden Sie unter AI Hypercomputer-GitHub-Organisation. Diese Benchmark-Rezepte wurden auf Clustern getestet, die mit dem Cluster Toolkit erstellt wurden.

Übersicht

Bevor Sie mit diesen Rezepten beginnen, müssen Sie die folgenden Schritte ausgeführt haben:

  1. Wählen Sie einen Beschleuniger aus, der am besten zu Ihrer Arbeitslast passt. Weitere Informationen finden Sie unter Bereitstellungsstrategie auswählen.
  2. Wählen Sie eine Nutzungsmethode basierend auf dem von Ihnen ausgewählten Accelerator aus. Weitere Informationen finden Sie unter Nutzungsoptionen.
  3. Erstellen Sie Ihren Cluster basierend auf dem ausgewählten Beschleunigertyp. Weitere Informationen finden Sie unter Leitfäden für die Clusterbereitstellung.

Rezepte

Die folgenden reproduzierbaren Benchmark-Rezepte sind für das Vortraining und die Inferenz in GKE-Clustern verfügbar.

Wenn Sie im Katalog suchen möchten, können Sie nach einer Kombination aus Framework, Modell und Beschleuniger filtern.

Name des Rezepts Beschleuniger Modell Framework Arbeitslasttyp
Llama3.1 70B – A3 Ultra A3 Ultra Llama3.1 70B MaxText Vortraining in GKE
Llama3.1 70B – A3 Ultra A3 Ultra Llama3.1 70B NeMo Vortraining in GKE
Mixtral-8-7B – A3 Ultra A3 Ultra Mixtral-8-7B NeMo Vortraining in GKE
GPT3-175B - A3 Mega A3 Mega GPT3-175B NeMo Vortraining in GKE
Mixtral 8x7B – A3 Mega A3 Mega Mixtral 8x7B NeMo Vortraining in GKE
Llama3 70B – A3 Mega A3 Mega Llama3 70B NeMo Vortraining in GKE
Llama3.1 70B A3 Mega A3 Mega Llama3.1 70B NeMo Vortraining in GKE
DeepSeek R1 671B A3 Mega DeepSeek R1 671B SGLang Inferenz in GKE
DeepSeek R1 671B A3 Mega DeepSeek R1 671B vLLM Inferenz in GKE
Llama-3.1-405B – A3 Ultra A3 Ultra Llama-3.1-405B MaxText Vortraining in GKE
Llama-3.1-405B – A3 Ultra (Resiliency) A3 Ultra Llama-3.1-405B NeMo Vortraining in GKE
Llama-3.1-405B – A3 Ultra A3 Ultra Llama-3.1-405B NeMo Vortraining in GKE
DeepSeek R1 671B A3 Ultra DeepSeek R1 671B SGLang Inferenz in GKE
DeepSeek R1 671B A3 Ultra DeepSeek R1 671B vLLM Inferenz in GKE