Recettes de benchmarking

Pour vous aider à exécuter vos charges de travail, nous avons sélectionné un ensemble de recettes de benchmark reproductibles qui utilisent certains des frameworks et modèles de machine learning (ML) les plus courants. Ils sont stockés dans des dépôts GitHub. Pour accéder à ces dépôts, consultez Organisation GitHub AI Hypercomputer. Ces recettes de benchmark ont été testées sur des clusters créés à l'aide de Cluster Toolkit.

Important : Les recettes de benchmark ne sont compatibles qu'avec les VM qui utilisent des réservations futures.

Présentation

Avant de commencer à utiliser ces recettes, assurez-vous d'avoir effectué les étapes suivantes :

1. Choisissez l'accélérateur qui correspond le mieux à votre charge de travail. Consultez Choisir une stratégie de déploiement.
2. Sélectionnez une méthode de consommation en fonction de l'accélérateur de votre choix. Pour en savoir plus, consultez Options de consommation.
3. Créez votre cluster en fonction du type d'accélérateur sélectionné. Consultez les guides de déploiement des clusters.

Recettes

Les recettes de benchmark reproductibles suivantes sont disponibles pour le pré-entraînement et l'inférence sur les clusters GKE.

Pour effectuer une recherche dans le catalogue, vous pouvez filtrer les résultats en combinant votre framework, votre modèle et votre accélérateur.

NeMo MaxText SGLang TensorRT-LLM vLLM DeepSeek R1 671B GPT3-175B Llama3 70B Llama3.1 70B Llama-3.1-405B Mixtral-8-7B A3 Ultra A3 Mega Inférence Pré-entraînement

Tout effacer

Nom de la recette	Accélérateur	Modèle	Framework	Type de charge de travail
Llama3.1 70B – A3 Ultra	A3 Ultra	Llama3.1 70B	MaxText	Pré-entraînement sur GKE
Llama3.1 70B – A3 Ultra	A3 Ultra	Llama3.1 70B	NeMo	Pré-entraînement sur GKE
Mixtral-8-7B – A3 Ultra	A3 Ultra	Mixtral-8-7B	NeMo	Pré-entraînement sur GKE
GPT3-175B - A3 Mega	A3 Mega	GPT3-175B	NeMo	Pré-entraînement sur GKE
Mixtral 8x7B – A3 Mega	A3 Mega	Mixtral 8x7B	NeMo	Pré-entraînement sur GKE
Llama3 70B - A3 Mega	A3 Mega	Llama3 70B	NeMo	Pré-entraînement sur GKE
Llama3.1 70B A3 Mega	A3 Mega	Llama3.1 70B	NeMo	Pré-entraînement sur GKE
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	SGLang	Inférence sur GKE
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	vLLM	Inférence sur GKE
Llama-3.1-405B – A3 Ultra	A3 Ultra	Llama-3.1-405B	MaxText	Pré-entraînement sur GKE
Llama-3.1-405B – A3 Ultra (résilience)	A3 Ultra	Llama-3.1-405B	NeMo	Pré-entraînement sur GKE
Llama-3.1-405B – A3 Ultra	A3 Ultra	Llama-3.1-405B	NeMo	Pré-entraînement sur GKE
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	SGLang	Inférence sur GKE
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	vLLM	Inférence sur GKE