Recetas de comparativas

Para ayudarte a ejecutar tus cargas de trabajo, seleccionamos un conjunto de recetas de comparativas reproducibles que usan algunos de los marcos de trabajo y modelos de aprendizaje automático (AA) más comunes. Estos se almacenan en repositorios de GitHub. Para acceder a estos repositorios, consulta Organización de GitHub de AI Hypercomputer. Estas recetas de comparativas se probaron en clústeres creados con Cluster Toolkit.

Importante: Las recetas de comparativas solo se admiten para las VMs que usan reservas futuras.

Descripción general

Antes de comenzar con estas recetas, asegúrate de haber completado los siguientes pasos:

1. Elige un acelerador que se adapte mejor a tu carga de trabajo. Consulta Elige una estrategia de implementación.
2. Selecciona un método de consumo según el acelerador que elijas. Consulta Opciones de consumo.
3. Crea tu clúster según el tipo de acelerador seleccionado. Consulta las guías de implementación de clústeres.

Recetas

Las siguientes recetas de comparativas reproducibles están disponibles para el entrenamiento previo y la inferencia en clústeres de GKE.

Para buscar en el catálogo, puedes filtrar por una combinación de tu framework, modelo y acelerador.

NeMo MaxText SGLang TensorRT-LLM vLLM DeepSeek R1, 671B GPT3-175B Llama3 70B Llama3.1 70B Llama-3.1-405B Mixtral-8-7B A3 Ultra A3 Mega Inferencia Entrenamiento previo

Borrar todo

Nombre de la receta	Acelerador	Modelo	Framework	Tipo de carga de trabajo
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	MaxText	Entrenamiento previo en GKE
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	NeMo	Entrenamiento previo en GKE
Mixtral-8-7B - A3 Ultra	A3 Ultra	Mixtral-8-7B	NeMo	Entrenamiento previo en GKE
GPT3-175B - A3 Mega	A3 Mega	GPT3-175B	NeMo	Entrenamiento previo en GKE
Mixtral 8x7B - A3 Mega	A3 Mega	Mixtral 8x7B	NeMo	Entrenamiento previo en GKE
Llama3 70B - A3 Mega	A3 Mega	Llama3 70B	NeMo	Entrenamiento previo en GKE
Llama3.1 70B A3 Mega	A3 Mega	Llama3.1 70B	NeMo	Entrenamiento previo en GKE
DeepSeek R1 671B	A3 Mega	DeepSeek R1, 671B	SGLang	Inferencia en GKE
DeepSeek R1 671B	A3 Mega	DeepSeek R1, 671B	vLLM	Inferencia en GKE
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	MaxText	Entrenamiento previo en GKE
Llama-3.1-405B - A3 Ultra (Resiliency)	A3 Ultra	Llama-3.1-405B	NeMo	Entrenamiento previo en GKE
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	NeMo	Entrenamiento previo en GKE
DeepSeek R1 671B	A3 Ultra	DeepSeek R1, 671B	SGLang	Inferencia en GKE
DeepSeek R1 671B	A3 Ultra	DeepSeek R1, 671B	vLLM	Inferencia en GKE