Receitas de comparativo de mercado

Para ajudar você a executar suas cargas de trabalho, selecionamos um conjunto de receitas de comparativos reproduzíveis que usam alguns dos frameworks e modelos de machine learning (ML) mais comuns. Eles são armazenados em repositórios do GitHub. Para acessar esses repositórios, consulte Organização do GitHub do hipercomputador de IA. Essas receitas de comparativo de mercado foram testadas em clusters criados com o Cluster Toolkit.

Importante: as receitas de comparativo de mercado só são compatíveis com VMs que usam reservas adiantadas.

Visão geral

Antes de começar a usar essas receitas, verifique se você concluiu as etapas a seguir:

1. Escolha um acelerador que seja mais adequado para sua carga de trabalho. Consulte Escolher uma estratégia de implantação.
2. Selecione um método de consumo com base no acelerador escolhido. Consulte Opções de consumo.
3. Crie o cluster com base no tipo de acelerador selecionado. Consulte Guias de implantação de clusters.

Receitas

As seguintes receitas de comparativo reprodutíveis estão disponíveis para pré-treinamento e inferência em clusters do GKE.

Para pesquisar no catálogo, filtre por uma combinação de framework, modelo e acelerador.

NeMo MaxText SGLang TensorRT-LLM vLLM DeepSeek R1 671B GPT3-175B Llama3 70B Llama3.1 70B Llama-3.1-405B Mixtral 8x7B A3 Ultra A3 Mega Inferência Pré-treinamento

Limpar tudo

Nome da receita	Acelerador	Modelo	Framework	Tipo de carga de trabalho
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	MaxText	Pré-treinamento no GKE
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	NeMo	Pré-treinamento no GKE
Mixtral-8-7B - A3 Ultra	A3 Ultra	Mixtral 8x7B	NeMo	Pré-treinamento no GKE
GPT3-175B - A3 Mega	A3 Mega	GPT3-175B	NeMo	Pré-treinamento no GKE
Mixtral 8x7B - A3 Mega	A3 Mega	Mixtral 8x7B	NeMo	Pré-treinamento no GKE
Llama3 70B - A3 Mega	A3 Mega	Llama3 70B	NeMo	Pré-treinamento no GKE
Llama3.1 70B A3 Mega	A3 Mega	Llama3.1 70B	NeMo	Pré-treinamento no GKE
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	SGLang	Inferência no GKE
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	vLLM	Inferência no GKE
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	MaxText	Pré-treinamento no GKE
Llama-3.1-405B - A3 Ultra (resiliência)	A3 Ultra	Llama-3.1-405B	NeMo	Pré-treinamento no GKE
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	NeMo	Pré-treinamento no GKE
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	SGLang	Inferência no GKE
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	vLLM	Inferência no GKE