Receitas de comparativo de mercado

Para ajudar você a executar suas cargas de trabalho, selecionamos um conjunto de receitas de benchmark reproduzíveis que usam alguns dos modelos e frameworks de machine learning (ML) mais comuns. Eles são armazenados em repositórios do GitHub. Para acessar esses repositórios, consulte a organização do GitHub do Hipercomputador de IA. Essas receitas de benchmark foram testadas em clusters criados usando o Cluster Toolkit.

Visão geral

Antes de começar a usar essas receitas, conclua as seguintes etapas:

  1. Escolha um acelerador que melhor se adapte à sua carga de trabalho. Consulte Escolher uma estratégia de implantação.
  2. Selecione um método de consumo com base no acelerador escolhido. Consulte Opções de consumo.
  3. Crie o cluster com base no tipo de acelerador selecionado. Consulte os guias de implantação de clusters.

Receitas

As seguintes receitas de benchmark reproduzíveis estão disponíveis para pré-treinamento e inferência em clusters do GKE.

Para pesquisar o catálogo, filtre por uma combinação de framework, modelo e acelerador.

Nome da receita Acelerador Modelo Framework Tipo de carga de trabalho
Llama3.1 70B - A3 Ultra A3 Ultra Llama3.1 70B MaxText Pré-treinamento no GKE
Llama3.1 70B - A3 Ultra A3 Ultra Llama3.1 70B NeMo Pré-treinamento no GKE
Mixtral-8-7B - A3 Ultra A3 Ultra Mixtral-8-7B NeMo Pré-treinamento no GKE
GPT3-175B - A3 Mega A3 Mega GPT3-175B NeMo Pré-treinamento no GKE
Mixtral 8x7B - A3 Mega A3 Mega Mixtral 8x7B NeMo Pré-treinamento no GKE
Llama3 70B - A3 Mega A3 Mega Llama3 70B NeMo Pré-treinamento no GKE
Llama3.1 70B A3 Mega A3 Mega Llama3.1 70B NeMo Pré-treinamento no GKE
DeepSeek R1 671B A3 Mega DeepSeek R1 671B SGLang Inferência no GKE
DeepSeek R1 671B A3 Mega DeepSeek R1 671B vLLM Inferência no GKE
Llama-3.1-405B - A3 Ultra A3 Ultra Llama-3.1-405B MaxText Pré-treinamento no GKE
Llama-3.1-405B - A3 Ultra (Resiliência) A3 Ultra Llama-3.1-405B NeMo Pré-treinamento no GKE
Llama-3.1-405B - A3 Ultra A3 Ultra Llama-3.1-405B NeMo Pré-treinamento no GKE
DeepSeek R1 671B A3 Ultra DeepSeek R1 671B SGLang Inferência no GKE
DeepSeek R1 671B A3 Ultra DeepSeek R1 671B vLLM Inferência no GKE