Ricette di benchmarking

Per supportarti nell'esecuzione dei tuoi workload, abbiamo selezionato un insieme di ricette di benchmark riproducibili che utilizzano alcuni dei framework e dei modelli di machine learning (ML) più comuni. Questi vengono archiviati nei repository GitHub. Per accedere a questi repository, consulta l'organizzazione GitHub di AI Hypercomputer. Queste ricette di benchmark sono state testate su cluster creati utilizzando Cluster Toolkit.

Panoramica

Prima di iniziare a utilizzare queste ricette, assicurati di aver completato i seguenti passaggi:

  1. Scegli un acceleratore più adatto al tuo workload. Consulta Scegliere una strategia di deployment.
  2. Seleziona un metodo di consumo in base all'acceleratore che preferisci. Consulta Opzioni di consumo.
  3. Crea il cluster in base al tipo di acceleratore selezionato. Consulta le guide al deployment del cluster.

Ricette

Per il pre-addestramento e l'inferenza sui cluster GKE sono disponibili le seguenti ricette di benchmark riproducibili.

Per eseguire ricerche nel catalogo, puoi filtrare in base a una combinazione di framework, modello e acceleratore.

Nome della ricetta Acceleratore Modello Framework Tipo di workload
Llama3.1 70B - A3 Ultra A3 Ultra Llama3.1 70B MaxText Pre-addestramento su GKE
Llama3.1 70B - A3 Ultra A3 Ultra Llama3.1 70B NeMo Pre-addestramento su GKE
Mixtral-8-7B - A3 Ultra A3 Ultra Mixtral-8-7B NeMo Pre-addestramento su GKE
GPT3-175B - A3 Mega A3 Mega GPT3-175B NeMo Pre-addestramento su GKE
Mixtral 8x7B - A3 Mega A3 Mega Mixtral 8x7B NeMo Pre-addestramento su GKE
Llama3 70B - A3 Mega A3 Mega Llama3 70B NeMo Pre-addestramento su GKE
Llama3.1 70B A3 Mega A3 Mega Llama3.1 70B NeMo Pre-addestramento su GKE
DeepSeek R1 671B A3 Mega DeepSeek R1 671B SGLang Inferenza su GKE
DeepSeek R1 671B A3 Mega DeepSeek R1 671B vLLM Inferenza su GKE
Llama-3.1-405B - A3 Ultra A3 Ultra Llama-3.1-405B MaxText Pre-addestramento su GKE
Llama-3.1-405B - A3 Ultra (resilienza) A3 Ultra Llama-3.1-405B NeMo Pre-addestramento su GKE
Llama-3.1-405B - A3 Ultra A3 Ultra Llama-3.1-405B NeMo Pre-addestramento su GKE
DeepSeek R1 671B A3 Ultra DeepSeek R1 671B SGLang Inferenza su GKE
DeepSeek R1 671B A3 Ultra DeepSeek R1 671B vLLM Inferenza su GKE