Per supportarti nell'esecuzione dei tuoi workload, abbiamo selezionato un insieme di ricette di benchmark riproducibili che utilizzano alcuni dei framework e dei modelli di machine learning (ML) più comuni. Questi vengono archiviati nei repository GitHub. Per accedere a questi repository, consulta l'organizzazione GitHub di AI Hypercomputer. Queste ricette di benchmark sono state testate su cluster creati utilizzando Cluster Toolkit.
Panoramica
Prima di iniziare a utilizzare queste ricette, assicurati di aver completato i seguenti passaggi:
- Scegli un acceleratore più adatto al tuo workload. Consulta Scegliere una strategia di deployment.
- Seleziona un metodo di consumo in base all'acceleratore che preferisci. Consulta Opzioni di consumo.
- Crea il cluster in base al tipo di acceleratore selezionato. Consulta le guide al deployment del cluster.
Ricette
Per il pre-addestramento e l'inferenza sui cluster GKE sono disponibili le seguenti ricette di benchmark riproducibili.
Per eseguire ricerche nel catalogo, puoi filtrare in base a una combinazione di framework, modello e acceleratore.
| Nome della ricetta | Acceleratore | Modello | Framework | Tipo di workload |
|---|---|---|---|---|
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | MaxText | Pre-addestramento su GKE |
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | NeMo | Pre-addestramento su GKE |
| Mixtral-8-7B - A3 Ultra | A3 Ultra | Mixtral-8-7B | NeMo | Pre-addestramento su GKE |
| GPT3-175B - A3 Mega | A3 Mega | GPT3-175B | NeMo | Pre-addestramento su GKE |
| Mixtral 8x7B - A3 Mega | A3 Mega | Mixtral 8x7B | NeMo | Pre-addestramento su GKE |
| Llama3 70B - A3 Mega | A3 Mega | Llama3 70B | NeMo | Pre-addestramento su GKE |
| Llama3.1 70B A3 Mega | A3 Mega | Llama3.1 70B | NeMo | Pre-addestramento su GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | SGLang | Inferenza su GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | vLLM | Inferenza su GKE |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | MaxText | Pre-addestramento su GKE |
| Llama-3.1-405B - A3 Ultra (resilienza) | A3 Ultra | Llama-3.1-405B | NeMo | Pre-addestramento su GKE |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | NeMo | Pre-addestramento su GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | SGLang | Inferenza su GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | vLLM | Inferenza su GKE |