Untuk mendukung Anda dalam menjalankan workload, kami telah menyusun serangkaian resep benchmark yang dapat direproduksi dan menggunakan beberapa framework dan model machine learning (ML) yang paling umum. File ini disimpan di repositori GitHub. Untuk mengakses repositori ini, lihat organisasi GitHub AI Hypercomputer. Resep tolok ukur ini diuji pada cluster yang dibuat menggunakan Cluster Toolkit.
Ringkasan
Sebelum memulai resep ini, pastikan Anda telah menyelesaikan langkah-langkah berikut:
- Pilih akselerator yang paling sesuai dengan workload Anda. Lihat Memilih strategi deployment.
- Pilih metode pemakaian berdasarkan akselerator pilihan Anda, lihat Opsi pemakaian.
- Buat cluster Anda berdasarkan jenis akselerator yang dipilih. Lihat Panduan deployment cluster.
Resep
Resep tolok ukur yang dapat direproduksi berikut tersedia untuk pra-pelatihan dan inferensi pada cluster GKE.
Untuk menelusuri katalog, Anda dapat memfilter berdasarkan kombinasi framework, model, dan akselerator.
| Nama resep | Akselerator | Model | Framework | Jenis workload |
|---|---|---|---|---|
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | MaxText | Pelatihan awal di GKE |
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | NeMo | Pelatihan awal di GKE |
| Mixtral-8-7B - A3 Ultra | A3 Ultra | Mixtral-8-7B | NeMo | Pelatihan awal di GKE |
| GPT3-175B - A3 Mega | A3 Mega | GPT3-175B | NeMo | Pelatihan awal di GKE |
| Mixtral 8x7B - A3 Mega | A3 Mega | Mixtral 8x7B | NeMo | Pelatihan awal di GKE |
| Llama3 70B - A3 Mega | A3 Mega | Llama3 70B | NeMo | Pelatihan awal di GKE |
| Llama3.1 70B A3 Mega | A3 Mega | Llama3.1 70B | NeMo | Pelatihan awal di GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | SGLang | Inferensi di GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | vLLM | Inferensi di GKE |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | MaxText | Pelatihan awal di GKE |
| Llama-3.1-405B - A3 Ultra (Ketahanan) | A3 Ultra | Llama-3.1-405B | NeMo | Pelatihan awal di GKE |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | NeMo | Pelatihan awal di GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | SGLang | Inferensi di GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | vLLM | Inferensi di GKE |