Untuk membantu Anda menjalankan workload AI/ML bukti konsep (POC), halaman ini memberikan ringkasan tutorial AI Hypercomputer yang menjelaskan proses lengkap deployment model AI umum di produk Google Cloud .
Tutorial ini dirancang untuk engineer machine learning (ML), peneliti, administrator dan operator platform, serta spesialis data dan AI. Tutorial ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang konsep ML dan kemahiran dalam layanan Google Cloud , orkestrasi container, dan pengelolaan cluster.
Kategori tutorial
Tutorial workload AI disusun ke dalam kategori berikut:
- Menjalankan inferensi dengan vLLM dan SGLang di GKE: deploy dan sajikan model bahasa besar (LLM) untuk inferensi menggunakan framework penyajian vLLM dan SGLang di Google Kubernetes Engine (GKE).
- Menjalankan penyesuaian LLM di GKE dan Slurm: sesuaikan LLM untuk tugas tertentu di cluster GKE dan Slurm menggunakan framework terdistribusi seperti Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP), dan Ray.
- Menjalankan pelatihan LLM di cluster Slurm: melatih dan melakukan pra-pelatihan LLM di cluster Slurm multi-node menggunakan Cluster Toolkit dan Hugging Face Accelerate.
Menjalankan inferensi dengan vLLM dan SGLang di GKE
Tutorial ini menjelaskan cara men-deploy dan menyajikan LLM untuk inferensi menggunakan framework penyajian vLLM dan SGLang di GKE. Anda akan mempelajari cara menggunakan kemampuan orkestrasi container GKE untuk workload inferensi yang efisien. Tutorial ini membahas cara mengakses model menggunakan Hugging Face, menyiapkan cluster GKE (misalnya, dalam mode Autopilot), menangani kredensial, dan men-deploy container vLLM atau SGLang untuk berinteraksi dengan LLM seperti Gemma 4, Gemma 3, Llama 4, dan Qwen3.
Menjalankan penyesuaian LLM di GKE dan Slurm
Tutorial ini menjelaskan cara menyesuaikan LLM untuk tugas tertentu di berbagai jenis clusterGoogle Cloud , termasuk GKE dan Slurm. Misalnya, Anda dapat menyesuaikan Gemma 3 pada cluster GKE multi-node dan multi-GPU (misalnya, menggunakan instance VM A4 dengan GPU NVIDIA B200) dan cluster Slurm. Anda akan membuat image VM kustom, mengonfigurasi jaringan RDMA, dan menjalankan tugas fine-tuning terdistribusi menggunakan Hugging Face Accelerate dan FSDP untuk tugas teks, atau framework Ray untuk tugas visi multimodal.
Menjalankan pelatihan LLM di cluster Slurm
Tutorial ini menjelaskan cara melatih atau melakukan pra-pelatihan LLM pada cluster berperforma tinggi. Misalnya, Anda akan mempelajari cara melatih model seperti Qwen2 di cluster Slurm multi-node dan multi-GPU dengan virtual machine A4. Anda akan men-deploy cluster Slurm menggunakan Google Cloud Cluster Toolkit, membuat image VM kustom, mengonfigurasi instance Filestore bersama, mengonfigurasi jaringan RDMA berkecepatan tinggi, dan menjalankan tugas pra-pelatihan terdistribusi dengan Hugging Face Accelerate.
Langkah berikutnya
Pelajari tutorial AI Hypercomputer:
- Menyajikan Qwen3-Coder-480B dengan SGLang TorchTPU multi-host di TPU7x
- Menyajikan Qwen3.5-397B dengan TorchTPU vLLM multi-host di TPU7x
- Menyajikan Gemma 4 26B dengan TorchTPU vLLM multi-host di TPU Trillium
- Menyajikan Qwen3.5-397B dengan vLLM TorchTPU di TPU7x
- Menyesuaikan Gemma 4 di cluster GKE A4 multi-host
- Menyesuaikan Gemma 4 di cluster GKE A4
- Menjalankan pelatihan RL multi-host untuk Gemma 4 26B di TPU v6e
- Menjalankan SFT untuk Gemma 4 31B di TPU v6e multi-host
- Menjalankan pelatihan RL multi-host untuk Qwen3-30B-A3B di TPU v6e
- Menyesuaikan Gemma 3 di cluster GKE A4 multi-host
- Menjalankan pelatihan RL di VM TPU v6e-8
- Menjalankan supervised fine-tuning di VM TPU dengan MaxText