Untuk membantu Anda menjalankan workload AI/ML bukti konsep (POC), halaman ini memberikan ringkasan tutorial AI Hypercomputer yang menjelaskan proses lengkap deployment model AI umum di produk Google Cloud .
Tutorial ini dirancang untuk engineer machine learning (ML), peneliti, administrator dan operator platform, serta spesialis data dan AI. Tutorial ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang konsep ML dan kemahiran dalam layanan Google Cloud , orkestrasi container, dan pengelolaan cluster.
Kategori tutorial
Tutorial workload AI disusun ke dalam kategori berikut:
- Menjalankan inferensi dengan vLLM di GKE: deploy dan sajikan model bahasa besar (LLM) untuk inferensi menggunakan framework penyajian vLLM di Google Kubernetes Engine (GKE).
- Menjalankan penyesuaian LLM di GKE dan Slurm: sesuaikan LLM untuk tugas tertentu di cluster GKE dan Slurm menggunakan framework terdistribusi seperti Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP), dan Ray.
- Menjalankan pelatihan LLM di cluster Slurm: melatih dan melakukan pra-pelatihan LLM di cluster Slurm multi-node menggunakan Cluster Toolkit dan Hugging Face Accelerate.
Menjalankan inferensi dengan vLLM di GKE
Tutorial ini menjelaskan cara men-deploy dan menyajikan LLM untuk inferensi menggunakan framework penyajian vLLM di GKE. Anda akan mempelajari cara menggunakan kemampuan orkestrasi container GKE untuk workload inferensi yang efisien. Tutorial ini membahas cara mengakses model menggunakan Hugging Face, menyiapkan cluster GKE (misalnya, dalam mode Autopilot), menangani kredensial, dan men-deploy container vLLM untuk interaksi dengan LLM seperti Gemma 3, Llama 4, dan Qwen3.
Menjalankan penyesuaian LLM di GKE dan Slurm
Tutorial ini menjelaskan cara menyesuaikan LLM untuk tugas tertentu di berbagai jenis clusterGoogle Cloud , termasuk GKE dan Slurm. Misalnya, Anda dapat menyesuaikan Gemma 3 pada cluster GKE multi-node dan multi-GPU (misalnya, menggunakan instance VM A4 dengan GPU NVIDIA B200) dan cluster Slurm. Anda akan membuat image VM kustom, mengonfigurasi jaringan RDMA, dan menjalankan tugas fine-tuning terdistribusi menggunakan Hugging Face Accelerate dan FSDP untuk tugas teks, atau framework Ray untuk tugas visi multimodal.
Menjalankan pelatihan LLM di cluster Slurm
Tutorial ini menjelaskan cara melatih atau melakukan pra-pelatihan LLM pada cluster berperforma tinggi. Misalnya, Anda akan mempelajari cara melatih model seperti Qwen2 di cluster Slurm multi-node dan multi-GPU dengan virtual machine A4. Anda akan men-deploy cluster Slurm menggunakan Google Cloud Cluster Toolkit, membuat image VM kustom, mengonfigurasi instance Filestore bersama, mengonfigurasi jaringan RDMA berkecepatan tinggi, dan menjalankan tugas pra-pelatihan terdistribusi dengan Hugging Face Accelerate.
Langkah berikutnya
Pelajari tutorial AI Hypercomputer:
- Menggunakan vLLM di GKE untuk menyajikan inferensi Gemma 3 27B
- Menyesuaikan Gemma 4 di cluster GKE A4
- Menyesuaikan Gemma 4 di cluster GKE A4 multi-host
- Melatih Qwen2 di cluster Slurm A4
- Menyajikan Qwen2-72B dengan vLLM di TPU