Para ajudar você a executar cargas de trabalho de IA/ML de prova de conceito (POC), esta página oferece uma visão geral dos tutoriais do Hipercomputador de IA que descrevem o processo completo de implantação de modelos de IA comuns em produtos do Google Cloud .
Estes tutoriais são destinados a engenheiros de machine learning (ML), pesquisadores, administradores e operadores de plataforma e especialistas em dados e IA. Esses tutoriais pressupõem que você tenha um entendimento básico dos conceitos de ML e proficiência com os serviços do Google Cloud , orquestração de contêineres e gerenciamento de clusters.
Categorias de tutoriais
Os tutoriais de carga de trabalho de IA são organizados nas seguintes categorias:
- Executar inferência com vLLM e SGLang no GKE: implante e disponibilize modelos de linguagem grandes (LLMs) para inferência usando os frameworks de disponibilização vLLM e SGLang no Google Kubernetes Engine (GKE).
- Ajustar LLMs no GKE e no Slurm: ajuste LLMs para tarefas específicas em clusters do GKE e do Slurm usando frameworks distribuídos, como Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) e Ray.
- Executar o treinamento de LLM em clusters do Slurm: treine e pré-treine LLMs em clusters do Slurm de vários nós usando o Cluster Toolkit e o Hugging Face Accelerate.
Executar inferência com vLLM e SGLang no GKE
Estes tutoriais descrevem como implantar e disponibilizar LLMs para inferência usando os frameworks de disponibilização vLLM e SGLang no GKE. Você vai aprender a usar os recursos de orquestração de contêineres do GKE para cargas de trabalho de inferência eficientes. Esses tutoriais abordam o acesso a modelos usando o Hugging Face, a configuração de clusters do GKE (por exemplo, no modo Autopilot), o gerenciamento de credenciais e a implantação de contêineres vLLM ou SGLang para interação com LLMs, como Gemma 4, Gemma 3, Llama 4 e Qwen3.
Executar o ajuste fino de LLM no GKE e no Slurm
Estes tutoriais descrevem como ajustar LLMs para tarefas específicas em vários tipos de cluster doGoogle Cloud , incluindo GKE e Slurm. Por exemplo, é possível ajustar o Gemma 3 em clusters do GKE com vários nós e várias GPUs (por exemplo, usando instâncias de VM A4 com GPUs NVIDIA B200) e clusters do Slurm. Você cria imagens de VM personalizadas, configura redes RDMA e executa jobs de ajuste fino distribuídos usando o Hugging Face Accelerate e o FSDP para tarefas de texto ou o framework Ray para tarefas de visão multimodal.
Executar o treinamento de LLM em clusters do Slurm
Estes tutoriais descrevem como treinar ou pré-treinar LLMs em clusters de alto desempenho. Por exemplo, você vai aprender a pré-treinar modelos como o Qwen2 em clusters Slurm de vários nós e várias GPUs com máquinas virtuais A4. Você implanta clusters do Slurm usando o Google Cloud Cluster Toolkit, cria imagens de VM personalizadas, configura instâncias compartilhadas do Filestore, configura redes RDMA de alta velocidade e executa jobs de pré-treinamento distribuídos com o Hugging Face Accelerate.
A seguir
Confira os tutoriais do Hipercomputador de IA:
- Disponibilizar o Qwen3-Coder-480B com o SGLang TorchTPU de vários hosts na TPU7x
- Disponibilizar o Qwen3.5-397B com o vLLM TorchTPU de vários hosts na TPU7x
- Disponibilizar o Gemma 4 26B com o vLLM TorchTPU de vários hosts em TPUs Trillium
- Disponibilizar o Qwen3.5-397B com o vLLM TorchTPU na TPU7x
- Ajustar o Gemma 4 em um cluster do GKE A4 de vários hosts
- Ajustar o Gemma 4 em um cluster do GKE A4
- Executar o treinamento de RL de vários hosts para o Gemma 4 26B na TPU v6e
- Executar SFT para Gemma 4 31B em TPU v6e de vários hosts
- Executar o treinamento de RL de vários hosts para Qwen3-30B-A3B na TPU v6e
- Ajustar o Gemma 3 em um cluster do GKE A4 de vários hosts
- Executar o treinamento de RL em uma VM de TPU v6e-8
- Executar o ajuste supervisionado em uma VM de TPU com o MaxText