Auf dieser Seite finden Sie eine Übersicht über AI Hypercomputer-Anleitungen, in denen der gesamte Prozess der Bereitstellung gängiger KI-Modelle auf Google Cloud -Produkten beschrieben wird. So können Sie KI-/ML-Arbeitslasten für Proof of Concept (POC) ausführen.
Diese Tutorials richten sich an Entwickler für maschinelles Lernen (ML), Forscher, Plattformadministratoren und -operatoren sowie Daten- und KI-Spezialisten. In diesen Anleitungen wird davon ausgegangen, dass Sie über grundlegende Kenntnisse von ML-Konzepten und über Kenntnisse in Bezug auf Google Cloud -Dienste, Containerorchestrierung und Clusterverwaltung verfügen.
Anleitungskategorien
Die Anleitungen zu KI-Arbeitslasten sind in folgende Kategorien unterteilt:
- Inferenz mit vLLM in der GKE ausführen: Large Language Models (LLMs) für die Inferenz mit dem vLLM-Bereitstellungs-Framework in der Google Kubernetes Engine (GKE) bereitstellen.
- LLM-Feinabstimmung in GKE und Slurm ausführen: Feinabstimmung von LLMs für bestimmte Aufgaben in GKE- und Slurm-Clustern mit verteilten Frameworks wie Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) und Ray.
- LLM-Training auf Slurm-Clustern ausführen: Trainieren und vortrainieren Sie LLMs auf Slurm-Clustern mit mehreren Knoten mithilfe des Cluster Toolkits und Hugging Face Accelerate.
Inferenz mit vLLM in der GKE ausführen
In diesen Anleitungen wird beschrieben, wie Sie LLMs für die Inferenz mit dem vLLM-Bereitstellungs-Framework in der GKE bereitstellen und verfügbar machen. Sie erfahren, wie Sie die Containerorchestrierungsfunktionen von GKE für effiziente Inferenzarbeitslasten nutzen. In diesen Anleitungen wird beschrieben, wie Sie mit Hugging Face auf Modelle zugreifen, GKE-Cluster einrichten (z. B. im Autopilot-Modus), Anmeldedaten verwalten und vLLM-Container für die Interaktion mit LLMs wie Gemma 3, Llama 4 und Qwen3 bereitstellen.
LLM-Feinabstimmung in GKE und Slurm ausführen
In diesen Anleitungen wird beschrieben, wie Sie LLMs für bestimmte Aufgaben in verschiedenen Clustertypen vonGoogle Cloud optimieren, einschließlich GKE und Slurm. Sie können Gemma 3 beispielsweise auf GKE-Clustern mit mehreren Knoten und mehreren GPUs (z. B. mit A4-VM-Instanzen mit NVIDIA B200-GPUs) und Slurm-Clustern optimieren. Sie erstellen benutzerdefinierte VM-Images, konfigurieren RDMA-Netzwerke und führen verteilte Feinabstimmungsjobs mit Hugging Face Accelerate und FSDP für Textaufgaben oder dem Ray-Framework für multimodale Vision-Aufgaben aus.
LLM-Training auf Slurm-Clustern ausführen
In diesen Anleitungen wird beschrieben, wie Sie LLMs auf Hochleistungsclustern trainieren oder vortrainieren. Sie erfahren beispielsweise, wie Sie Modelle wie Qwen2 auf Slurm-Clustern mit mehreren Knoten und mehreren GPUs mit virtuellen A4-Maschinen vortrainieren. Sie stellen Slurm-Cluster mit dem Google Cloud Cluster Toolkit bereit, erstellen benutzerdefinierte VM-Images, konfigurieren freigegebene Filestore-Instanzen, konfigurieren ein Hochgeschwindigkeits-RDMA-Netzwerk und führen verteilte Vortrainingsjobs mit Hugging Face Accelerate aus.
Nächste Schritte
Tutorials zum AI Hypercomputer entdecken:
- vLLM in GKE verwenden, um die Inferenz von Gemma 3 27B bereitzustellen
- Gemma 4 in einem A4-GKE-Cluster abstimmen
- Gemma 4 in einem Multi-Host-A4-GKE-Cluster abstimmen
- Qwen2 in einem A4-Slurm-Cluster trainieren
- Qwen2-72B mit vLLM auf TPUs bereitstellen