כדי לעזור לכם להריץ עומסי עבודה של AI או למידת מכונה להוכחת היתכנות (POC), בדף הזה מופיעה סקירה כללית של מדריכים ל-AI Hypercomputer שמתארים את התהליך המלא של פריסת מודלים נפוצים של AI במוצרי Google Cloud .
המדריכים האלה מיועדים למהנדסי למידת מכונה (ML), לחוקרים, לאדמינים ולמפעילי פלטפורמות, ולמומחים בתחום הנתונים וה-AI. ההנחה במדריכים האלה היא שיש לכם הבנה בסיסית במושגי למידת מכונה, ושאתם יודעים להשתמש בשירותי Google Cloud , בתזמור קונטיינרים ובניהול אשכולות.
קטגוריות של מדריכים
המדריכים בנושא עומסי עבודה של AI מחולקים לקטגוריות הבאות:
- הרצת הסקה באמצעות vLLM ו-SGLang ב-GKE: פריסה והצגה של מודלי שפה גדולים (LLM) להסקה באמצעות מסגרות ההצגה vLLM ו-SGLang ב-Google Kubernetes Engine (GKE).
- הרצת כוונון של LLM ב-GKE וב-Slurm: כוונון של מודלי LLM למשימות ספציפיות באשכולות GKE ו-Slurm באמצעות מסגרות מבוזרות כמו Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) ו-Ray.
- הפעלת אימון של LLM באשכולות Slurm: אימון ואימון מראש של מודלי LLM באשכולות Slurm עם כמה צמתים באמצעות Cluster Toolkit ו-Hugging Face Accelerate.
הרצת הסקה באמצעות vLLM ו-SGLang ב-GKE
במדריכים האלה מוסבר איך לפרוס ולהציג מודלים גדולים של שפה (LLM) להסקת מסקנות באמצעות מסגרות ההצגה vLLM ו-SGLang ב-GKE. תלמדו איך להשתמש ביכולות של GKE לתזמור קונטיינרים כדי לייעל את עומסי העבודה של ההסקה. המדריכים האלה עוסקים בגישה למודלים באמצעות Hugging Face, הגדרת אשכולות GKE (לדוגמה, במצב Autopilot), טיפול בפרטי כניסה ופריסת קונטיינרים של vLLM או SGLang לאינטראקציה עם מודלים גדולים של שפה (LLM) כמו Gemma 4, Gemma 3, Llama 4 ו-Qwen3.
הרצת כוונון עדין של LLM ב-GKE וב-Slurm
במדריכים האלה מוסבר איך לבצע כוונון עדין של מודלי LLM למשימות ספציפיות בסוגים שונים של אשכולותGoogle Cloud , כולל GKE ו-Slurm. לדוגמה, אתם יכולים לבצע כוונון עדין של Gemma 3 באשכולות GKE עם כמה צמתים וכמה מעבדי GPU (למשל, באמצעות מכונות וירטואליות מסוג A4 עם מעבדי GPU מסוג NVIDIA B200) ובאשכולות Slurm. אתם יוצרים קובצי אימג' של מכונות וירטואליות בהתאמה אישית, מגדירים רשתות RDMA ומריצים משימות כוונון מבוזרות באמצעות Hugging Face Accelerate ו-FSDP למשימות טקסט, או באמצעות מסגרת Ray למשימות ראייה מולטימודליות.
אימון של מודל LLM באשכולות Slurm
במדריכים האלה מוסבר איך לאמן או לאמן מראש מודלי LLM באשכולות עם ביצועים גבוהים. לדוגמה, תלמדו איך לאמן מראש מודלים כמו Qwen2 באשכולות Slurm עם כמה צמתים וכמה מעבדי GPU, באמצעות מכונות וירטואליות מסוג A4. אתם פורסים אשכולות Slurm באמצעות Google Cloud Cluster Toolkit, יוצרים קובצי אימג' מותאמים אישית של מכונות וירטואליות, מגדירים מכונות משותפות של Filestore, מגדירים רשת RDMA במהירות גבוהה ומריצים משימות מבוזרות של אימון מקדים באמצעות Hugging Face Accelerate.
המאמרים הבאים
מדריכים בנושא AI Hypercomputer:
- הצגת DeepSeek-R1 671B ב-GKE עם vLLM בכמה מארחים במכונות וירטואליות מסוג A4
- הצגת Qwen3.8-2.4T ב-GKE עם הפרדת PD בכמה מארחים באמצעות Dynamo ו-SGLang במכונות וירטואליות מסוג A4
- הצגת Llama 3.1 405B ב-GKE עם הפרדת PD באמצעות Dynamo ו-SGLang במכונות וירטואליות מסוג A4
- הצגת Qwen3-Coder-480B עם SGLang TorchTPU בכמה מארחים ב-TPU7x
- הצגת Qwen3.5-397B עם vLLM TorchTPU בכמה מארחים ב-TPU7x
- מילוי בקשות של Gemma 4 26B עם vLLM TorchTPU בכמה מארחים ב-Trillium TPU
- כוונון עדין של Gemma 4 באשכול GKE עם כמה מארחים מסוג A4
- כוונון עדין של Gemma 4 באשכול GKE מסוג A4
- איך מריצים אימון RL עם כמה מארחים ל-Gemma 4 26B ב-TPU v6e
- הפעלת SFT ל-Gemma 4 31B ב-TPU v6e עם כמה מארחים
- הצגת Qwen3.5-397B עם vLLM TorchTPU בכמה מארחים ב-TPU7x
- הצגת Qwen3.5-397B באמצעות vLLM TorchTPU ב-TPU7x
- הצגת Qwen3-Coder-480B עם SGLang TorchTPU בכמה מארחים ב-TPU7x
- איך מריצים אימון RL בכמה מארחים ל-Qwen3-30B-A3B ב-TPU v6e
- כוונון עדין של Gemma 3 באשכול GKE עם כמה מארחים מסוג A4
- הפעלת כוונון מפוקח (SFT) ב-TPU VM באמצעות MaxText
- אימון RL ב-v6e-8 TPU VM