מסמכי תיעוד בנושא תזמור של AI/ML ב-GKE

‫Google Kubernetes Engine (GKE) מספק פלטפורמה אחת מאוחדת לניהול כל מחזור החיים של AI/ML. הוא נותן לכם את הכוח והגמישות לשפר את עומסי העבודה של האימון, ההסקה והסוכנים, כדי שתוכלו לייעל את התשתית ולהתחיל להשיג תוצאות. יכולות התזמור המתקדמות ביותר של GKE מספקות את היתרונות הבאים:

  • מאיצי חומרה: גישה וניהול של מעבדי GPU ו-TPU בעלי ביצועים גבוהים שדרושים לכם, גם לאימון וגם להסקת מסקנות, בקנה מידה נרחב.
  • גמישות במחסנית: שילוב עם מסגרות מוכרות ואמינות של מחשוב מבוזר, עיבוד נתונים ופרסום מודלים.
  • הפשטות של Kubernetes מנוהל: אתם נהנים מכל היתרונות של פלטפורמה מנוהלת כדי להפוך את כל מחזור החיים של ה-AI/ML לאוטומטי, להרחיב אותו ולשפר את האבטחה שלו, תוך שמירה על גמישות.

בבלוגים, במדריכים ובשיטות המומלצות שלנו מוסבר איך GKE יכול לשפר את עומסי העבודה של AI/ML. למידע נוסף על היתרונות והתכונות הזמינות, קראו את הסקירה הכללית על עומסי עבודה של AI/ML ב-GKE.

רוצים להתחיל להשתמש בחינם?
  • פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
  • שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
  • בלי חיובים אוטומטיים ובלי התחייבות
צפייה במבצעים למוצרים בחינם

מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים

אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.

מאמרי עזרה

כאן תוכלו למצוא מדריכים למתחילים ומדריכים נוספים, לעיין בחומרי עזר חשובים ולקבל עזרה לפתרון בעיות נפוצות.
כדי להבין איך משתמשים בפועל בשירותי Google Cloud ומחברים ביניהם, אתם יכולים להיעזר בהדרכות בקצב אישי, בתרחישי שימוש, בארכיטקטורות לדוגמה ובדוגמאות קודים.
מושג
הדרכות ומדריכים

איך משתמשים ב-Agent Substrate ב-GKE כדי להריץ עומסי עבודה של סוכנים בקנה מידה נרחב באשכולות Kubernetes.

AI אקטיבי Agent Substrate

ארכיטקטורה לדוגמה
הדרכות ומדריכים

איך משתמשים ב-Cloud Storage FUSE כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקה של AI/ML אימון של AI/ML אחסון

ארכיטקטורה לדוגמה
הדרכות ומדריכים

איך משתמשים ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקה של AI/ML אימון של AI/ML אחסון

מדריך
הדרכות ומדריכים

איך מתקינים ומריצים את הבקר של ארגז החול לסוכנים ב-GKE, ופורסים סביבת ארגז חול באשכול כדי לבדוק פקודות מעטפת לא מהימנות.

מדריך ארגז חול לסוכנים AI אקטיבי

מושג
הדרכות ומדריכים

איך בוחרים אפשרויות אחסון לעומסי עבודה של סוכני AI ב-Agent Sandbox ב-GKE.

Agent Sandbox AI אקטיבי אחסון

מדריך
הדרכות ומדריכים

איך מטמיעים אחסון לארגז החול של הסוכן ב-GKE לדפוסים שונים של מחזור חיים של נתונים.

מדריך ארגז חול לסוכנים AI אקטיבי אחסון

מדריך
הדרכות ומדריכים

איך משתמשים ב-Kata Containers בקוד פתוח עם ארגז חול לסוכנים ב-GKE כדי לבודד הרצת קוד לא מהימן.

הדרכה מדריך AI אקטיבי ארגז חול לסוכנים

מדריך
הדרכות ומדריכים

בשיעור הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינר ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ו-vLLM להסקת מסקנות ניתנת להתאמה עם Llama 3.1.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

במדריך הזה נסביר איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינר ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ופלטפורמת הסוכנים, כדי להסיק מסקנות בקנה מידה נרחב באמצעות Gemini 2.0 Flash.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

איך פורסים מודלים גדולים של שפה (LLM) באמצעות יחידות TPU ב-GKE, עם מסגרת השירות Optimum TPU מבית Hugging Face.

מדריך הסקה של AI/ML TPU

מדריך
הדרכות ומדריכים

איך מבצעים אופטימיזציה של עלויות לעומסי עבודה של הצגת LLM ב-GKE באמצעות DWS Flex-start.

אופטימיזציה של עלויות GPU DWS

הדרכה
הדרכות ומדריכים

איך להציג מודלים גדולים של שפה (LLM) באמצעות KubeRay ב-TPU, ואיך זה יכול לעזור לשפר את הביצועים של המודלים.

וידאו Ray יחידות TPU

הדרכה
הדרכות ומדריכים

איך לפשט ולהאיץ את הטעינה של משקלי מודלים של AI או למידת מכונה ב-GKE באמצעות Hyperdisk ML.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

איך מציגים מודל שפה גדול (LLM) באמצעות יחידות TPU ב-GKE עם JetStream דרך PyTorch.

מדריך הסקה של AI/ML יחידות TPU

הדרכה
הדרכות ומדריכים

שיטות מומלצות לאופטימיזציה של ביצועי ההסקה של LLM באמצעות יחידות GPU ב-GKE, בעזרת מסגרות השירות vLLM ו-Text Generation Inference ‏ (TGI).

מדריך הסקה של AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

מתי משתמשים ב-NVIDIA GPU Operator ואיך מפעילים אותו ב-GKE.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מגדירים תשתית להתאמה לעומס באמצעות Horizontal Pod Autoscaler‏ (HPA) ב-GKE כדי לפרוס את Gemma LLM באמצעות JetStream במארח יחיד.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך פורסים מודל Stable Diffusion ב-GKE ומפעילים אותו באמצעות יחידות TPU,‏ Ray Serve והתוסף Ray Operator.

מדריך הסקה של AI/ML Ray יחידות TPU

הדרכה
הדרכות ומדריכים

איך מגדירים תשתית להתאמה לעומס באמצעות Horizontal Pod Autoscaler ‏ (HPA) של GKE כדי לפרוס את Gemma LLM עם מסגרת ההגשה של Hugging Face Text Generation Interface ‏ (TGI).

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מריצים עומס עבודה של Megatron-LM PyTorch שמבוסס על קונטיינר ב-A3 Mega.

מדריך אימון AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מבקשים מאיצי חומרה (GPUs) בעומסי העבודה של GKE Autopilot.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך להציג את Llama 2 70B או Falcon 40B באמצעות כמה מעבדי GPU של NVIDIA L4 עם GKE.

מדריך הסקה של AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מתחילים להשתמש בקלות ב-Ray ב-GKE על ידי הפעלת עומס עבודה באשכול Ray.

מדריך Ray

הדרכה
הדרכות ומדריכים

איך להציג את Falcon 7b,‏ Llama2 7b,‏ Falcon 40b או Llama2 70b באמצעות מסגרת Ray ב-GKE.

מדריך הסקה של AI/ML Ray יחידות GPU

הדרכה
הדרכות ומדריכים

איך מתזמרים עומס עבודה של Jax בכמה פרוסות TPU ב-GKE באמצעות JobSet ו-Kueue.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך בודקים את עומסי העבודה של ה-GPU ב-GKE באמצעות NVIDIA Data Center GPU Manager‏ (DCGM).

מדריך תצפיתיות ב-AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך למתחילים הזה מוסבר איך לפרוס מודל אימון עם מעבדי GPU ב-GKE ולאחסן את החיזויים ב-Cloud Storage.

מדריך אימון AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

בסרטון הזה נסביר איך GKE עוזר לפתור אתגרים נפוצים באימון מודלים גדולים של AI בקנה מידה נרחב, ומהן השיטות המומלצות לאימון ולהצגה של מודלים גדולים של למידת מכונה ב-GKE.

וידאו אימון AI/ML הסקת מסקנות של AI/ML

מדריך
הדרכות ומדריכים

הפוסט הזה בבלוג הוא מדריך מפורט ליצירה, להפעלה ולפירוק של מחברת Jupyter עם TensorFlow.

בלוג אימון AI/ML הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך הזה נשתמש ב-Kueue כדי להראות איך מטמיעים מערכת לתור משימות, ואיך מגדירים שיתוף של משאבי עומסי עבודה ומכסות בין מרחבי שמות שונים ב-GKE.

מדריך AI/ML Batch

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לשלב אפליקציה של מודל שפה גדול (LLM) שמבוססת על יצירה משולבת-אחזור (RAG) עם קובצי PDF שאתם מעלים לקטגוריה של Cloud Storage.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לנתח מערכי נתונים גדולים ב-GKE באמצעות BigQuery לאחסון ולעיבוד נתונים, Cloud Run לטיפול בבקשות ומודל Gemma LLM לניתוח נתונים ולחיזויים.

מדריך טעינת נתונים של AI/ML

תרחיש לדוגמה
תרחישים לדוגמה

איך משתמשים ב-GKE וב-Ray כדי לעבד מראש ביעילות מערכי נתונים גדולים ללמידת מכונה.

MLOps אימון Ray

תרחיש לדוגמה
תרחישים לדוגמה

במאמר הזה מוסבר איך לקצר את זמני הטעינה של הנתונים באפליקציות של למידת מכונה ב-Google Kubernetes Engine.

הסקה Hyperdisk ML Cloud Storage FUSE

תרחיש לדוגמה
תרחישים לדוגמה

איך לשפר את עלויות ההסקה של GPU באמצעות כוונון של Horizontal Pod Autoscaler ב-GKE ליעילות מקסימלית.

הסקה GPU HPA

תרחיש לדוגמה
תרחישים לדוגמה

איך פורסים בקלות מיקרו-שירותים מתקדמים של NVIDIA NIM ב-GKE ומאיצים את עומסי העבודה של ה-AI.

AI NVIDIA NIM

תרחיש לדוגמה
תרחישים לדוגמה

איך Ray Operator ב-GKE מפשט את פריסות הייצור של AI/ML, ומשפר את הביצועים ואת יכולת ההתאמה לעומס.

AI TPU Ray

תרחיש לדוגמה
תרחישים לדוגמה

איך למקסם את קצב העיבוד של מודל שפה גדול (LLM) ב-GPUs ב-GKE, כולל החלטות לגבי התשתית ואופטימיזציות של שרת המודל.

LLM GPU NVIDIA

תרחיש לדוגמה
תרחישים לדוגמה

איך מפתחים פלטפורמות לעיבוד באצווה ב-GKE ומבצעים בהן אופטימיזציה

Batch ביצועים אופטימיזציה של עלויות

תרחיש לדוגמה
תרחישים לדוגמה

איך משתמשים בכונני SSD מקומיים כדי לספק אחסון ל-AI ול-ML בביצועים גבוהים ב-GKE.

AI NVMe Local SSD

תרחיש לדוגמה
תרחישים לדוגמה

איך מריצים אפליקציות JAX עם כמה יחידות GPU וכמה צמתים ב-GKE עם יחידות GPU של NVIDIA.

GPUs JAX ML

תרחיש לדוגמה
תרחישים לדוגמה

איך LiveX AI משתמשת ב-GKE כדי ליצור סוכני AI שמשפרים את שביעות רצון הלקוחות ומפחיתים עלויות.

GenAI NVIDIA GPU

תרחיש לדוגמה
תרחישים לדוגמה

ארכיטקטורת עזר להרצת אפליקציית AI גנרטיבי עם יצירה משולבת-אחזור (RAG) באמצעות GKE,‏ Cloud SQL,‏ Ray,‏ Hugging Face ו-LangChain.

GenAI RAG Ray

תרחיש לדוגמה
תרחישים לדוגמה

ארכיטקטורת עזר לפלטפורמת עיבוד באצווה ב-GKE במצב Standard, באמצעות Kueue לניהול מכסות המשאבים.

‫AI Kueue Batch

תרחיש לדוגמה
תרחישים לדוגמה

איך IPRally משתמשת ב-GKE וב-Ray כדי לבנות פלטפורמת למידת מכונה יעילה וניתנת להתאמה, לחיפושי פטנטים מהירים ומדויקים יותר.

AI Ray GPU

תרחיש לדוגמה
תרחישים לדוגמה

להשתמש ב-Gemma במעבדים גרפיים ל-Cloud וב-Cloud TPU כדי לשפר את היעילות של ההסקה והאימון ב-GKE.

AI Gemma ביצועים

תרחיש לדוגמה
תרחישים לדוגמה

אתם יכולים להשתמש במודלים הפתוחים והמובילים של Gemma כדי לפתח אפליקציות AI ניידות וניתנות להתאמה אישית, ולפרוס אותן ב-GKE.

AI Gemma ביצועים

תרחיש לדוגמה
תרחישים לדוגמה

תזמור אפליקציות Ray ב-GKE באמצעות KubeRay ו-Kueue.

Kueue Ray KubeRay

תרחיש לדוגמה
תרחישים לדוגמה

ליישם תובנות אבטחה וטכניקות הקשחה לאימון עומסי עבודה של AI/ML באמצעות Ray ב-GKE.

AI Ray אבטחה

תרחיש לדוגמה
תרחישים לדוגמה

לבחור את השילוב הטוב ביותר של אפשרויות אחסון לעומסי עבודה של AI ו-ML ב-Google Cloud.

AI ML אחסון

תרחיש לדוגמה
תרחישים לדוגמה

התקנה אוטומטית של מנהלי התקנים של Nvidia GPU ב-GKE.

GPU NVIDIA התקנה

תרחיש לדוגמה
תרחישים לדוגמה

אימון מודלים של AI גנרטיבי באמצעות GKE ו-NVIDIA NeMo framework.

GenAI NVIDIA NeMo

תרחיש לדוגמה
תרחישים לדוגמה

שימוש ב-GKE לעומסי עבודה של Ray משפר את יכולת ההתאמה לעומס, את היעילות מבחינת עלות, את העמידות בפני תקלות, את הבידוד ואת הניידות.

AI Ray Scale

תרחיש לדוגמה
תרחישים לדוגמה

איך מפשטים את תהליך הפיתוח והפריסה של המודל באמצעות Weights & Biases עם GKE.

אופטימיזציה של עלויות יחידות TPU יחידות GPU

תרחיש לדוגמה
תרחישים לדוגמה

תמיכה משופרת ב-GPU, ביצועים טובים יותר ומחירים נמוכים יותר לעומסי עבודה של AI/ML עם GKE Autopilot.

GPU Autopilot ביצועים

תרחיש לדוגמה
תרחישים לדוגמה

חברת סטארט-אפ מגדילה את היקף הפקת הסרטונים המותאמים אישית באמצעות GKE.

GPU Scale Containers

תרחיש לדוגמה
תרחישים לדוגמה

איך Ray משנה את פיתוח למידת המכונה ב-Spotify.

למידת מכונה Ray קונטיינרים

תרחיש לדוגמה
תרחישים לדוגמה

חברת Ordaōs Bio, אחת מהחברות המובילות בתחום ה-AI למחקרים ביו-רפואיים, מוצאת פתרונות לאימונותרפיה חדשנית באונקולוגיה ובמחלות דלקתיות כרוניות.

ביצועים TPU אופטימיזציה של עלויות

תרחיש לדוגמה
תרחישים לדוגמה

איך Moloco, חברת סטארט-אפ מעמק הסיליקון, רתמה את העוצמה של GKE ו-Tensor Flow Enterprise כדי לשפר את תשתית למידת המכונה (ML) שלה.

ML התאמה לעומס אופטימיזציה של עלויות

תרחיש לדוגמה
תרחישים לדוגמה

איך משפרים את זמן ההפעלה של Stable Diffusion ב-GKE.

ביצועים התאמה לעומס PD

דוגמת קוד
דוגמאות קוד

אפליקציות לדוגמה שמשמשות במדריכים הרשמיים של מוצרי GKE.

דוגמת קוד
דוגמאות קוד

דוגמאות ניסיוניות לשימוש ב-GKE כדי להאיץ את היוזמות שלכם בתחום ה-AI ולמידת המכונה.

דוגמת קוד
דוגמאות קוד

דוגמאות לארכיטקטורות ופתרונות לפריסת עומסי עבודה מואצים ב-GKE.

סרטונים קשורים