תזמור של AI/ML ב-GKE

‫Google Kubernetes Engine ‏ (GKE) מספק פלטפורמה אחת מאוחדת לניהול כל מחזור החיים של ה-AI וה-ML. הוא מעניק לכם את העוצמה והגמישות שדרושות כדי לשפר את האימונים, ההסקות ועומסי העבודה של הסוכנים, כך שתוכלו לייעל את התשתית ולהתחיל להשיג תוצאות. יכולות התזמור המתקדמות ביותר של GKE מספקות את היתרונות הבאים:

  • מאיצי חומרה: גישה וניהול של מעבדי GPU ו-TPU בעלי ביצועים גבוהים שדרושים לכם, גם לאימון וגם להסקת מסקנות, בקנה מידה נרחב.
  • גמישות במחסנית: שילוב עם מסגרות מוכרות ואמינות של מחשוב מבוזר, עיבוד נתונים ופרסום מודלים.
  • פשטות של Kubernetes מנוהל: אתם נהנים מכל היתרונות של פלטפורמה מנוהלת לאוטומציה, להרחבה ולשיפור האבטחה של כל מחזור החיים של AI/ML, תוך שמירה על גמישות.

בבלוגים, במדריכים ובשיטות המומלצות שלנו מוסבר איך GKE יכול לשפר את עומסי העבודה של AI/ML. מידע נוסף על היתרונות והתכונות הזמינות מופיע בסקירה הכללית בנושא עומסי עבודה של AI/ML ב-GKE.

רוצים להתחיל להשתמש בחינם?
  • פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
  • שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
  • בלי חיובים אוטומטיים ובלי התחייבות
צפייה במבצעים למוצרים בחינם

מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים

אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.

מאמרי עזרה

כאן תוכלו למצוא מדריכים למתחילים ומדריכים נוספים, לעיין בחומרי עזר חשובים ולקבל עזרה לפתרון בעיות נפוצות.
כדי להבין איך משתמשים בפועל בשירותי Google Cloud ומחברים ביניהם, אתם יכולים להיעזר בהדרכות בקצב אישי, בתרחישי שימוש, בארכיטקטורות לדוגמה ובדוגמאות קודים.
ארכיטקטורה לדוגמה
הדרכות ומדריכים

במאמר הזה מוסבר איך להשתמש ב-Cloud Storage FUSE כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקת מסקנות באמצעות AI/ML אימון AI/ML אחסון

ארכיטקטורת הפניה
הדרכות ומדריכים

בקורס הזה תלמדו איך להשתמש ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקת מסקנות באמצעות AI/ML אימון AI/ML אחסון

מדריך
הדרכות ומדריכים

איך מתקינים ומריצים את הבקר של ארגז החול לסוכנים ב-GKE, ופורסים סביבה של ארגז חול באשכול כדי לבדוק פקודות מעטפת לא מהימנות.

מדריך ארגז חול לסוכנים AI אקטיבי

מושג
הדרכות ומדריכים

במאמר הזה מוסבר איך לבחור אפשרויות אחסון לעומסי עבודה של סוכני AI בארגז החול של סוכנים ב-GKE.

ארגז חול של סוכנים AI אקטיבי אחסון

מדריך
הדרכות ומדריכים

במאמר הזה נסביר איך להטמיע אחסון בארגז החול לסוכנים ב-GKE עבור דפוסים שונים של מחזור חיים של נתונים.

מדריך ארגז חול לסוכנים AI אקטיבי אחסון

מדריך
הדרכות ומדריכים

איך משתמשים ב-Kata Containers בקוד פתוח עם ארגז חול לסוכנים ב-GKE כדי לבודד הרצת קוד לא מהימן.

הדרכה מדריך AI אקטיבי ארגז חול לסוכנים

מדריך
הדרכות ומדריכים

בקורס הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינרים ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ו-vLLM להיקש שניתן להרחבה עם Llama 3.1.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

בשיעור הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינרים ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ופלטפורמת Agent Platform להסקת מסקנות ניתנת להתאמה באמצעות Gemini 2.0 Flash.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

איך פורסים מודלים גדולים של שפה (LLM) באמצעות יחידות TPU ב-GKE, עם מסגרת השירות Optimum TPU של Hugging Face.

הדרכה הסקת מסקנות של AI/ML TPU

מדריך
הדרכות ומדריכים

איך מבצעים אופטימיזציה של עלויות לעומסי עבודה של הצגת LLM ב-GKE באמצעות DWS Flex-start.

אופטימיזציה של עלויות GPU DWS

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר איך להכניס לשימוש בסביבת הייצור מודלים גדולים של שפה (LLM) באמצעות KubeRay ב-TPU, ואיך זה יכול לעזור לשפר את הביצועים של המודלים.

וידאו Ray יחידות TPU

הדרכה
הדרכות ומדריכים

איך לפשט ולהאיץ את הטעינה של משקלי מודלים של AI או למידת מכונה ב-GKE באמצעות Hyperdisk ML.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

איך מפעילים מודל שפה גדול (LLM) באמצעות יחידות TPU ב-GKE עם JetStream דרך PyTorch.

הדרכה הסקת מסקנות ב-AI/ML TPU

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר על שיטות מומלצות לאופטימיזציה של ביצועי היקש של LLM באמצעות יחידות GPU ב-GKE, בעזרת מסגרות ההגשה vLLM ו-Text Generation Inference ‏ (TGI).

מדריך הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

מתי משתמשים ב-NVIDIA GPU Operator ואיך מפעילים אותו ב-GKE.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מגדירים תשתית להתאמה לעומס באמצעות Horizontal Pod Autoscaler‏ (HPA) ב-GKE כדי לפרוס את Gemma LLM באמצעות JetStream במארח יחיד.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך פורסים מודל Stable Diffusion ב-GKE ומפעילים אותו באמצעות יחידות TPU,‏ Ray Serve והתוסף Ray Operator.

Tutorial AI/ML Inference Ray TPUs

הדרכה
הדרכות ומדריכים

איך מגדירים תשתית להתאמה לעומס באמצעות Horizontal Pod Autoscaler ‏ (HPA) של GKE כדי לפרוס את Gemma LLM עם מסגרת ההגשה של Hugging Face Text Generation Interface ‏ (TGI).

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מריצים עומס עבודה של Megatron-LM PyTorch שמבוסס על קונטיינר ב-A3 Mega.

מדריך אימון AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מבקשים שיפור מהירות באמצעות חומרה (GPUs) בעומסי העבודה של GKE Autopilot.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך להציג את Llama 2 70B או Falcon 40B באמצעות כמה מעבדי GPU של NVIDIA L4 עם GKE.

מדריך הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מתחילים להשתמש בקלות ב-Ray ב-GKE על ידי הפעלת עומס עבודה באשכול Ray.

מדריך Ray

הדרכה
הדרכות ומדריכים

איך מפעילים את Falcon 7b,‏ Llama2 7b,‏ Falcon 40b או Llama2 70b באמצעות מסגרת Ray ב-GKE.

הדרכה הסקת מסקנות מ-AI/ML Ray מעבדי GPU

הדרכה
הדרכות ומדריכים

איך מתזמרים עומס עבודה של Jax בכמה פרוסות TPU ב-GKE באמצעות JobSet ו-Kueue.

מדריך TPUs

הדרכה
הדרכות ומדריכים

איך בודקים את עומסי העבודה של ה-GPU ב-GKE באמצעות NVIDIA Data Center GPU Manager ‏ (DCGM).

הדרכה AI/ML Observability GPUs

הדרכה
הדרכות ומדריכים

במדריך למתחילים הזה נסביר איך לפרוס מודל אימון עם GPUs ב-GKE ולאחסן את התחזיות ב-Cloud Storage.

הדרכה אימון AI/ML מעבדים גרפיים (GPU)

הדרכה
הדרכות ומדריכים

בסרטון הזה נסביר איך GKE עוזר לפתור אתגרים נפוצים באימון מודלים גדולים של AI בקנה מידה נרחב, ומהן השיטות המומלצות לאימון ולשימוש במודלים של למידת מכונה בקנה מידה נרחב ב-GKE.

וידאו אימון AI/ML הסקת AI/ML

מדריך
הדרכות ומדריכים

בפוסט הזה בבלוג מוסבר איך ליצור, להריץ ולבטל נוטבוק של Jupiter עם Tensorflow.

בלוג אימון AI/ML הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך הזה נשתמש ב-Kueue כדי להסביר איך להטמיע מערכת להוספת משימות לתור, ואיך להגדיר שיתוף של משאבי עומס עבודה ומכסות בין מרחבי שמות שונים ב-GKE.

מדריך AI/ML Batch

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לשלב אפליקציה של מודל שפה גדול (LLM) שמבוססת על יצירה משולבת-אחזור (RAG) עם קובצי PDF שאתם מעלים לקטגוריה של Cloud Storage.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לנתח מערכי נתונים גדולים ב-GKE באמצעות BigQuery לאחסון ולעיבוד נתונים, Cloud Run לטיפול בבקשות ומודל Gemma LLM לניתוח נתונים ולחיזויים.

מדריך טעינת נתונים של AI/ML

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה נסביר איך להשתמש ב-GKE וב-Ray כדי לבצע עיבוד מקדים יעיל של מערכי נתונים גדולים ללמידת מכונה.

MLOps אימון Ray

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה מוסבר איך לקצר את זמני טעינת הנתונים באפליקציות של למידת מכונה ב-Google Kubernetes Engine.

הסקה Hyperdisk ML Cloud Storage FUSE

תרחיש שימוש
תרחישים לדוגמה

כאן מוסבר איך לבצע אופטימיזציה של עלויות ההסקה של ה-GPU על ידי כוונון עדין של Horizontal Pod Autoscaler (קנה מידה אוטומטי של תרמילים אופקיים) ב-GKE כדי להשיג יעילות מקסימלית.

הסקה GPU HPA

תרחיש שימוש
תרחישים לדוגמה

כאן תלמדו איך לפרוס בקלות מיקרו-שירותים מתקדמים של NVIDIA NIM ב-GKE ולהאיץ את עומסי העבודה של ה-AI.

AI NVIDIA NIM

תרחיש שימוש
תרחישים לדוגמה

איך Ray Operator ב-GKE מפשט את פריסות הייצור של AI/ML, ומשפר את הביצועים ואת יכולת ההתאמה לעומס.

AI TPU Ray

תרחיש שימוש
תרחישים לדוגמה

איך למקסם את קצב העיבוד של מודל שפה גדול (LLM) ב-GPUs ב-GKE, כולל החלטות לגבי התשתית ואופטימיזציות של שרת המודל.

LLM GPU NVIDIA

תרחיש שימוש
תרחישים לדוגמה

איך מפתחים פלטפורמות לעיבוד באצווה ב-GKE ומבצעים בהן אופטימיזציה

Batch ביצועים הוזלת עלויות

תרחיש שימוש
תרחישים לדוגמה

איך משתמשים בכונני SSD מקומיים כדי לספק אחסון ל-AI ול-ML בביצועים גבוהים ב-GKE.

AI NVMe Local SSD

תרחיש שימוש
תרחישים לדוגמה

איך מריצים אפליקציות JAX עם כמה יחידות GPU וכמה צמתים ב-GKE עם יחידות GPU של NVIDIA.

GPUs JAX ML

תרחיש שימוש
תרחישים לדוגמה

איך LiveX AI משתמשת ב-GKE כדי ליצור סוכני AI שמשפרים את שביעות רצון הלקוחות ומפחיתים את העלויות.

GenAI NVIDIA GPU

תרחיש שימוש
תרחישים לדוגמה

ארכיטקטורת עזר להרצת אפליקציית AI גנרטיבי עם RAG באמצעות GKE,‏ Cloud SQL,‏ Ray,‏ Hugging Face ו-LangChain.

GenAI RAG Ray

תרחיש שימוש
תרחישים לדוגמה

ארכיטקטורת עזר לפלטפורמת עיבוד באצווה ב-GKE במצב Standard, באמצעות Kueue לניהול מכסות המשאבים.

AI Kueue Batch

תרחיש שימוש
תרחישים לדוגמה

איך IPRally משתמשת ב-GKE וב-Ray כדי לבנות פלטפורמת ML יעילה וניתנת להרחבה לחיפושי פטנטים מהירים יותר עם רמת דיוק גבוהה יותר.

AI Ray GPU

תרחיש שימוש
תרחישים לדוגמה

שימוש ב-Gemma במעבדים גרפיים ל-Cloud וב-Cloud TPU להסקת מסקנות ולאימון יעיל ב-GKE.

AI Gemma ביצועים

תרחיש שימוש
תרחישים לדוגמה

אתם יכולים להשתמש במודלים הפתוחים והמובילים של Gemma כדי לפתח אפליקציות AI ניידות וניתנות להתאמה אישית, ולפרוס אותן ב-GKE.

AI Gemma ביצועים

תרחיש שימוש
תרחישים לדוגמה

תזמור אפליקציות Ray ב-GKE באמצעות KubeRay ו-Kueue.

Kueue Ray KubeRay

תרחיש שימוש
תרחישים לדוגמה

החלת תובנות אבטחה וטכניקות לחיזוק האבטחה לאימון עומסי עבודה של AI/ML באמצעות Ray ב-GKE.

‫AI Ray Security

תרחיש שימוש
תרחישים לדוגמה

בחירה של השילוב הטוב ביותר של אפשרויות אחסון לעומסי עבודה של AI ו-ML ב-Google Cloud.

AI ML אחסון

תרחיש שימוש
תרחישים לדוגמה

התקנה אוטומטית של מנהלי התקנים של Nvidia GPU ב-GKE.

GPU NVIDIA Installation

תרחיש שימוש
תרחישים לדוגמה

אימון מודלים של AI גנרטיבי באמצעות GKE ו-framework של NVIDIA NeMo.

GenAI NVIDIA NeMo

תרחיש שימוש
תרחישים לדוגמה

שימוש ב-GKE לעומסי עבודה של Ray משפר את המדרגיות, את היעילות מבחינת עלויות, את עמידות התקלות, את הבידוד ואת הניידות.

AI Ray Scale

תרחיש שימוש
תרחישים לדוגמה

תהליך פיתוח ופריסה פשוט יותר של מודלים באמצעות Weights & Biases עם GKE.

אופטימיזציה של עלויות יחידות TPU יחידות GPU

תרחיש שימוש
תרחישים לדוגמה

תמיכה משופרת ב-GPU, ביצועים טובים יותר ומחירים נמוכים יותר לעומסי עבודה של AI/ML באמצעות GKE Autopilot.

GPU Autopilot ביצועים

תרחיש שימוש
תרחישים לדוגמה

חברת סטארט-אפ מגדילה את היקף הפקת הסרטונים המותאמים אישית באמצעות GKE.

‫GPU Scale Containers

תרחיש שימוש
תרחישים לדוגמה

איך Ray משנה את פיתוח למידת המכונה ב-Spotify.

ML Ray Containers

תרחיש שימוש
תרחישים לדוגמה

חברת Ordaōs Bio, אחת מהחברות המובילות בתחום האצת ה-AI למחקר ביו-רפואי ולגילוי תרופות, מוצאת פתרונות לאימונותרפיה חדשנית בתחום האונקולוגיה ומחלות דלקתיות כרוניות.

ביצועים TPU הוזלת עלויות

תרחיש שימוש
תרחישים לדוגמה

איך Moloco, חברת סטארט-אפ מעמק הסיליקון, רתמה את העוצמה של GKE ו-Tensor Flow Enterprise כדי לשפר את תשתית למידת המכונה (ML) שלה.

ML Scale Cost optimization

תרחיש שימוש
תרחישים לדוגמה

איך לשפר את זמן ההפעלה של Stable Diffusion ב-GKE.

ביצועים התאמה לעומס PD

דוגמת קוד
דוגמאות קוד

צפייה באפליקציות לדוגמה שמשמשות במדריכים הרשמיים למוצר GKE.

דוגמת קוד
דוגמאות קוד

דוגמאות ניסיוניות לשימוש ב-GKE כדי לקדם את היוזמות שלכם בתחום ה-AI ולמידת המכונה.

דוגמת קוד
דוגמאות קוד

דוגמאות לארכיטקטורות ופתרונות לפריסת עומסי עבודה מואצים ב-GKE.

סרטונים קשורים