תזמור של AI/ML ב-GKE

‫Google Kubernetes Engine‏ (GKE) מספק פלטפורמה מאוחדת אחת לתזמור של מחזור החיים המלא של פרויקטים של AI/ML. הוא מעניק לכם את העוצמה והגמישות שדרושות כדי לשפר את האימון, ההסקה ועומסי העבודה של הסוכנים הדיגיטליים, כך שתוכלו לייעל את התשתית ולהתחיל להשיג תוצאות. יכולות האורקסטרציה המתקדמות של GKE מספקות את היתרונות הבאים:

  • שיפור המהירות באמצעות החומרה: גישה למעבדי GPU ו-TPU חזקים וניהול שלהם, לצורך אימון והסקת מסקנות, בהיקף גדול.
  • גמישות בשימוש בסטאק: אפשר לשלב עם מסגרות של מחשוב מבוזר, עיבוד נתונים ופרסום המודל שאתם כבר מכירים וסומכים עליהן.
  • פשטות של Kubernetes מנוהל: אתם נהנים מכל היתרונות של פלטפורמה מנוהלת לאוטומציה, להרחבה ולשיפור האבטחה של כל מחזור החיים של פרויקטים של AI/ML, תוך שמירה על גמישות.

כדאי לעיין בבלוגים, במדריכים ובשיטות המומלצות שלנו כדי ללמוד איך GKE יכול לעזור לכם לייעל את עומסי העבודה של AI/ML. מידע נוסף על היתרונות והתכונות הזמינות מופיע במאמר מבוא לעומסי עבודה של AI/ML ב-GKE.

רוצים להתחיל להשתמש בחינם?
  • פיתוח באמצעות המודלים והכלים הכי עדכניים שלנו ל-AI גנרטיבי
  • שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
  • בלי חיובים אוטומטיים ובלי התחייבות
צפייה במבצעים למוצרים בחינם

מתנסים ביותר מ-20 מוצרים שבחינם תמיד

אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.

משאבי עזרה

כאן תוכלו למצוא מדריכים למתחילים ומדריכים נוספים, לעיין בחומרי עזר חשובים ולקבל עזרה לפתרון בעיות נפוצות.
כדי להבין איך משתמשים בפועל בשירותי Google Cloud ומחברים ביניהם, אתם יכולים להיעזר בהדרכות בקצב אישי, בתרחישי שימוש, בארכיטקטורות לדוגמה ובדוגמאות קודים.
הדרכה
הדרכות ומדריכים

במאמר הזה מוסבר איך להשתמש ב-Cloud Storage FUSE כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

‫AI/ML Inference AI/ML Training Storage

הדרכה
הדרכות ומדריכים

במאמר הזה מוסבר איך להשתמש ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

‫AI/ML Inference AI/ML Training Storage

הדרכה
הדרכות ומדריכים

במאמר הזה מוסבר איך להתקין ולהריץ את בקר Agent Sandbox ב-GKE, ואיך לפרוס בסביבת ארגז חול באשכול כדי לבדוק פקודות shell לא מהימנות.

מדריך סביבת Sandbox לסוכנים AI אקטיבי

הדרכה
הדרכות ומדריכים

בקורס תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינר ב-GKE, באמצעות ערכה לפיתוח סוכנים (ADK) ו-vLLM להיקש שניתן להרחבה עם Llama 3.1.

מדריך הסקת מסקנות מ-AI/ML AI אקטיבי

הדרכה
הדרכות ומדריכים

בקורס תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינרים ב-GKE, באמצעות ערכה לפיתוח סוכנים (ADK) ו-Vertex AI להיקש שניתן להרחבה עם Gemini 2.0 Flash.

מדריך הסקת מסקנות מ-AI/ML AI אקטיבי

הדרכה
הדרכות ומדריכים

כאן מוסבר איך פורסים מודלים גדולים של שפה (LLM) באמצעות יחידות לעיבוד טנסורים (TPU) ב-GKE עם מסגרת Optimum TPU serving מבית Hugging Face.

Tutorial AI/ML Inference TPU

הדרכה
הדרכות ומדריכים

כאן מוסבר איך לבצע אופטימיזציה של עלויות עבור עומסי עבודה (workloads) של מודלים גדולים של שפה (LLM) ב-GKE באמצעות DWS Flex-start.

אופטימיזציה של עלויות GPU DWS

הדרכה
הדרכות ומדריכים

בקורס הזה תלמדו איך להפעיל מודלים גדולים של שפה (LLM) באמצעות KubeRay ב-TPU, ואיך זה יכול לעזור לשפר את הביצועים של המודלים.

סרטון Ray TPUs

הדרכה
הדרכות ומדריכים

איך מפשטים ומאיצים את הטעינה של משקלי מודלים של AI/ML ב-GKE באמצעות Hyperdisk ML

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

איך מפעילים מודל LLM באמצעות יחידות לעיבוד טנסורים (TPU) ב-GKE עם JetStream דרך PyTorch.

Tutorial AI/ML Inference TPUs

הדרכה
הדרכות ומדריכים

במאמר הזה מוסברות שיטות מומלצות לאופטימיזציה של ביצועי ההסקה של מודלים של שפה גדולים (LLM) באמצעות מעבדי GPU ב-GKE, בעזרת מסגרות ההגשה vLLM ו-Text Generation Inference ‏(TGI).

הדרכה הסקת מסקנות מ-AI/ML מעבדים גרפיים (GPU)

הדרכה
הדרכות ומדריכים

כאן מוסבר מתי כדאי להשתמש באופרטור NVIDIA GPU ואיך להפעיל את האופרטור NVIDIA GPU ב-GKE.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

במאמר הזה אנחנו מסבירים איך להגדיר את התשתית שלכם להרחבה אוטומטית באמצעות GKE Horizontal Pod Autoscaler ‏ (HPA) כדי לפרוס את Gemma LLM באמצעות JetStream של מארח יחיד.

מדריך TPUs

הדרכה
הדרכות ומדריכים

איך מבצעים כוונון עדין של Gemma LLM באמצעות GPUs ב-GKE עם ספריית Hugging Face Transformers.

הדרכה הסקת מסקנות מ-AI/ML מעבדים גרפיים (GPU)

הדרכה
הדרכות ומדריכים

בקורס הזה תלמדו איך לפרוס מודל דיפוזיה יציבה ב-GKE ולהפעיל אותו באמצעות TPU,‏ Ray Serve ותוסף Ray Operator.

Tutorial AI/ML Inference Ray TPUs

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר איך להגדיר את התשתית שלכם להרחבה אוטומטית באמצעות GKE Horizontal Pod Autoscaler ‏ (HPA) כדי לפרוס את Gemma LLM עם מסגרת ההגשה Hugging Face Text Generation Interface ‏ (TGI).

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מריצים עומס עבודה של Megatron-LM PyTorch מבוסס-קונטיינר ב-A3 Mega.

הדרכה אימון AI/ML מעבדי GPU

הדרכה
הדרכות ומדריכים

איך מבקשים שיפור מהירות באמצעות חומרה (GPUs) בעומסי עבודה ב-GKE Autopilot.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מפעילים את Llama 2 70B או Falcon 40B באמצעות כמה מעבדי GPU של NVIDIA L4 עם GKE

הדרכה הסקת מסקנות מ-AI/ML מעבדים גרפיים (GPU)

הדרכה
הדרכות ומדריכים

כאן מוסבר איך להתחיל להשתמש ב-Ray ב-GKE בקלות על ידי הפעלת עומס עבודה באשכול Ray.

מדריך Ray

הדרכה
הדרכות ומדריכים

איך מפעילים את Falcon 7b,‏ Llama2 7b,‏ Falcon 40b או Llama2 70b באמצעות מסגרת Ray ב-GKE.

הדרכה AI/ML Inference Ray GPUs

הדרכה
הדרכות ומדריכים

איך מתזמרים עומס עבודה של Jax בכמה פרוסות TPU ב-GKE באמצעות JobSet ו-Kueue.

מדריך TPUs

הדרכה
הדרכות ומדריכים

איך עוקבים אחרי עומסי עבודה של GPU ב-GKE באמצעות NVIDIA Data Center GPU Manager (DCGM).

מדריך יכולת צפייה ב-AI/ML מעבדי GPU

הדרכה
הדרכות ומדריכים

במדריך למתחילים הזה תלמדו איך לפרוס מודל אימון עם מעבדי GPU ב-GKE ולאחסן את התחזיות ב-Cloud Storage.

הדרכה אימון AI/ML מעבדי GPU

הדרכה
הדרכות ומדריכים

בסרטון הזה מוצגות דרכים שבהן GKE עוזר לפתור אתגרים נפוצים באימון מודלים גדולים של AI בקנה מידה נרחב, ומוצגות שיטות מומלצות לאימון מודלים של למידת מכונה בקנה מידה נרחב ב-GKE.

וידאו אימון AI/ML הסקת מסקנות מ-AI/ML

הדרכה
הדרכות ומדריכים

בפוסט הזה בבלוג מוסבר איך ליצור, להפעיל ולבטל מחברת Jupiter עם Tensorflow.

בלוג אימון AI/ML הסקת מסקנות של AI ML מעבדי GPU

הדרכה
הדרכות ומדריכים

במדריך הזה נשתמש ב-Kueue כדי להסביר איך להטמיע מערכת להוספת משימות לתור, ואיך להגדיר שיתוף של משאבי עומס עבודה ומכסות בין מרחבי שמות שונים ב-GKE.

מדריך AI/ML Batch

הדרכה
הדרכות ומדריכים

במדריך הזה מוסבר איך לשלב אפליקציה של מודל שפה גדול (LLM) שמבוססת על יצירה משופרת באמצעות אחזור (RAG) עם קובצי PDF שמעלים לקטגוריה של Cloud Storage.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לנתח מערכי נתונים גדולים ב-GKE באמצעות BigQuery לאחסון ולעיבוד נתונים, Cloud Run לטיפול בבקשות ומודל שפה גדולה (LLM) של Gemma לניתוח נתונים ולחיזויים.

מדריך טעינת נתונים של AI/ML

תרחיש שימוש
תרחישים לדוגמה

למדו כיצד למנף את GKE ו-Ray כדי לעבד ביעילות מערכי נתונים גדולים מראש ללמידת מכונה.

MLOps Training Ray

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה נסביר איך לקצר את זמן טעינת הנתונים באפליקציות ללמידת מכונה ב-Google Kubernetes Engine.

הסקת מסקנות Hyperdisk ML Cloud Storage FUSE

תרחיש שימוש
תרחישים לדוגמה

כאן מוסבר איך לבצע אופטימיזציה של עלויות ההסקה של ה-GPU על ידי כוונון עדין של Horizontal Pod Autoscaler (קנה מידה אוטומטי של פודים) ב-GKE כדי להשיג יעילות מקסימלית.

Inference GPU HPA

תרחיש שימוש
תרחישים לדוגמה

איך פורסים בקלות מיקרו-שירותים מתקדמים של NVIDIA NIM ב-GKE ומאיצים את עומסי העבודה של ה-AI.

AI NVIDIA NIM

תרחיש שימוש
תרחישים לדוגמה

איך Ray Operator ב-GKE מפשט את פריסות הייצור של AI/ML, משפר את הביצועים ואת יכולת ההתאמה.

AI TPU Ray

תרחיש שימוש
תרחישים לדוגמה

איך למקסם את קצב העברת הנתונים של מודלים גדולים של שפה (LLM) עבור מעבדי GPU ב-GKE, כולל החלטות לגבי התשתית ואופטימיזציות של שרת המודלים.

LLM GPU NVIDIA

תרחיש שימוש
תרחישים לדוגמה

איך לבנות פלטפורמות לעיבוד באצווה ולבצע בהן אופטימיזציה ב-GKE

Batch ביצועים אופטימיזציה של עלויות

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה מוסבר איך להשתמש בכונני SSD מקומיים כדי לספק אחסון AI/ML עם ביצועים גבוהים ב-GKE.

AI NVMe Local SSD

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה מוסבר איך להריץ אפליקציות JAX מרובות GPU ומרובות צמתים ב-GKE עם GPUs של NVIDIA.

‫GPU ‫JAX ‫ML

תרחיש שימוש
תרחישים לדוגמה

איך יוצרים מנוע חיפוש באמצעות Google Cloud, באמצעות Vertex AI Agent Builder,‏ חיפוש מבוסס-Vertex AI ו-GKE.

חיפוש סוכן Vertex AI

תרחיש שימוש
תרחישים לדוגמה

איך LiveX AI משתמשת ב-GKE כדי לבנות סוכני AI שמשפרים את שביעות רצון הלקוחות ומפחיתים את העלויות.

GenAI NVIDIA GPU

תרחיש שימוש
תרחישים לדוגמה

ארכיטקטורת עזר להרצת אפליקציית AI גנרטיבי עם יצירה משופרת באחזור (RAG) באמצעות GKE,‏ Cloud SQL,‏ Ray,‏ Hugging Face ו-LangChain.

GenAI RAG Ray

תרחיש שימוש
תרחישים לדוגמה

ארכיטקטורת עזר לפלטפורמה לעיבוד ברצף (batch processing) ב-GKE במצב רגיל, באמצעות Kueue לניהול מכסות משאבים.

AI Kueue Batch

תרחיש שימוש
תרחישים לדוגמה

איך IPRally משתמשת ב-GKE וב-Ray כדי לבנות פלטפורמת ML יעילה וניתנת להרחבה לחיפושי פטנטים מהירים יותר עם רמת דיוק גבוהה יותר.

‫AI Ray GPU

תרחיש שימוש
תרחישים לדוגמה

אפשר להשתמש ב-Gemma במעבדים גרפיים ל-Cloud וב-Cloud TPU כדי לבצע היקש ולשפר את יעילות האימון ב-GKE.

AI Gemma ביצועים

תרחיש שימוש
תרחישים לדוגמה

אפשר להשתמש במודלים פתוחים של Gemma כדי ליצור אפליקציות AI ניידות שניתנות להתאמה אישית ולפרוס אותן ב-GKE.

AI Gemma ביצועים

תרחיש שימוש
תרחישים לדוגמה

תזמור אפליקציות Ray ב-GKE באמצעות KubeRay ו-Kueue.

‫Kueue Ray KubeRay

תרחיש שימוש
תרחישים לדוגמה

החלת תובנות אבטחה וטכניקות לחיזוק האבטחה לצורך אימון עומסי עבודה של AI/ML באמצעות Ray ב-GKE.

AI Ray Security

תרחיש שימוש
תרחישים לדוגמה

בחירת השילוב הטוב ביותר של אפשרויות אחסון לעומסי עבודה של AI ו-ML ב-Google Cloud.

AI ML Storage

תרחיש שימוש
תרחישים לדוגמה

התקנה אוטומטית של מנהלי התקנים (דרייברים) של Nvidia GPU ב-GKE.

GPU NVIDIA Installation

תרחיש שימוש
תרחישים לדוגמה

אימון מודלים של AI גנרטיבי באמצעות GKE ו-NVIDIA NeMo framework.

GenAI NVIDIA NeMo

תרחיש שימוש
תרחישים לדוגמה

שימוש ב-GKE לעומסי עבודה של Ray משפר את המדרגיות, את היעילות מבחינת עלויות, את עמידות התקלות, את הבידוד ואת הניידות.

AI Ray Scale

תרחיש שימוש
תרחישים לדוגמה

תהליך פיתוח ופריסה פשוט יותר של מודלים באמצעות Weights & Biases עם GKE.

אופטימיזציה של עלויות TPU GPU

תרחיש שימוש
תרחישים לדוגמה

עם GKE Autopilot, אתם יכולים ליהנות משיפור בתמיכה במעבד גרפי, בביצועים ובמחירים נמוכים יותר לעומסי עבודה של AI/ML.

GPU Autopilot Performance

תרחיש שימוש
תרחישים לדוגמה

סטארט-אפ מרחיב את הפקת סרטונים בהתאמה אישית באמצעות GKE.

‫GPU Scale Containers

תרחיש שימוש
תרחישים לדוגמה

איך Ray משנה את פיתוח ה-ML ב-Spotify.

ML Ray Containers

תרחיש שימוש
תרחישים לדוגמה

חברת Ordaōs Bio, אחת מהחברות המובילות בתחום האצת ה-AI למחקר ולגילוי ביו-רפואי, מוצאת פתרונות לאימונותרפיה חדשנית באונקולוגיה ובמחלות דלקתיות כרוניות.

ביצועים TPU אופטימיזציה של עלויות

תרחיש שימוש
תרחישים לדוגמה

איך חברת הסטארט-אפ Moloco מעמק הסיליקון השתמשה ב-GKE וב-Tensor Flow Enterprise כדי לשפר את תשתית למידת המכונה שלה.

ML Scale Cost optimization

תרחיש שימוש
תרחישים לדוגמה

איך משפרים את זמן ההפעלה של Stable Diffusion ב-GKE

ביצועים התאמה לעומס PD

דוגמת קוד
דוגמאות קוד

אפשר לראות אפליקציות לדוגמה שמשמשות במדריכים הרשמיים למוצר GKE.

דוגמת קוד
דוגמאות קוד

תוכלו לראות דוגמאות ניסיוניות לשימוש ב-GKE כדי להאיץ את היוזמות שלכם בתחום ה-AI/ML.

דוגמת קוד
דוגמאות קוד

אפשר לעיין בדוגמאות לארכיטקטורות ובפתרונות לפריסת עומסי עבודה מואצים ב-GKE.

סרטונים קשורים