מסמכי תיעוד בנושא תזמור של AI/ML ב-GKE

‫Google Kubernetes Engine ‏ (GKE) מספק פלטפורמה אחת מאוחדת לניהול כל מחזור החיים של ה-AI וה-ML. הוא נותן לכם את העוצמה והגמישות שאתם צריכים כדי לשפר את עומסי העבודה של האימון, ההסקה והסוכנים, וכך לייעל את התשתית ולהתחיל להשיג תוצאות. יכולות התזמור המתקדמות ביותר של GKE מספקות את היתרונות הבאים:

  • מאיצי חומרה: גישה וניהול של מעבדי GPU ו-TPU בעלי ביצועים גבוהים שדרושים לכם, גם לאימון וגם להסקת מסקנות, בקנה מידה נרחב.
  • גמישות בשימוש בטכנולוגיות שונות: אפשר לשלב עם מסגרות מחשוב מבוזר, עיבוד נתונים והצגת מודלים שאתם כבר מכירים וסומכים עליהן.
  • פשטות של Kubernetes מנוהל: אתם נהנים מכל היתרונות של פלטפורמה מנוהלת לאוטומציה, להרחבה ולשיפור האבטחה של כל מחזור החיים של AI/ML, תוך שמירה על גמישות.

כדאי לעיין בבלוגים, במדריכים ובשיטות המומלצות שלנו כדי ללמוד איך GKE יכול לעזור לכם לייעל את עומסי העבודה של AI/ML. למידע נוסף על היתרונות והתכונות הזמינות, קראו את הסקירה הכללית על עומסי עבודה של AI/ML ב-GKE.

רוצים להתחיל להשתמש בחינם?
  • פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
  • שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
  • בלי חיובים אוטומטיים ובלי התחייבות
צפייה במבצעים למוצרים בחינם

מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים

אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.

מאמרי עזרה

כאן תוכלו למצוא מדריכים למתחילים ומדריכים נוספים, לעיין בחומרי עזר חשובים ולקבל עזרה לפתרון בעיות נפוצות.
כדי להבין איך משתמשים בפועל בשירותי Google Cloud ומחברים ביניהם, אתם יכולים להיעזר בהדרכות בקצב אישי, בתרחישי שימוש, בארכיטקטורות לדוגמה ובדוגמאות קודים.
ארכיטקטורת הפניה
הדרכות ומדריכים

איך משתמשים ב-Cloud Storage FUSE כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקת מסקנות באמצעות AI/ML אימון AI/ML אחסון

ארכיטקטורת הפניה
הדרכות ומדריכים

איך משתמשים ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקת מסקנות מ-AI/ML אימון AI/ML אחסון

מדריך
הדרכות ומדריכים

איך מתקינים ומריצים את הבקר של ארגז החול לסוכנים ב-GKE, ופורסים סביבה של ארגז חול באשכול כדי לבדוק פקודות מעטפת לא מהימנות.

מדריך Agent Sandbox AI אקטיבי

Concept
הדרכות ומדריכים

במאמר הזה מוסבר איך לבחור אפשרויות אחסון לעומסי עבודה של סוכני AI בארגז החול של סוכני GKE.

Agent Sandbox AI אקטיבי אחסון

מדריך
הדרכות ומדריכים

במאמר הזה נסביר איך להטמיע אחסון לארגזי חול של סוכנים ב-GKE עבור דפוסים שונים של מחזור חיים של נתונים.

מדריך ארגז חול לסוכנים AI אקטיבי אחסון

מדריך
הדרכות ומדריכים

איך משתמשים ב-Kata Containers בקוד פתוח עם ארגז חול לסוכנים ב-GKE כדי לבודד הרצת קוד לא מהימן.

הדרכה מדריך AI אקטיבי ארגז חול לסוכנים

מדריך
הדרכות ומדריכים

בקורס הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינרים ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ו-vLLM להיקש שניתן להרחבה עם Llama 3.1.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

בשיעור הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינרים ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ופלטפורמת Agent Platform להסקת מסקנות ניתנת להתאמה באמצעות Gemini 2.0 Flash.

מדריך היקש AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

במאמר הזה נסביר איך לפרוס מודלים גדולים של שפה (LLM) באמצעות יחידות לעיבוד טנסורים (TPU) ב-GKE עם מסגרת Optimum TPU serving מבית Hugging Face.

מדריך הסקה של AI/ML TPU

מדריך
הדרכות ומדריכים

איך מבצעים אופטימיזציה של עלויות לעומסי עבודה של הצגת LLM ב-GKE באמצעות DWS Flex-start.

אופטימיזציה של עלויות GPU DWS

הדרכה
הדרכות ומדריכים

איך להציג מודלים גדולים של שפה (LLM) באמצעות KubeRay ב-TPU, ואיך זה יכול לעזור לשפר את הביצועים של המודלים.

סרטון Ray TPUs

הדרכה
הדרכות ומדריכים

איך לפשט ולהאיץ את הטעינה של משקלי מודלים של AI או למידת מכונה ב-GKE באמצעות Hyperdisk ML.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

איך מפעילים מודל LLM באמצעות יחידות לעיבוד טנסורים (TPU) ב-GKE עם JetStream דרך PyTorch.

הדרכה הסקת מסקנות ב-AI/ML TPU

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר על שיטות מומלצות לאופטימיזציה של ביצועי היקש של LLM באמצעות יחידות GPU ב-GKE, בעזרת מסגרות ההגשה vLLM ו-Text Generation Inference ‏ (TGI).

מדריך הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

כאן אפשר לקרוא מתי כדאי להשתמש באופרטור NVIDIA GPU ואיך להפעיל אותו ב-GKE.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר איך להגדיר תשתית של שינוי גודל אוטומטי באמצעות GKE Horizontal Pod Autoscaler ‏ (HPA) כדי לפרוס את Gemma LLM באמצעות JetStream במארח יחיד.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך פורסים מודל Stable Diffusion ב-GKE ומפעילים אותו באמצעות יחידות TPU,‏ Ray Serve והתוסף Ray Operator.

מדריך הסקה של AI או למידת מכונה Ray יחידות TPU

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר איך להגדיר את תשתית ההרחבה האוטומטית באמצעות GKE Horizontal Pod Autoscaler ‏ (HPA) כדי לפרוס את Gemma LLM עם מסגרת ההגשה Hugging Face Text Generation Interface ‏ (TGI).

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מריצים עומס עבודה של Megatron-LM PyTorch מבוסס-קונטיינר ב-A3 Mega.

מדריך אימון AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מבקשים מאיצי חומרה (GPUs) בעומסי העבודה של GKE Autopilot.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך להציג את Llama 2 70B או Falcon 40B באמצעות כמה מעבדי GPU של NVIDIA L4 עם GKE.

הדרכה הסקת מסקנות מ-AI/ML מעבדים גרפיים (GPU)

הדרכה
הדרכות ומדריכים

במאמר הזה נסביר איך להתחיל להשתמש ב-Ray ב-GKE בקלות על ידי הפעלת עומס עבודה באשכול Ray.

מדריך Ray

הדרכה
הדרכות ומדריכים

איך מפעילים את Falcon 7b,‏ Llama2 7b,‏ Falcon 40b או Llama2 70b באמצעות מסגרת Ray ב-GKE.

הדרכה הסקת מסקנות מ-AI/ML Ray מעבדי GPU

הדרכה
הדרכות ומדריכים

איך מתזמרים עומס עבודה של Jax בכמה פרוסות TPU ב-GKE באמצעות JobSet ו-Kueue.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך בודקים את עומסי העבודה של ה-GPU ב-GKE באמצעות NVIDIA Data Center GPU Manager ‏ (DCGM).

מדריך תצפיתיות ב-AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך למתחילים הזה מוסבר איך לפרוס מודל אימון עם מעבדי GPU ב-GKE ולאחסן את החיזויים ב-Cloud Storage.

הדרכה אימון AI/ML מעבדים גרפיים (GPU)

הדרכה
הדרכות ומדריכים

בסרטון הזה נסביר איך GKE עוזר לפתור אתגרים נפוצים באימון מודלים גדולים של AI בהיקף נרחב, ומהן השיטות המומלצות לאימון מודלים של למידת מכונה בהיקף נרחב ב-GKE ולהצגתם.

וידאו אימון AI/ML הסקת AI/ML

מדריך
הדרכות ומדריכים

הפוסט הזה בבלוג הוא מדריך מפורט ליצירה, להפעלה ולפירוק של מחברת Jupyter עם TensorFlow.

בלוג אימון AI/ML הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך הזה נשתמש ב-Kueue כדי להראות איך מטמיעים מערכת תור משימות, ואיך מגדירים שיתוף של משאבי עומסי עבודה ומכסות בין מרחבי שמות שונים ב-GKE.

מדריך AI/ML Batch

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לשלב אפליקציה של מודל שפה גדול (LLM) שמבוססת על יצירה משולבת-אחזור (RAG) עם קובצי PDF שאתם מעלים לקטגוריה של Cloud Storage.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לנתח מערכי נתונים גדולים ב-GKE באמצעות BigQuery לאחסון ועיבוד נתונים, Cloud Run לטיפול בבקשות ומודל Gemma LLM לניתוח נתונים ולחיזויים.

מדריך טעינת נתונים של AI/ML

תרחיש שימוש
תרחישים לדוגמה

איך משתמשים ב-GKE וב-Ray כדי לעבד מראש ביעילות מערכי נתונים גדולים ללמידת מכונה.

MLOps אימון Ray

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה מוסבר איך לקצר את זמני טעינת הנתונים באפליקציות של למידת מכונה ב-Google Kubernetes Engine.

הסקה Hyperdisk ML Cloud Storage FUSE

תרחיש שימוש
תרחישים לדוגמה

איך לשפר את עלויות ההסקה של GPU באמצעות כוונון של Horizontal Pod Autoscaler ב-GKE ליעילות מקסימלית.

הסקה GPU HPA

תרחיש שימוש
תרחישים לדוגמה

איך פורסים בקלות מיקרו-שירותים מתקדמים של NVIDIA NIM ב-GKE ומאיצים את עומסי העבודה של ה-AI.

AI NVIDIA NIM

תרחיש שימוש
תרחישים לדוגמה

איך Ray Operator ב-GKE מפשט את פריסות הייצור של AI/ML, ומשפר את הביצועים ואת יכולת ההתאמה לעומס.

AI TPU Ray

תרחיש שימוש
תרחישים לדוגמה

איך ממקסמים את התפוקה של מודלים גדולים של שפה (LLM) ב-GPU ב-GKE, כולל החלטות לגבי התשתית ואופטימיזציות של שרת המודל.

LLM GPU NVIDIA

תרחיש שימוש
תרחישים לדוגמה

איך מפתחים פלטפורמות לעיבוד באצווה ב-GKE ומבצעים בהן אופטימיזציה

Batch ביצועים הוזלת עלויות

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה מוסבר איך להשתמש בכונני SSD מקומיים כדי לספק אחסון AI/ML עם ביצועים גבוהים ב-GKE.

AI NVMe Local SSD

תרחיש שימוש
תרחישים לדוגמה

במאמר הזה מוסבר איך להריץ אפליקציות JAX מרובות GPU ומרובות צמתים ב-GKE עם יחידות GPU של NVIDIA.

‫GPUs JAX ML

תרחיש שימוש
תרחישים לדוגמה

איך LiveX AI משתמשת ב-GKE כדי ליצור סוכני AI שמשפרים את שביעות רצון הלקוחות ומפחיתים את העלויות.

GenAI NVIDIA GPU

תרחיש שימוש
תרחישים לדוגמה

ארכיטקטורת עזר להרצת אפליקציית AI גנרטיבי עם RAG באמצעות GKE,‏ Cloud SQL,‏ Ray,‏ Hugging Face ו-LangChain.

GenAI RAG Ray

תרחיש שימוש
תרחישים לדוגמה

ארכיטקטורת עזר לפלטפורמה לעיבוד באצווה ב-GKE במצב Standard, באמצעות Kueue לניהול מכסות משאבים.

AI Kueue Batch

תרחיש שימוש
תרחישים לדוגמה

איך חברת IPRally משתמשת ב-GKE וב-Ray כדי לבנות פלטפורמת למידת מכונה יעילה וניתנת להתאמה, שמאפשרת לבצע חיפושי פטנטים מהירים ומדויקים יותר.

AI Ray GPU

תרחיש שימוש
תרחישים לדוגמה

שימוש ב-Gemma במעבדים גרפיים ל-Cloud וב-Cloud TPU להסקת מסקנות ולאימון יעיל ב-GKE.

AI Gemma ביצועים

תרחיש שימוש
תרחישים לדוגמה

אתם יכולים להשתמש במודלים פתוחים של Gemma כדי ליצור אפליקציות AI ניידות שניתנות להתאמה אישית ולפרוס אותן ב-GKE.

AI Gemma ביצועים

תרחיש שימוש
תרחישים לדוגמה

תזמור אפליקציות Ray ב-GKE באמצעות KubeRay ו-Kueue.

Kueue Ray KubeRay

תרחיש שימוש
תרחישים לדוגמה

איך מיישמים תובנות אבטחה וטכניקות הקשחה לאימון עומסי עבודה של AI/ML באמצעות Ray ב-GKE.

AI Ray אבטחה

תרחיש שימוש
תרחישים לדוגמה

לבחור את השילוב הטוב ביותר של אפשרויות אחסון לעומסי עבודה של AI ו-ML ב-Google Cloud.

AI ML Storage

תרחיש שימוש
תרחישים לדוגמה

התקנה אוטומטית של מנהלי התקנים של Nvidia GPU ב-GKE.

GPU NVIDIA התקנה

תרחיש שימוש
תרחישים לדוגמה

אימון מודלים של AI גנרטיבי באמצעות GKE ו-NVIDIA NeMo framework.

GenAI NVIDIA NeMo

תרחיש שימוש
תרחישים לדוגמה

שימוש ב-GKE לעומסי עבודה של Ray משפר את יכולת ההתאמה לעומס, את היעילות מבחינת עלות, את העמידות בפני תקלות, את הבידוד ואת הניידות.

AI Ray Scale

תרחיש שימוש
תרחישים לדוגמה

איך מפשטים את תהליך הפיתוח והפריסה של המודל באמצעות Weights & Biases עם GKE.

אופטימיזציה של עלויות יחידות TPU יחידות GPU

תרחיש שימוש
תרחישים לדוגמה

תמיכה משופרת ב-GPU, ביצועים טובים יותר ומחירים נמוכים יותר לעומסי עבודה של AI/ML באמצעות GKE Autopilot.

GPU Autopilot Performance

תרחיש שימוש
תרחישים לדוגמה

חברת סטארט-אפ מגדילה את היקף הפקת הסרטונים המותאמים אישית באמצעות GKE.

‫GPU Scale Containers

תרחיש שימוש
תרחישים לדוגמה

איך Ray משנה את פיתוח למידת המכונה ב-Spotify.

ML Ray קונטיינרים

תרחיש שימוש
תרחישים לדוגמה

חברת Ordaōs Bio, אחת מהחברות המובילות בתחום ה-AI למחקרים ביו-רפואיים, מוצאת פתרונות לאימונותרפיות חדשות בתחום האונקולוגיה ומחלות דלקתיות כרוניות.

ביצועים TPU הוזלת עלויות

תרחיש שימוש
תרחישים לדוגמה

איך Moloco, חברת סטארט-אפ מעמק הסיליקון, רתמה את העוצמה של GKE ו-Tensor Flow Enterprise כדי לשפר את תשתית למידת המכונה (ML) שלה.

ML Scale Cost optimization

תרחיש שימוש
תרחישים לדוגמה

איך משפרים את זמן ההפעלה של Stable Diffusion ב-GKE

ביצועים התאמה לעומס PD

דוגמת קוד
דוגמאות קוד

אפליקציות לדוגמה שמשמשות במדריכים הרשמיים של מוצרי GKE.

דוגמת קוד
דוגמאות קוד

אתם יכולים לעיין בדוגמאות ניסיוניות לשימוש ב-GKE כדי לקדם את היוזמות שלכם בתחום ה-AI ולמידת המכונה.

דוגמת קוד
דוגמאות קוד

דוגמאות לארכיטקטורות ופתרונות לפריסת עומסי עבודה מואצים ב-GKE.

סרטונים קשורים