שימוש ביחידות GPU להרצת היקש של AI ב-Cloud Run. אם אתם חדשים בתחום של מושגי AI, כדאי לעיין במאמר בנושא מעבדי GPU ל-AI. מעבדי GPU משמשים לאימון ולהרצה של מודלים של AI. כך תוכלו לקבל ביצועים יציבים יותר עם אפשרות להרחבת עומסי עבודה בהתאם לשימוש הכולל. מידע נוסף על הגדרות GPU זמין במאמר בנושא תמיכה ב-GPU עבור שירותים, משימות ומאגרי עובדים.
מדריכים לשירותים
- הרצת Gemma ב-Cloud Run
- הרצת היקש של LLM ביחידות GPU של Cloud Run באמצעות Gemma ו-Ollama
- הרצת OpenCV ב-Cloud Run עם האצת GPU
- איך מריצים היקש של LLM ביחידות GPU של Cloud Run באמצעות Hugging Face Transformers.js
הדרכות בנושא עבודות
- שיפור המודלים הגדולים של שפה (LLM) באמצעות מעבדים גרפיים בעזרת משימות של Cloud Run
- הפעלת היקש באצווה באמצעות יחידות GPU במשימות ב-Cloud Run
- קידוד מחדש של סרטונים עם האצת GPU באמצעות FFmpeg במשימות Cloud Run