שימוש ב-GPU להסקת מסקנות מ-AI ב-Cloud Run. אם אתם חדשים בתחום של מושגי AI, כדאי לעיין במאמר בנושא מעבדי GPU ל-AI. מעבדי GPU משמשים לאימון ולהרצה של מודלים של AI. כך תוכלו לקבל ביצועים יציבים יותר עם אפשרות להרחבת עומסי עבודה בהתאם לניצול הכולל. מידע נוסף על הגדרות GPU זמין במאמר בנושא תמיכה ב-GPU עבור שירותים, משימות ומאגרי עובדים.
מדריכים לשירותים
- הסקת מסקנות של LLM במעבדים גרפיים של Cloud Run באמצעות Gemma 3 ו-Ollama
- הפעלת Gemma 3 ב-Cloud Run
- הסקת מסקנות של מודלים גדולים של שפה (LLM) במעבדים גרפיים של Cloud Run באמצעות vLLM
- הרצת OpenCV ב-Cloud Run עם האצת GPU
- הסקת מסקנות של LLM במעבדים גרפיים של Cloud Run באמצעות Hugging Face Transformers.js
- הסקת מסקנות של מודלים גדולים של שפה (LLM) במעבדים גרפיים של Cloud Run באמצעות Hugging Face TGI
הדרכות בנושא עבודות
- שיפור מודלים של שפה גדולה (LLM) באמצעות מעבדים גרפיים עם משימות Cloud Run
- הפעלת הסקת מסקנות באצווה באמצעות מעבדים גרפיים במשימות של Cloud Run
- קידוד מחדש של סרטונים עם האצת GPU באמצעות FFmpeg במשימות Cloud Run