מאמרי העזרה בנושא תזמור של AI/ML ב-Cloud Run
Cloud Run היא פלטפורמה מנוהלת שמאפשרת להריץ אפליקציות בקונטיינרים, כולל עומסי עבודה של AI/ML, ישירות בתשתית הניתנת להתאמה של Google. הוא מטפל בתשתית בשבילכם, כך שאתם יכולים להתמקד בכתיבת הקוד במקום לבזבז זמן על הפעלה, הגדרה ושינוי של גודל המשאבים של Cloud Run. היכולות של Cloud Run מאפשרות לכם:
- האצת חומרה: גישה ליחידות GPU וניהול שלהן להסקת מסקנות בהיקף נרחב.
- תמיכה במסגרות עבודה: שילוב עם מסגרות עבודה להפעלת מודלים שאתם כבר מכירים וסומכים עליהן, כמו Hugging Face, TGI ו-vLLM.
- פלטפורמה מנוהלת: אתם יכולים ליהנות מכל היתרונות של פלטפורמה מנוהלת כדי לבצע אוטומציה, להרחיב ולשפר את האבטחה של כל מחזור החיים של ה-AI/ML, תוך שמירה על גמישות.
כדאי לעיין במדריכים ובשיטות המומלצות שלנו כדי להבין איך Cloud Run יכול לעזור לכם לבצע אופטימיזציה של עומסי העבודה שלכם בתחום ה-AI/ML.
מתחילים לעבוד על הוכחת ההיתכנות בחינם עם קרדיט בשווי 300$
- פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
- שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
- בלי חיובים אוטומטיים ובלי התחייבות
מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים
אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.
מאמרי עזרה
הפעלת פתרונות מבוססי-AI
- Concept
- Concept
- הדרכה
- הדרכה
- הדרכה
- הדרכה
- מדריך
- מדריך
- Concept
- Concept
- מדריך
- מדריך
הסקת מסקנות באמצעות יחידות GPU
- מדריך
- הדרכה
- מדריך
- שיטה מומלצת
- מדריך
- מדריך
- שיטה מומלצת
- שיטה מומלצת
פתרון בעיות
- Concept
- הדרכה
- הדרכה
- הדרכה
מקורות מידע שקשורים לנושא
הפעלה בטוחה של קוד שנוצר על ידי AI בארגזי חול של Cloud Run
אפשר להריץ קוד לא מהימן שנוצר על ידי AI בצורה בטוחה על ידי פריסת ארגזי חול של Cloud Run שמריצים סביבות הפעלה בתוך קונטיינרים מבודדים שמבוססים על gVisor.
מדריך להפעלות קרות של AI ב-Cloud Run
אופטימיזציה של זמן האחזור של הפעלה קרה (cold-start) להיקש של LLM בקונטיינרים ב-Cloud Run באמצעות הגדרות תצורה של serverless ושינויים בתבנית עיצוב הארכיטקטורה.
אבטחת סוכני AI באמצעות הרשאה של MCP
הגדרת כללי הרשאה של Model Context Protocol (MCP) ואכיפה שלהם כדי לאבטח את הקישוריות של כלים מרוחקים לסוכני AI שנפרסו ב-Cloud Run.
AI Studio מאפשר תכנות בשיטת Vibe code בכל השלבים עם Cloud Run, Firebase ו-Cloud SQL, בלי צורך בכרטיס אשראי
פריסת אפליקציות פול סטאק ב-Cloud Run ישירות ממצב הבנייה של Google AI Studio עם תמיכה משולבת בגיבוי של Firebase ו-Cloud SQL.
הרצת אפליקציות היקש של AI ב-Cloud Run עם יחידות GPU של NVIDIA
אפשר להשתמש ביחידות GPU מסוג NVIDIA L4 ב-Cloud Run כדי להריץ היקש של AI בזמן אמת, כולל יתרונות של הפעלה מהירה (cold-start) וצמצום הפעולה לאפס (scale-to-zero) למודלים גדולים של שפה (LLM).
Cloud Run: הדרך הכי מהירה להעביר את אפליקציות ה-AI שלכם לסביבת הייצור
איך משתמשים ב-Cloud Run באפליקציות AI שמוכנות לייצור. במדריך הזה מתוארים תרחישי שימוש כמו פיצול תנועה לבדיקות A/B של הנחיות, דפוסי RAG (יצירה משולבת-אחזור) וקישור למאגרי וקטורים.
פריסת AI פשוטה: אפשר לפרוס את האפליקציה ב-Cloud Run מ-AI Studio או מסוכני AI שתואמים ל-MCP
פריסה בלחיצה אחת מ-Google AI Studio ל-Cloud Run ולשרת Cloud Run MCP (Model Context Protocol) כדי להפעיל סוכני AI בסביבות פיתוח משולבות (IDE) או בערכות SDK של סוכנים ולפרוס אפליקציות.
Supercharging Cloud Run with GPU power: A new era for AI workloads
שילוב של יחידות GPU מסוג NVIDIA L4 עם Cloud Run כדי להפעיל מודלי LLM בצורה חסכונית. במדריך הזה נתמקד בצמצום הפעולה לאפס, ונספק שלבי פריסה למודלים כמו Gemma 2 עם Ollama.
עדיין אורזים מודלים של AI במכולות? במקום זאת, אפשר לעשות את זה ב-Cloud Run
הפרדה של קובצי מודלים גדולים מקובץ האימג' של הקונטיינר באמצעות Cloud Storage FUSE. הפרדה משפרת את זמני הבנייה, מפשטת את העדכונים ויוצרת ארכיטקטורה ניתנת להרחבה יותר להצגת מודעות.
חבילה ופריסה של מודלים של למידת מכונה ב-Cloud Run באמצעות Cog
שימוש במסגרת Cog שעברה אופטימיזציה להצגת מודלים של ML כדי לפשט את האריזה והפריסה של קונטיינרים ב-Cloud Run.
פריסה ומעקב אחרי מודלים של למידת מכונה באמצעות Cloud Run – קל משקל, ניתן להרחבה וחסכוני
להשתמש ב-Cloud Run להסקת מסקנות קלה של ML וליצור חבילת כלים חסכונית למעקב באמצעות שירותים מקוריים של Google Cloud Google כמו Logging ו-BigQuery.