נקודת קצה ציבורית ייעודית היא נקודת קצה ציבורית להסקת מסקנות אונליין. היתרונות של התכונה:
- רשת ייעודית: כששולחים בקשת הסקה לנקודת קצה ציבורית ייעודית, היא מבודדת מהתנועה של משתמשים אחרים.
- זמן אחזור אופטימלי ברשת
- תמיכה במטען ייעודי (payload) גדול יותר: עד 10MB.
- זמני קצובים ארוכים יותר לתפוגה של בקשות: אפשר להגדיר עד שעה.
- מוכן ל-AI גנרטיבי: תמיכה בסטרימינג וב-gRPC. אפשר להגדיר את זמן הקצוב לתפוגה של ההסקה עד שעה אחת.
לכן, מומלץ להשתמש בנקודות קצה ציבוריות ייעודיות כדי להציג הסקות אונליין ב-Gemini Enterprise Agent Platform.
מידע נוסף זמין במאמר בחירת סוג נקודת קצה (endpoint).
יצירת נקודת קצה ציבורית ייעודית ופריסת מודל אליה
אפשר ליצור נקודת קצה ייעודית ולפרוס בה מודל באמצעות מסוףGoogle Cloud . לפרטים, ראו פריסת מודל באמצעות מסוף Google Cloud .
אתם יכולים גם ליצור נקודת קצה ציבורית ייעודית ולפרוס בה מודל באמצעות Gemini Enterprise API, באופן הבא:
- יצירת נקודת קצה ייעודית שגלויה לכולם. אפשר להגדיר את זמן הקצוב לתפוגה של ההסקה ואת הגדרות הרישום ביומן של הבקשות והתגובות כשיוצרים את נקודת הקצה.
- פורסים את המודל באמצעות Gemini Enterprise API.
קבלת הסקות אונליין מנקודת קצה ציבורית ייעודית
נקודות קצה ייעודיות תומכות בפרוטוקולי התקשורת HTTP ו-gRPC. בבקשות gRPC, צריך לכלול את הכותרת x-vertex-ai-endpoint-id כדי לזהות את נקודת הקצה בצורה נכונה. אפשר להשתמש בממשקי ה-API הבאים:
- חיזוי
- RawPredict
- StreamRawPredict
- השלמת צ'אט (רק ב-Gemini Enterprise Agent Platform Model Garden)
אתם יכולים לשלוח בקשות להסקת מסקנות אונליין לנקודת קצה ציבורית ייעודית באמצעות Agent Platform SDK ל-Python. פרטים נוספים זמינים במאמר שליחת בקשת הסקה אונליין לנקודת קצה ציבורית ייעודית.
מדריך
מגבלות
- אי אפשר לפרוס מודלים מכווננים של Gemini.
- אי אפשר להשתמש ב-VPC Service Controls. במקום זאת, צריך להשתמש בנקודת קצה של Private Service Connect.
המאמרים הבאים
- מידע ולמידה על סוגי נקודות הקצה להיקש אונליין ב-Gemini Enterprise Agent Platform.