בחירה של סוג נקודת קצה

כדי לפרוס מודל להסקת מסקנות אונליין, צריך נקודת קצה. אפשר לחלק את נקודות הקצה לסוגים הבאים:

  • אפשר לגשת לנקודות קצה ציבוריות דרך האינטרנט הציבורי. קל יותר להשתמש בהם, כי לא נדרשת תשתית של רשת פרטית. יש שני סוגים של נקודות קצה ציבוריות: ייעודיות ומשותפות. נקודת קצה ציבורית ייעודית היא נקודת קצה מהירה יותר שמספקת בידוד של סביבת הייצור, תמיכה בגדלים גדולים יותר של מטען ייעודי (payload) וזמני קצוב לתפוגה ארוכים יותר של בקשות בהשוואה לנקודת קצה ציבורית משותפת. בנוסף, כששולחים בקשת הסקה לנקודת קצה ציבורית ייעודית, היא מבודדת מתנועת הנתונים של משתמשים אחרים. לכן, מומלץ להשתמש בנקודות קצה ציבוריות ייעודיות.

  • נקודות קצה פרטיות ייעודיות באמצעות Private Service Connect מספקות חיבור מאובטח לתקשורת פרטית בין שרתים מקומיים לביןGoogle Cloud. אפשר להשתמש בהן כדי לשלוט בתנועה של Google APIs באמצעות ממשקי Private Service Connect APIs. מומלץ להשתמש בהן כשיטת העבודה המומלצת.

  • נקודות קצה פרטיות מספקות גם חיבור מאובטח למודל, ואפשר להשתמש בהן גם לתקשורת פרטית ביןGoogle Cloudלבין מיקום מקומי. הם משתמשים בגישה לשירותים פרטיים דרך חיבור VPC Network Peering.

מידע נוסף על פריסת מודל לנקודת קצה זמין במאמר פריסת מודל לנקודת קצה.

בטבלה הבאה מוצג השוואה בין סוגי נקודות הקצה הנתמכות להצגת היסקים אונליין ב-Gemini Enterprise Agent Platform.

נקודת קצה ציבורית ייעודית (מומלץ) נקודת קצה ציבורית משותפת נקודת קצה פרטית ייעודית באמצעות Private Service Connect (מומלץ) נקודת קצה פרטית
מטרה חוויית ברירת המחדל של הרשת. מאפשרת שליחת בקשות מהאינטרנט הציבורי. חוויית ברירת המחדל של הרשת. מאפשרת שליחת בקשות מהאינטרנט הציבורי. מומלץ לשימוש באפליקציות ארגוניות בסביבת ייצור. משפר את זמן האחזור ברשת ואת האבטחה על ידי הקפדה על ניתוב פרטי של בקשות ותגובות. מומלץ לשימוש באפליקציות ארגוניות בסביבת ייצור. משפר את זמן האחזור ברשת ואת האבטחה על ידי הקפדה על ניתוב פרטי של בקשות ותגובות.
גישה לרשת אינטרנט ציבורי באמצעות מישור רשת ייעודי אינטרנט ציבורי באמצעות מישור רשת משותף רשת פרטית באמצעות נקודת קצה של Private Service Connect רשת פרטית באמצעות גישה לשירותים פרטיים (קישור בין רשתות VPC שכנות – peering)
VPC Service Controls לא נתמך. במקום זאת, צריך להשתמש בנקודת קצה פרטית ייעודית. נתמך נתמך נתמך
עלות ‫Vertex AI Inference ‫Vertex AI Inference ‫Vertex AI Inference + Private Service Connect endpoint Vertex AI Inference + גישה לשירותים פרטיים (ראו: 'שימוש בנקודת קצה (כלל העברה) של Private Service Connect כדי לגשת לשירות שפורסם')
זמן האחזור של הרשת בוצעה אופטימיזציה ללא אופטימיזציה בוצעה אופטימיזציה בוצעה אופטימיזציה
הצפנה במעבר TLS עם אישור חתום על ידי רשות אישורים TLS עם אישור חתום על ידי רשות אישורים TLS אופציונלי עם אישור בחתימה עצמית ללא
הזמן הקצוב לתפוגה של היקש ניתן להגדרה עד שעה אחת ‫60 שניות ניתן להגדרה עד שעה אחת ‫60 שניות
מגבלת גודל המטען הייעודי ‫10MB ‫1.5MB ‫10MB ‫10MB
מכסת QPM ללא הגבלה 30,000 ללא הגבלה ללא הגבלה
תמיכה בפרוטוקול HTTP או gRPC HTTP HTTP או gRPC HTTP
תמיכה בסטרימינג כן (SSE) לא כן (SSE) לא
חלוקת התנועה כן כן כן לא
רישום של בקשות ותגובות כן כן כן לא
רישום ביומן הגישה כן כן כן לא
פריסת מודל Gemini שעבר התאמה לא כן לא לא
מודלים של AutoML ויכולת הסברה לא כן לא לא
ספריות לקוח נתמכות ‫Agent Platform SDK ל-Python ספריות לקוח של Gemini Enterprise Agent Platform, ‏ Agent Platform SDK for Python ‫Agent Platform SDK ל-Python ‫Agent Platform SDK ל-Python

המאמרים הבאים