Gemini Enterprise Agent Platform תומכת ברשימה של מודלים שנבחרו בקפידה ופותחו על ידי שותפים של Google. אפשר להשתמש במודלים של שותפים עם Gemini Enterprise Agent Platform בתור מודל כשירות (MaaS), והם מוצעים בתור API מנוהל. כשמשתמשים במודל של שותף, המערכת ממשיכה לשלוח את הבקשות לנקודות הקצה של Gemini Enterprise Agent Platform. המודלים של השותפים הם בלי שרת (serverless), כך שאין צורך לספק או לנהל תשתית.
אפשר למצוא מודלים של שותפים באמצעות Model Garden. אפשר גם לפרוס מודלים באמצעות Model Garden. מידע נוסף זמין במאמר הכרת מודלים של AI ב-Model Garden. אפשר למצוא מידע על כל מודל שותף זמין בכרטיס המודל שלו ב-Model Garden, אבל במדריך הזה מתועדים רק מודלים של צד שלישי שפועלים כ-MaaS עם Gemini Enterprise Agent Platform.
מודלים של Claude מבית Anthropic ושל Mistral הם דוגמאות למודלים מנוהלים של צד שלישי שזמינים לשימוש ב-Gemini Enterprise Agent Platform.
מודלים של השותפים
המודלים הבאים של שותפים מוצעים בתור ממשקי API מנוהלים ב-Gemini Enterprise Agent Platform Model Garden (MaaS):
| שם הדגם | אופן השימוש | תיאור | מדריך למתחילים |
|---|---|---|---|
| Grok 4.3 (תצוגה מקדימה) | שפה | מודל עם ביצועים גבוהים של xAI. | כרטיס מודל |
| Grok 4.20 (נימוקים) (תצוגה מקדימה) | שפה | Grok 4.20 (Reasoning) הוא מודל עם ביצועים גבוהים מבית xAI, שמתאפיין בשיעור נמוך של הזיות בהשוואה למודלים אחרים בתחום. מצטיין במשימות של הבנת מסמכים ובהפעלת כלים ארוכת טווח על ידי סוכנים. | כרטיס מודל |
| Grok 4.20 (ללא נימוקים) (תצוגה מקדימה) | שפה | Grok 4.20 (Non-Reasoning) הוא מודל לא חושב עם ביצועים גבוהים מבית xAI, שמתאפיין בשיעור נמוך של הזיות בהשוואה למודלים אחרים בתחום. מצטיין בתרחישי שימוש שרגישים לזמן האחזור, כמו תמיכה בלקוחות וסיווג. | כרטיס מודל |
| Grok 4.1 Fast (Reasoning) (תצוגה מקדימה) | שפה | Grok 4.1 Fast (Reasoning) הוא המודל הכי משתלם של xAI, עם יכולות חזקות של הפעלת כלים וסינתזה יעילה של מאגר ידע. מצטיין במשימות חיפוש שכוללות נתונים מהאינטרנט וכלי מאגר ידע פנימיים. | כרטיס מודל |
| Grok 4.1 Fast (ללא נימוקים) (גרסת טרום-השקה) | שפה | Grok 4.1 Fast (Non-Reasoning) הוא המודל הכי חסכוני של xAI שלא מבוסס על חשיבה, והוא מותאם לביצועים עם זמן אחזור נמוך. מצטיין במשימות בהיקף גדול כמו סיכום וסיווג. | כרטיס מודל |
| Claude Sonnet 5 on Google Cloud | שפה, ראייה | Claude Sonnet 5 ב-Google Cloud הוא מודל Sonnet הכי מתקדם של Anthropic, שנועד לתכנות, לסוכנים ולעבודה מקצועית בהיקף גדול. | כרטיס מודל |
| Claude Fable 5 on Google Cloud | שפה, ראייה | Claude Fable 5 ב-Google Cloud הוא מודל של Anthropic שנועד לעבודות שמבוססות על ידע ולתכנות אוטונומי, והוא מתאים לפרויקטים מורכבים שנמשכים כמה ימים. | כרטיס מודל |
| Claude Opus 4.8 on Google Cloud | שפה, ראייה | Claude Opus 4.8 הוא מודל Opus עם רמת אינטליגנציה גבוהה, שנועד לתכנות ולסוכנים, עם יכולת הסקת מסקנות מעמיקה יותר לתהליכי עבודה ארגוניים. | כרטיס מודל |
| Claude Opus 4.7 ב-Google Cloud | שפה, ראייה | Claude Opus 4.7 ב-Google Cloud הוא מודל עם רמת אינטליגנציה גבוהה מבית Anthropic, והוא מוביל בתעשייה בתחומים של קידוד, סוכנים, שימוש במחשב ותהליכי עבודה ארגוניים. | כרטיס מודל |
| Claude Sonnet 4.6 ב-Google Cloud | שפה, ראייה | Claude Sonnet 4.6 ב-Google Cloud מספקת אינטליגנציה מתקדמת בהיקף נרחב – היא מיועדת לתכנות, לסוכנים ולתהליכי עבודה ארגוניים. | כרטיס מודל |
| Claude Opus 4.6 ב-Google Cloud | שפה, ראייה | Claude Opus 4.6 ב-Google Cloud הוא מודל עם רמת אינטליגנציה גבוהה מבית Anthropic, והוא מוביל בתחום הקידוד, הסוכנים, השימוש במחשב ותהליכי העבודה בארגונים. | כרטיס מודל |
| Claude Opus 4.5 on Google Cloud | שפה, ראייה | Claude Opus 4.5 ב-Google Cloud הוא מודל עם רמת אינטליגנציה גבוהה מבית Anthropic, והוא מוביל בתעשייה בתחומים של קידוד, סוכנים, שימוש במחשב ותהליכי עבודה ארגוניים. | כרטיס מודל |
| Claude Sonnet 4.5 ב-Google Cloud | שפה, ראייה | מודל בגודל בינוני של Anthropic להפעלת סוכנים בעולם האמיתי, עם יכולות בתחומים כמו תכנות, שימוש במחשב, אבטחת סייבר ועבודה עם קבצים של תוכנות אופיס כמו גיליונות אלקטרוניים. | כרטיס מודל |
| Claude Opus 4.1 ב-Google Cloud | שפה, ראייה | מובילה בתחום הקידוד. הוא מספק ביצועים יציבים במשימות ארוכות טווח שדורשות מאמץ ממוקד ואלפי שלבים, ומרחיב משמעותית את הבעיות שסוכני AI יכולים לפתור. האפשרות הזו מומלצת למוצרים ולתכונות של סוכני AI מתקדמים. | כרטיס מודל |
| Claude Haiku 4.5 ב-Google Cloud | שפה, ראייה | Claude Haiku 4.5 ב-Google Cloud מספק ביצועים כמעט ברמה הגבוהה ביותר למגוון רחב של תרחישי שימוש, ונחשב לאחד מהמודלים הטובים ביותר בעולם לקידוד – עם המהירות והעלות הנכונות להפעלת מוצרים בחינם ולחוויות משתמש עם נפח גבוה. | כרטיס מודל |
| Claude Opus 4 on Google Cloud | שפה, ראייה | Claude Opus 4 ב-Google Cloud מספק ביצועים יציבים במשימות ארוכות טווח שדורשות מאמץ ממוקד ואלפי שלבים, ומרחיב באופן משמעותי את הבעיות שסוכני AI יכולים לפתור. | כרטיס מודל |
| Claude Sonnet 4 ב-Google Cloud | שפה, ראייה | מודל בינוני של Anthropic עם יכולות אינטליגנציה מעולות לשימוש בנפחים גדולים, כמו תכנות, מחקר מעמיק וסוכנים. | כרטיס מודל |
| Anthropic's Claude 3.5 Sonnet v2 on Google Cloud | שפה, ראייה | Claude 3.5 Sonnet ב-Google Cloud הוא מודל עם ביצועים גבוהים למשימות הנדסת תוכנה בעולם האמיתי ויכולות של סוכנים. Claude 3.5 Sonnet ב-Google Cloud מספק את השיפורים האלה באותו מחיר ובאותה מהירות כמו הדגם הקודם. | כרטיס מודל |
| Anthropic's Claude 3.5 Sonnet on Google Cloud | שפה | מודל Claude 3.5 Sonnet ב-Google Cloud עדיף על מודל Claude 3 Opus של Anthropic ב-Google Cloud במגוון רחב של הערכות של Anthropic, במהירות ובעלות של מודל הביניים של Anthropic, Claude 3 Sonnet ב-Google Cloud. | כרטיס מודל |
| Jamba 1.5 Large (תצוגה מקדימה) | שפה | מודל Jamba 1.5 Large של AI21 Labs נועד לספק תשובות באיכות מעולה, עם תפוקה גבוהה ומחיר תחרותי בהשוואה למודלים אחרים בגודל שלו. | כרטיס מודל |
| Jamba 1.5 Mini (תצוגה מקדימה) | שפה | Jamba 1.5 Mini של AI21 Labs הוא מודל מאוזן מבחינת איכות, תפוקה ועלות נמוכה. | כרטיס מודל |
| Mistral Medium 3 | שפה | Mistral Medium 3 הוא מודל רב-תכליתי שנועד למגוון רחב של משימות, כולל תכנות, חשיבה מתמטית, הבנת מסמכים ארוכים, סיכום ודיאלוג. | כרטיס מודל |
| Mistral OCR (25.05) | שפה, ראייה | Mistral OCR (25.05) הוא API לזיהוי תווים אופטי (OCR) להבנת מסמכים. המודל מבין כל רכיב במסמכים, כמו מדיה, טקסט, טבלאות ומשוואות. | כרטיס מודל |
| Mistral Small 3.1 (25.03) | שפה | Mistral Small 3.1 (25.03) הוא גרסה של המודל Small של Mistral, עם יכולות מולטי-מודאליות וחלון ההקשר מורחב. | כרטיס מודל |
| Codestral 2 | שפה, קוד | Codestral 2 הוא מודל של Mistral שמתמחה ביצירת קוד, ונבנה במיוחד להשלמה מדויקת של קוד (FIM). המודל עוזר למפתחים לכתוב קוד ולקיים אינטראקציה עם קוד באמצעות נקודת קצה משותפת של API להוראות ולהשלמה. | כרטיס מודל |
הערכת מודלים של שותפים באמצעות שירות ההערכה של AI גנרטיבי
שירות ההערכה של Gen AI תומך בהערכת מודלים של שותפים, כמו מודלים של Anthropic ו-Llama. אפשר להעריך מודלים של שותפים באמצעות Model Garden, לכן צריך להפעיל את המודל לפני שמריצים הערכות של מודל שותף.
מידע נוסף מפורט במאמר ביצוע הערכה באמצעות המסוף.
תמחור של מודלים של שותפים ב-Gemini Enterprise Agent Platform עם הבטחת קיבולת
Google מציעה תפוקה מוקצית לכמה מודלים של שותפים, שמאפשרת לכם לשריין קיבולת תפוקה למודלים שלכם תמורת תשלום קבוע. אתם מחליטים מה יהיה נפח התפוקה ובאילו אזורים לשמור את הנפח הזה. בקשות של נפח נתונים מוקצה מקבלות עדיפות על פני בקשות רגילות של תשלום לפי שימוש, ולכן נפח נתונים מוקצה מספק זמינות גבוהה יותר. גם אם המערכת עמוסה מדי, הבקשות שלכם עדיין יכולות להתבצע כל עוד קצב העברת הנתונים נשאר מתחת לקיבולת קצב העברת הנתונים שהזמנתם. למידע נוסף או להרשמה לשירות, אפשר לפנות לצוות המכירות.
נקודות קצה אזוריות, גלובליות ועם מספר אזורים
בנקודות קצה אזוריות, הבקשות מטופלות מהאזור שצוין. במקרים שבהם יש לכם דרישות לגבי מיקום אחסון הנתונים או אם מודל לא תומך בנקודת הקצה הגלובלית, צריך להשתמש בנקודות הקצה האזוריות.
כשמשתמשים בנקודת הקצה הגלובלית, Google יכולה לעבד את הבקשות ולספק תשובות מכל אזור שנתמך על ידי המודל שבו משתמשים, ולכן יכול להיות שבמקרים מסוימים יהיה זמן אחזור ארוך יותר. נקודת הקצה הגלובלית עוזרת לשפר את הזמינות הכוללת ולצמצם את השגיאות.
נקודות קצה במספר אזורים מאפשרות גישה לזמינות גבוהה למודלים של שותפים, תוך שמירה על מיקום אחסון הנתונים באזור גיאוגרפי רחב יותר, כמו ארצות הברית.
יש הבדל במחיר בהתאם לסוג נקודת הקצה שבוחרים. למידע נוסף על מכסות ויכולות, אפשר לעיין בדף הדגם של הצד השלישי הרלוונטי.
נקודת קצה גלובלית
כדי להשתמש בנקודת הקצה הגלובלית, מגדירים את האזור ל-global.
לדוגמה, כתובת ה-URL של הבקשה לפקודת curl מבוססת על הפורמט הבא:
https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME
ב-Agent Platform SDK, נקודת קצה אזורית היא ברירת המחדל. כדי להשתמש בנקודת הקצה הגלובלית, צריך להגדיר את האזור ל-GLOBAL.
מודלים נתמכים לנקודת הקצה הגלובלית
נקודת הקצה הגלובלית זמינה למודלים הבאים:
- Claude Sonnet 5 on Google Cloud
- Claude Fable 5 ב-Google Cloud
- Claude Opus 4.8 on Google Cloud
- Claude Opus 4.7 on Google Cloud
- Claude Opus 4.6 on Google Cloud
- Claude Sonnet 4.6 ב-Google Cloud
- Claude Opus 4.5 on Google Cloud
- Claude Opus 4.1 on Google Cloud
- Claude Opus 4 on Google Cloud
- Claude Sonnet 4.5 ב-Google Cloud
- Claude Sonnet 4 on Google Cloud
- Claude 3.7 Sonnet ב-Google Cloud
- Claude 3.5 Sonnet v2 ב-Google Cloud
- Claude Haiku 4.5 ב-Google Cloud
- Grok 4.1 Fast
- Grok 4.20
- Grok 4.3
הגבלת השימוש בנקודת קצה ל-API גלובלית
כדי לאכוף את השימוש בנקודות קצה אזוריות, אפשר להשתמש באילוץ constraints/gcp.restrictEndpointUsage של מדיניות הארגון כדי לחסום בקשות לנקודת קצה ל-API גלובלית. מידע נוסף מופיע במאמר בנושא הגבלת השימוש בנקודות קצה.
נקודת קצה עם מספר אזורים
נקודות קצה במספר אזורים מאפשרות גישה לזמינות גבוהה למודלים של שותפים, תוך שמירה על מיקום אחסון הנתונים באזור גיאוגרפי רחב יותר, כמו ארצות הברית או האיחוד האירופי.
בוחרים את הכרטיסייה המתאימה לאזור הרב-אזורי שבו רוצים להשתמש:
ארה"ב
כדי להשתמש בנקודת הקצה עם מספר אזורים בארה"ב, מגדירים את כתובת ה-URL של נקודת הקצה ל-aiplatform.us.rep.googleapis.com.
כתובת ה-URL של הבקשה לפקודת curl מבוססת על הפורמט הבא:
https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/publishers/anthropic/models/MODEL_NAME
האיחוד האירופי
כדי להשתמש בנקודת הקצה עם מספר אזורים באיחוד האירופי, מגדירים את כתובת ה-URL של נקודת הקצה ל-aiplatform.eu.rep.googleapis.com.
כתובת ה-URL של הבקשה לפקודת curl מבוססת על הפורמט הבא:
https://aiplatform.eu.rep.googleapis.com/v1/projects/PROJECT_ID/locations/eu/publishers/anthropic/models/MODEL_NAME
מידע נוסף על הפורמט MODEL_NAME זמין במסמכי התיעוד של Anthropic.
מודלים נתמכים לנקודת הקצה עם מספר אזורים:
נקודות קצה מרובות אזורים תומכות בכל מודלי Claude בגרסה 4.7 ואילך (לדוגמה, claude-opus-4-7, claude-opus-4-8 ו-claude-fable-5). במקרים הרלוונטיים, צריך להשתמש במזהה המודל המלא, כולל תאריך הגרסה.
דוגמה לבקשה:
כך מתקשרים לנקודת הקצה עם מספר אזורים באמצעות curl:
export PROJECT_ID="YOUR_PROJECT_ID"
# Example using claude-opus-4-7
# Option 1: US Region
export LOCATION="us"
export ENDPOINT="aiplatform.us.rep.googleapis.com"
# Option 2: EU Region
# export LOCATION="eu"
# export ENDPOINT="aiplatform.eu.rep.googleapis.com"
export MODEL_ID="claude-opus-4-7"
curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT}/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:rawPredict" \
-d '{
"max_tokens": 300,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Why is the sky blue?"
}
]
}
],
"anthropic_version": "vertex-2023-10-16"
}'
מכסות במספר אזורים:
אנחנו אוכפים מכסות ייעודיות במספר אזורים. אתם יכולים לראות את ערכי המכסות שמוגדרים כברירת מחדל ולבקש להגדיל אותם ב Google Cloud מסוף.
דוגמאות למכסות בארה"ב:
UsOnlinePredictionInputTokensPerMinutePerBaseModelUsOnlinePredictionOutputTokensPerMinutePerBaseModelUsOnlinePredictionRequestsPerMinPerProjectPerBaseModelUsOnlinePredictionWebSearchRequestsPerProjectPerPublisher
דוגמאות למכסות באיחוד האירופי:
EuOnlinePredictionInputTokensPerMinutePerBaseModelEuOnlinePredictionOutputTokensPerMinutePerBaseModelEuOnlinePredictionRequestsPerMinPerProjectPerBaseModelEuOnlinePredictionWebSearchRequestsPerProjectPerPublisher
הענקת גישה למשתמשים למודלים של שותפים
כדי להפעיל מודלים של שותפים ולשלוח בקשת הנחיה, אדמין צריך להגדיר את ההרשאות הנדרשות ולוודא שמדיניות הארגון מאפשרת שימוש בממשקי ה-API הנדרשים. Google Cloud
הגדרת הרשאות נדרשות לשימוש במודלים של שותפים
כדי להשתמש במודלים של שותפים, נדרשים התפקידים וההרשאות הבאים:
אתם צריכים את התפקיד 'מנהל הרשאות רכש לצרכנים' בממשק לניהול הזהויות והרשאות הגישה (IAM). כל מי שקיבל את התפקיד הזה יכול להפעיל מודלים של שותפים ב-Model Garden.
צריכה להיות לכם הרשאה מסוג
aiplatform.endpoints.predict. ההרשאה הזו כלולה בתפקיד Agent Platform User ב-IAM. מידע נוסף זמין במאמרים Gemini Enterprise Agent Platform User ובקרת גישה.
המסוף
כדי להעניק למשתמש תפקידים ב-IAM של הכלי לניהול הרשאות לרכישות לצרכנים, נכנסים לדף IAM.
בעמודה Principal, מחפשים את החשבון הראשי של המשתמש שרוצים לתת לו גישה למודלים של שותפים, ולוחצים על Edit principal בשורה הזו.
בחלונית Edit access לוחצים על Add another role.
ברשימת התפקידים Select a role בוחרים את Consumer Procurement Entitlement Manager.
בחלונית גישת עריכה לוחצים על Add another role.
ברשימת התפקידים Select a role בוחרים את Agent Platform User.
לוחצים על Save.
gcloud
-
במסוף Google Cloud , מפעילים את Cloud Shell.
הקצאת התפקיד Consumer Procurement Entitlement Manager (מנהל הרשאות לרכישת מוצרים לצרכנים) שנדרש להפעלת מודלים של שותפים ב-Model Garden
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/consumerprocurement.entitlementManagerמקצים את התפקיד 'משתמש ב-Agent Platform' שכולל את ההרשאה
aiplatform.endpoints.predictשנדרשת כדי לשלוח בקשות להנחיות:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/aiplatform.userמחליפים את
PRINCIPALבמזהה של החשבון הראשי. המזהה יכול להיותuser|group|serviceAccount:emailאוdomain:domain, לדוגמה:user:cloudysanfrancisco@gmail.com,group:admins@example.com,serviceAccount:test123@example.domain.comאוdomain:example.domain.com.תיווצר רשימה של קישורי מדיניות עם הפרטים הבאים:
- members: - user:PRINCIPAL role: roles/roles/consumerprocurement.entitlementManagerמידע נוסף זמין במאמרים הקצאת תפקיד יחיד ו
gcloud projects add-iam-policy-binding.
הגדרת מדיניות הארגון לגישה למודלים של שותפים
כדי להפעיל מודלים של שותפים, מדיניות הארגון שלכם צריכה לאפשר את השימוש בממשק ה-API הבא: Cloud Commerce Consumer Procurement API – cloudcommerceconsumerprocurement.googleapis.com
אם הארגון שלכם מגדיר מדיניות ארגונית להגבלת השימוש בשירותים, אדמין בארגון צריך לוודא שcloudcommerceconsumerprocurement.googleapis.com מותר על ידי הגדרת המדיניות הארגונית.
בנוסף, אם יש לכם מדיניות ארגונית שמגבילה את השימוש במודלים ב-Model Garden, המדיניות צריכה לאפשר גישה למודלים של שותפים. מידע נוסף זמין במאמר שליטה בגישה למודלים.
עמידה בתקנות של מודלים של שותפים
האישורים של ה-AI הגנרטיבי ב-Gemini Enterprise Agent Platform ממשיכים לחול כשמשתמשים במודלים של שותפים בתור API מנוהל באמצעות Gemini Enterprise Agent Platform. אם אתם צריכים פרטים על המודלים עצמם, תוכלו למצוא מידע נוסף בכרטיס המודל המתאים, או ליצור קשר עם מפרסם המודל המתאים.
הנתונים שלכם מאוחסנים במצב מנוחה באזור או במספר אזורים שנבחרו עבור מודלים של שותפים ב-Gemini Enterprise Agent Platform, אבל יכול להיות שעיבוד הנתונים ישתנה מבחינה אזורית. לרשימה מפורטת של התחייבויות לעיבוד נתונים של מודלים של שותפים, ראו מיקום אחסון הנתונים במודלים של שותפים.
ההנחיות של הלקוחות והתשובות של המודלים לא משותפות עם צדדים שלישיים כשמשתמשים ב-Gemini Enterprise API, כולל מודלים של שותפים. Google מעבדת נתוני לקוחות רק בהתאם להוראות הלקוח, כפי שמתואר בפירוט בנספח לעיבוד נתונים ב-Cloud.