מצב "מהיר" מאיץ את יצירת הטוקנים של הפלט במודלים נתמכים של Anthropic Claude ב-Gemini Enterprise Agent Platform. הוא משתמש בהגדרת הצגה במהירות גבוהה ששומרת על יכולות האינטליגנציה והבטיחות של המודל הבסיסי. כדי להפעיל את המצב המהיר בבקשות לחיזוי אונליין, מגדירים את "speed": "fast" בגוף הבקשה.
כדאי להשתמש במצב המהיר לעומסי עבודה אינטראקטיביים שרגישים לזמן האחזור, שבהם המתנה ליצירת טוקנים קוטעת את מסלול המשתמש של המפתח או המשתמש:
- תכנות אינטראקטיבי מבוסס-סוכנים: חזרה על משימות תכנות, ארגון מחדש של קוד וניפוי באגים בכמה שלבים, באמצעות סוכנים שכוללים אדם בתהליך, בלי להחליף הקשר.
- תכנון בזמן אמת: איסוף הקשר תפעולי או הקשר של מאגר ויצירת תוכניות ביצוע באופן אינטראקטיבי.
- תגובה לאירוע: מיון התראות בנושא ייצור וסינתזה של שלבי תיקון כשזמן ההסקה הוא קריטי.
מודלים נתמכים ומדיניות מחזור חיים
מצב מהיר זמין בגרסה העדכנית של משפחת מודלים נתמכת של Claude, ובמהלך חלון מעבר של 30 יום בגרסה שיוצאת משימוש. פלטפורמת Agent תומכת במצב מהיר במודלים הבאים:
- Claude Fable 5.2 של Anthropic ב-Google Cloud (
claude-fable-5-2)
כשמושקת גרסה חדשה של משפחת מודלים נתמכת, המצב המהיר בגרסה הקודמת של אותה משפחה יוצא משימוש 30 יום אחרי השקת הגרסה החדשה. אחרי שחלון הזמן של 30 הימים נסגר, בקשות לגרסה הקודמת של המודל שכוללות את "speed": "fast" מחזירות שגיאת HTTP 400 (INVALID_ARGUMENT). בקשות במהירות רגילה לגרסת המודל הזו ממשיכות לפעול כרגיל. כדי להמשיך להשתמש במצב המהיר, צריך לעדכן את הבקשות כך שיטרגטו את גרסת המודל העדכנית, או להסיר את "speed": "fast" מגוף הבקשה.
מיקומים נתמכים
מצב "מהיר" זמין במזהי המיקומים הבאים ב-API למודלים נתמכים:
- גלובלי (Anthropic's Claude Fable 5.2 on Google Cloud):
global - במספר אזורים בארצות הברית (Claude Fable 5.2 של Anthropic ב-Google Cloud):
us - במספר אזורים באירופה (Claude Fable 5.2 של Anthropic ב-Google Cloud):
eu
במצב מהיר, אין תמיכה ציבורית בנקודות קצה אזוריות ישירות. אם שולחים בקשה עם "speed": "fast" למיקום שבו המצב המהיר לא זמין, מוחזרת השגיאה HTTP 400 (FAILED_PRECONDITION).
לפני שמתחילים
לפני ששולחים בקשות במצב מהיר, צריך לבצע את שלבי ההגדרה הבאים. במצב Fast, הגדרת הפרויקט והפעלת Model Garden זהות לבקשות רגילות של Claude. לפני שמתחילים, כדאי לקרוא פרטים נוספים על הגדרת מודל שותפים.
- נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloudליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- עוברים לאחד מכרטיסי המודלים הבאים ב-Model Garden, לוחצים על Enable ומאשרים את התנאים הספציפיים למודל או את הדרישות לשיתוף נתונים:
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לשליחת בקשות לחיזוי במצב מהיר למודלים של Claude, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM בפרויקט ב- Google Cloud :
-
שליחת בקשות חיזוי למודלים של שותפים:
משתמש ב-Agent Platform (
roles/aiplatform.user)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
שליחת בקשה למצב מהיר
כדי להשתמש במצב המהיר, שולחים בקשה לנקודת הקצה הרגילה של מודל Publisher (לדוגמה, claude-fable-5-2) ומגדירים את "speed": "fast" בגוף הבקשה ברמה העליונה. לא צריך כותרת anthropic-beta, ואין כרטיס מודל נפרד שצריך להפעיל ב-Model Garden.
REST
הדוגמה הבאה שולחת בקשת חיזוי אל claude-fable-5-2 בנקודת הקצה global, כשהאפשרות "speed": "fast" מופעלת.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- PROJECT_ID: מזהה הפרויקט ב- Google Cloud (לדוגמה,
my-agent-project). - MODEL: מודל Claude שתומך במצב מהיר, כמו
claude-fable-5-2(ברירת המחדל:claude-fable-5-2). תמיד צריך לציין את מזהה המודל הבסיסי בכתובת ה-URL של נקודת הקצה.
בדוגמה הזו נעשה שימוש בנקודת הקצה global. כדי להשתמש בנקודת קצה נתמכת עם מספר אזורים, קראו את המאמר ציון נקודת קצה עם מספר אזורים.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict
גוף בקשת JSON:
{
"anthropic_version": "vertex-2023-10-16",
"speed": "fast",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": "Analyze the root cause of an HTTP 502 spike on an upstream GKE ingress controller and list three immediate mitigation steps."
}
]
}
כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content
התגובה היא אובייקט JSON שדומה לזה: כשהבקשה מטופלת במצב מהיר, האובייקט usage כולל את "speed": "fast".
Python
באמצעות Anthropic Vertex SDK (anthropic[vertex]), מעבירים את extra_body={"speed": "fast"} כשקוראים ל-client.messages.create():
from anthropic import AnthropicVertex from anthropic.types import Message def generate_with_fast_mode( project_id: str = "PROJECT_ID", ) -> Message: client = AnthropicVertex( project_id=project_id, region="global", ) message = client.messages.create( model="claude-fable-5-2", max_tokens=1024, extra_body={"speed": "fast"}, messages=[ { "role": "user", "content": ( "Analyze the root cause of an HTTP 502 spike on an upstream " "GKE ingress controller and list three immediate mitigation " "steps." ), } ], ) print(message.model_dump_json(indent=2)) return message
איך בודקים באיזו מהירות השתמשתם
כדי לוודא שהבקשה טופלה במצב מהיר, בודקים את השדה usage.speed בתשובה:
- מצב מהיר:
usage.speedקיים ומוגדר ל-"fast"(בתגובות unary, או באירועיםmessage_startאוmessage_deltaבתגובות סטרימינג). - מהירות רגילה: כששולחים בקשה רגילה (
"speed": "standard"אוspeedמושמטים),usage.speedהוא"standard"או מושמט.
מכסות, מעקב ובקרת גישה
במצב המהיר נעשה שימוש בקיבולת ייעודית והגבלת קצב של יצירת בקשות שמופרדות מתעבורת נתונים במהירות הרגילה, תוך ירושה של הגדרות הגישה של הפרויקט למודל הבסיסי.
מכסות
בנקודות קצה גלובליות ובמספר אזורים, בקשות במצב מהיר צורכות מכסה ייעודית ממאגר המכסות המשותף של שושלת הנתונים, בנפרד מהמכסה של המודל במהירות רגילה. תנועה במצב מהיר לא מנצלת את המכסה הרגילה של anthropic-claude-fable, ותנועה במהירות רגילה לא מנצלת את המכסה של המצב המהיר.
כדי לראות את המכסה של המצב המהיר או לבקש להגדיל אותה, בדף Quotas and system limits במסוףGoogle Cloud מסננים לפי base_model:
anthropic-claude-fable-fast(רלוונטי לנקודות קצה גלובליות ובמספר אזורים)
אפשרויות צריכה והקצאת משאבים לפי התפוקה שנקבעה
במצב "מהיר" אי אפשר להשתמש בהקצאת משאבים לפי התפוקה שנקבעה:
- תשלום לפי שימוש בלבד: בקשות במצב מהיר תמיד משתמשות בpay-as-you-go, גם אם לפרויקט יש הזמנה פעילה של הקצאת משאבים לפי התפוקה שנקבעה למודל הבסיסי. תעבורת הנתונים במצב מהיר אף פעם לא צורכת או חורגת מהזמנה של הקצאת משאבים לפי התפוקה שנקבעה.
- כותרות הבקשה של
dedicatedמוגבלות: אל תכללו את כותרת ה-HTTP שלX-Vertex-AI-LLM-Request-Type: dedicated(או המטא-נתונים של gRPC) בבקשות במצב מהיר. במצב מהיר אין מכסה של הקצאת משאבים לפי התפוקה שנקבעה, ובקשות שלdedicatedלא יכולות לעבור לתשלום לפי שימוש. לכן, בקשות במצב מהיר עםX-Vertex-AI-LLM-Request-Type: dedicatedמחזירות שגיאתHTTP 429(RESOURCE_EXHAUSTED). במקום זאת, צריך להשמיט את הכותרת או להגדיר אתX-Vertex-AI-LLM-Request-Type: shared.
מעקב אחרי המדדים של המצב המהיר
ב-Cloud Monitoring, דוחות התנועה של המצב המהיר מדווחים על model_user_id="claude-fable-5-2-fast" במקום על מזהה המודל הבסיסי (claude-fable-5-2). אפשר לסנן לפי model_user_id="claude-fable-5-2-fast" ב-Metrics Explorer כדי לעקוב אחרי מספר הבקשות, השימוש בטוקנים והזמן שלוקח לטפל בבקשות במצב המהיר בנפרד מהתנועה במהירות הרגילה.
בקרת גישה ומדיניות הארגון
במצב Fast, התפקידים הנדרשים ומצב ההפעלה של Model Garden זהים לאלה של מודל הבסיס. אם הבקשה מחזירה את השגיאה 403 PERMISSION_DENIED, ודאו שלחשבון המשתמש יש את התפקיד "משתמש ב-Agent Platform" (roles/aiplatform.user) ושהמודל הבסיסי מופעל ב-Model Garden.
אם בארגון שלכם נאכף האילוץ constraints/vertexai.allowedModels של מדיניות הארגון, המצב המהיר כפוף לערך :predict של מודל הבסיס (לדוגמה, publishers/anthropic/models/claude-fable-5-2:predict):
- אם מאפשרים את
publishers/anthropic/models/claude-fable-5-2:predict, אפשר לשלוח בקשות במהירות רגילה ובמצב מהיר אלclaude-fable-5-2. - דחייה של
publishers/anthropic/models/claude-fable-5-2:predictחוסמת גם בקשות במהירות רגילה וגם בקשות במצב מהיר.
מידע נוסף על מדיניות הארגון זמין במאמר שליטה בגישה למודלים ב-Model Garden.
תמחור
במצב המהיר תמיד משתמשים בחיוב pay-as-you-go, והתמחור שלו נפרד מהתמחור של בקשות במהירות רגילה:
- טוקנים: המחיר הוא פי 2 מהתעריפים של טוקנים במהירות רגילה בכל סוגי הטוקנים (טוקנים של קלט, פלט, כתיבה במטמון של 5 דקות ושעה אחת, ומציאה במטמון).
- חיפוש באינטרנט: קריאות לכלי חיפוש באינטרנט מחויבות לפי התעריף הרגיל (פי 1).
החיוב על השימוש מתבצע לפי המק"ט של המודל הבסיסי Google Cloud עם תווית של מצב מהיר. למחירון של Agent Platform
מגבלות וטיפול בשגיאות
חשוב לזכור את המגבלות הבאות כשמשתמשים במצב המהיר:
- אין הקצאת משאבים לפי התפוקה שנקבעה: מצב מהיר לא תומך בהקצאת משאבים לפי התפוקה שנקבעה, והתשלום הוא תמיד לפי שימוש. אם שולחים בקשה במצב מהיר עם הכותרת
X-Vertex-AI-LLM-Request-Type: dedicated, מוחזרת השגיאהHTTP 429(RESOURCE_EXHAUSTED). - אין חיזויים באצווה: מצב מהיר מיועד להסקה אינטראקטיבית בזמן אמת, ולא נתמך בחיזויים באצווה.
- בידוד מטמון ההנחיות: מטמון ההנחיות לא משותף בין בקשות במהירות רגילה לבין בקשות במצב מהיר. רשומת מטמון שנכתבה במהירות רגילה לא תפיק מציאה במטמון במצב מהיר. באופן דומה, רשומה במטמון במצב מהיר לא תגרום למציאה במטמון במהירות רגילה.
- אין מעבר אוטומטי למצב רגיל: אם בקשה עם
"speed": "fast"לא יכולה להתבצע במצב מהיר, פלטפורמת Agent מחזירה שגיאה במקום לחזור למהירות רגילה.
בטבלה הבאה מפורטות השגיאות שמוחזרות בבקשות לא חוקיות או לא נתמכות במצב מהיר:
| סטטוס וקוד HTTP | הודעת השגיאה | הסיבה והתיקון |
|---|---|---|
400 INVALID_ARGUMENT |
Fast mode (speed: fast) is not supported for this model. |
במודל היעד אין מצב מהיר, או שהמצב המהיר שלו הוצא משימוש 30 יום אחרי שהושקה גרסת מודל חדשה יותר. צריך לטרגט מודל נתמך או להסיר את "speed": "fast". |
400 INVALID_ARGUMENT |
Invalid value for speed; expected "standard" or "fast". |
השדה speed מכיל ערך לא נתמך או שהוא לא מחרוזת. מציינים את הערך "fast" או "standard". |
400 INVALID_ARGUMENT |
Invalid request body: duplicate keys or malformed JSON. |
גוף הבקשה ב-JSON מכיל מפתחות כפולים (כמו מפתחות "speed" כפולים) או תחביר JSON לא תקין. צריך לשלוח קובץ JSON תקין עם מפתח "speed" אחד. |
400 INVALID_ARGUMENT |
Fast mode is not supported for batch prediction. |
הבקשה נשלחה למשימת חיזוי באצווה עם "speed": "fast". הסרת "speed": "fast" לעומסי עבודה באצווה. |
400 FAILED_PRECONDITION |
Fast mode is not available in this location. |
מצב "מהיר" לא פרוס באזור המבוקש. מנתבים את הבקשה לאחד מהמיקומים הנתמכים. |
404 NOT_FOUND |
Publisher Model ... was not found |
כתובת ה-URL של הבקשה טירגטה את תווית המדד למעקב (claude-fable-5-2-fast) במקום מזהה מודל שניתן לקרוא לו. מטרגטים את מזהה מודל הבסיס (claude-fable-5-2) ומעבירים את "speed": "fast" בגוף הבקשה. |
429 RESOURCE_EXHAUSTED |
Too many requests. Exceeded the provisioned throughput |
הבקשה כללה גם את "speed": "fast" וגם את הכותרת X-Vertex-AI-LLM-Request-Type: dedicated. במצב מהיר אין תמיכה בהקצאת משאבים לפי התפוקה שנקבעה, והוא תמיד משתמש בתשלום לפי שימוש. צריך להסיר את X-Vertex-AI-LLM-Request-Type: dedicated (או להגדיר אותו ל-shared). |
429 RESOURCE_EXHAUSTED |
חריגה מהמכסה של anthropic-claude-fable-fast |
הפרויקט חרג מהמכסה של המיקום הזה למספר השאילתות לדקה (QPM), למספר הטוקנים לקלט בדקה (TPM) או למספר הטוקנים לפלט בדקה (TPM) במצב מהיר. צריך לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) או לבקש להגדיל את המכסה של anthropic-claude-fable-fast. |
טיפול בשגיאות במצב מהיר
פלטפורמת הסוכנים לא משנמכת בקשות למצב מהיר בלי להודיע, ולכן האפליקציה שלכם קובעת מה קורה כשהמצב המהיר לא זמין. לדוגמה, המצב המהיר יוצא משימוש 30 יום אחרי השקת הגרסה הבאה, או שמיקום מסוים לא מציע את המצב המהיר. הדוגמאות הבאות ב-Python תואמות להודעות השגיאה הספציפיות של המצב המהיר, כך שעדיין מופיעות שגיאות HTTP 400 לא קשורות.
חזרה למהירות הרגילה
בעומסי עבודה שבהם זמן אחזור ארוך יותר לא מפריע, אפשר לתפוס את שגיאות הזמינות של המצב המהיר ולנסות שוב את הבקשה במהירות רגילה:
import anthropic from anthropic import AnthropicVertex from anthropic.types import Message # Errors that mean fast mode isn't available for this model or location. _FAST_MODE_UNAVAILABLE = ( "Fast mode (speed: fast) is not supported for this model.", "Fast mode is not available in this location.", ) def generate_with_standard_fallback( project_id: str = "PROJECT_ID", region: str = "LOCATION", model: str = "claude-fable-5-2", ) -> Message: client = AnthropicVertex(project_id=project_id, region=region) messages = [{"role": "user", "content": "PROMPT"}] try: return client.messages.create( model=model, max_tokens=1024, messages=messages, extra_body={"speed": "fast"}, ) except anthropic.BadRequestError as e: if not any(msg in str(e) for msg in _FAST_MODE_UNAVAILABLE): raise # Fast mode isn't available: retry at standard speed. return client.messages.create( model=model, max_tokens=1024, messages=messages, )
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud , למשלmy-agent-project. -
LOCATION: מיקום נתמך, כמוglobal(ברירת המחדל:global). -
PROMPT: טקסט ההנחיה שיישלח למודל.
מעבר לגרסת המודל הבאה
כדי להמשיך להשתמש במצב המהיר אחרי שהגרסה של המודל תצא משימוש, צריך לשלוח את הבקשה מחדש במצב המהיר בגרסה הבאה:
import anthropic from anthropic import AnthropicVertex from anthropic.types import Message _FAST_MODE_NOT_SUPPORTED = ( "Fast mode (speed: fast) is not supported for this model." ) def generate_with_next_version( project_id: str = "PROJECT_ID", region: str = "LOCATION", model: str = "CURRENT_MODEL", next_model: str = "NEXT_MODEL", ) -> Message: client = AnthropicVertex(project_id=project_id, region=region) messages = [{"role": "user", "content": "PROMPT"}] try: return client.messages.create( model=model, max_tokens=1024, messages=messages, extra_body={"speed": "fast"}, ) except anthropic.BadRequestError as e: if _FAST_MODE_NOT_SUPPORTED not in str(e): raise # Fast mode is retired on this version: use the next version. return client.messages.create( model=next_model, max_tokens=1024, messages=messages, extra_body={"speed": "fast"}, )
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud , למשלmy-agent-project. -
LOCATION: מיקום נתמך, כמוglobal(ברירת המחדל:global). -
CURRENT_MODELו-NEXT_MODEL: גרסת המודל שבה אתם משתמשים (למשלclaude-fable-5-2) והגרסה הבאה באותה משפחת מודלים. -
PROMPT: טקסט ההנחיה שיישלח למודל.
התבנית של הגרסה הבאה מטפלת רק בשגיאה של הוצאת המודל משימוש. אם המיקום לא מציע מצב מהיר, הגרסה הבאה לא תפתור את השגיאה. במקום זאת, צריך להפנות את הבקשה למיקום נתמך.
המאמרים הבאים
- בקשת חיזויים באמצעות מודלים של Claude
- מכסות למודלים של Anthropic Claude
- שמירת הנחיות במטמון
- שליטה בגישה למודלים של Model Garden