חיזוי באצווה מאפשר לשלוח למודל כמה הנחיות טקסטואליות שלא רגישות לזמן האחזור. בניגוד לחיזויים אונליין, שבהם שולחים הנחיית קלט אחת לכל בקשה, אפשר לשלוח מספר גדול של הנחיות קלט בבקשה אחת.
מודלים נתמכים
פלטפורמת הסוכנים של Gemini Enterprise תומכת בחיזויים באצווה במודלים הבאים.
Llama:
OpenAI gpt-oss:
הכנת הקלט
לפני שמתחילים, צריך להכין את הקלט בטבלה ב-BigQuery או כקובץ JSONL ב-Cloud Storage. הקלט של שני המקורות צריך להיות בפורמט JSONL של סכימת OpenAI API, כמו בדוגמה הבאה.
{"custom_id": "test-request-0", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_ID", "messages": [{"role": "user", "content": "Give me a recipe for banana bread"}], "max_tokens": 1000}}
BigQuery
טבלת הקלט ב-BigQuery צריכה להתאים לסכימה הבאה:
| שם העמודה | תיאור |
|---|---|
| custom_id | מזהה לכל בקשה כדי להתאים בין הקלט לפלט. |
| method | שיטת הבקשה. |
| url | נקודת הקצה (endpoint) של הבקשה. |
| body(JSON) | ההנחיה שהזנתם. |
- טבלת הקלט יכולה להכיל עמודות אחרות, שהמשימה באצווה מתעלמת מהן ומעבירה אותן ישירות לטבלת הפלט.
- במשימות חיזוי באצווה, שני שמות של עמודות שמורים לפלט של החיזוי באצווה: response(JSON) ו-id. אל תשתמשו בעמודות האלה בטבלת הקלט.
- העמודות method ו-url נמחקות ולא נכללות בטבלת הפלט.
Cloud Storage
ב-Cloud Storage, קובץ הקלט חייב להיות קובץ JSONL שנמצא בקטגוריה של Cloud Storage.
בקשה לחיזוי באצווה
יצירת חיזוי באצווה למודל באמצעות קלט מ- BigQuery או מ-Cloud Storage. אתם יכולים לבחור באופן עצמאי אם להוציא את החיזויים לטבלה ב-BigQuery או לקובץ JSONL בקטגוריה של Cloud Storage.
BigQuery
מציינים את טבלת הקלט, המודל ומיקום הפלט ב-BigQuery. משימת החיזוי באצווה והטבלה צריכות להיות באותו אזור.
REST
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: אזור שתומך במודל.
- PROJECT_ID: מזהה הפרויקט. .
- MODEL: השם של המודל שרוצים לכוונן.
- INPUT_URI: הטבלה ב-BigQuery שבה נמצא הקלט של חיזוי באצ', למשל
myproject.mydataset.input_table. - OUTPUT_FORMAT: כדי להפיק פלט לטבלה ב-BigQuery, מציינים את הערך
bigquery. כדי להוציא פלט לקטגוריה של Cloud Storage, צריך לציין את הערךjsonl. - DESTINATION: ל-BigQuery, מציינים
bigqueryDestination. ב-Cloud Storage, מציינים אתgcsDestination. - OUTPUT_URI_FIELD_NAME: ל-BigQuery, מציינים את
outputUri. ב-Cloud Storage, מציינים אתoutputUriPrefix. - OUTPUT_URI: ב-BigQuery, מציינים את מיקום הטבלה, למשל
myproject.mydataset.output_result. ב-Cloud Storage, מציינים את מיקום הקטגוריה והתיקייה, למשלgs://mybucket/path/to/outputfile.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs
גוף בקשת JSON:
'{
"displayName": "JOB_NAME",
"model": "publishers/PUBLISHER/models/MODEL_ID",
"inputConfig": {
"instancesFormat":"bigquery",
"bigquerySource":{
"inputUri" : "INPUT_URI"
}
},
"outputConfig": {
"predictionsFormat":"OUTPUT_FORMAT",
"DESTINATION":{
"OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
}
}
}'
כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
Cloud Storage
מציינים את המיקום של קובץ ה-JSONL ב-Cloud Storage, את המודל ואת מיקום הפלט.
REST
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: אזור שתומך במודל.
- PROJECT_ID: מזהה הפרויקט. .
- MODEL: השם של המודל שרוצים לכוונן.
- INPUT_URI: המיקום ב-Cloud Storage של קלט החיזוי באצווה בפורמט JSONL, למשל
gs://bucketname/path/to/jsonl. - OUTPUT_FORMAT: כדי להפיק פלט לטבלה ב-BigQuery, מציינים את הערך
bigquery. כדי להוציא פלט לקטגוריה של Cloud Storage, צריך לציין את הערךjsonl. - DESTINATION: ל-BigQuery, מציינים
bigqueryDestination. ב-Cloud Storage, מציינים אתgcsDestination. - OUTPUT_URI_FIELD_NAME: ל-BigQuery, מציינים את
outputUri. ב-Cloud Storage, מציינים אתoutputUriPrefix. - OUTPUT_URI: ב-BigQuery, מציינים את מיקום הטבלה, למשל
myproject.mydataset.output_result. ב-Cloud Storage, מציינים את מיקום הקטגוריה והתיקייה, למשלgs://mybucket/path/to/outputfile.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs
גוף בקשת JSON:
'{
"displayName": "JOB_NAME",
"model": "publishers/PUBLISHER/models/MODEL_ID",
"inputConfig": {
"instancesFormat":"jsonl",
"gcsSource":{
"uris" : "INPUT_URI"
}
},
"outputConfig": {
"predictionsFormat":"OUTPUT_FORMAT",
"DESTINATION":{
"OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
}
}
}'
כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
קבלת הסטטוס של משימת חיזוי באצווה
כדי לבדוק אם משימת החיזוי באצווה הושלמה בהצלחה, בודקים את הסטטוס שלה. משך העבודה תלוי במספר פריטי הקלט ששלחתם.
REST
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- PROJECT_ID: מזהה הפרויקט. .
- LOCATION: האזור שבו נמצאת המשימה באצווה.
- JOB_ID: מזהה המשימה באצווה שהוחזר כשיצרתם את המשימה.
ה-method של ה-HTTP וכתובת ה-URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
אחזור הפלט
כשהמשימה של חיזוי באצ' מסתיימת, מאחזרים את הפלט מהמיקום שציינתם. ב-BigQuery, הפלט נמצא בעמודה response(JSON) בטבלת היעד ב-BigQuery. ב-Cloud Storage, הפלט נשמר כקובץ JSONL במיקום הפלט ב-Cloud Storage.
המאמרים הבאים
- איך שולחים קריאות ל-MaaS API למודלים פתוחים בתרחישים לדוגמה של סטרימינג וללא סטרימינג.