קבלת תחזיות באצווה ממודל ב-Model Garden שפרסתם בעצמכם

חלק מהמודלים שזמינים ב-Model Garden ניתנים לפריסה עצמית בפרויקט שלכם ב- Google Cloud , ואפשר להשתמש בהם כדי לספק חיזויים באצווה. חיזויים באצווה מאפשרים להשתמש במודל ביעילות כדי לעבד כמה הנחיות טקסט בלבד שלא רגישות לזמן האחזור.

הכנת הקלט

לפני שמתחילים, צריך להכין את הקלט בטבלה ב-BigQuery או כקובץ JSONL ב-Cloud Storage. הקלט של שני המקורות חייב להיות בפורמט JSON של סכימת OpenAI API, כמו בדוגמה הבאה:

{"body": {"messages": [{"role": "user", "content": "Give me a recipe for banana bread"}], "max_tokens": 1000}}

BigQuery

טבלת הקלט ב-BigQuery צריכה להתאים לסכימה הבאה:

שם העמודה תיאור
custom_id מזהה לכל בקשה כדי להתאים בין הקלט לפלט.
method שיטת הבקשה.
url נקודת הקצה (endpoint) של הבקשה.
body(JSON) הנחיית הקלט שלכם.
  • טבלת הקלט יכולה להכיל עמודות אחרות, שהמשימה באצווה מתעלמת מהן ומעבירה אותן ישירות לטבלת הפלט.
  • במשימות חיזוי באצווה, שני שמות של עמודות שמורים לפלט של החיזוי באצווה: response(JSON)‎ ו-id. אל תשתמשו בעמודות האלה בטבלת הקלט.
  • העמודות method ו-url נמחקות ולא נכללות בטבלת הפלט.

Cloud Storage

ב-Cloud Storage, קובץ הקלט חייב להיות קובץ JSONL שנמצא בקטגוריה של Cloud Storage.

איך מקבלים את המשאבים הנדרשים למודל

בוחרים מודל ושולחים שאילתה לגבי דרישות המשאבים שלו. המשאבים הנדרשים מופיעים בתגובה, בשדה dedicatedResources, שאתם מציינים בהגדרות של משימת החיזוי באצווה.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PUBLISHER: מפרסם המודל, לדוגמה meta,‏ google,‏ mistral-ai או deepseek-ai.
  • ‫PUBLISHER_MODEL_ID: מזהה המודל של בעל התוכן הדיגיטלי, לדוגמה llama3_1.
  • ‫VERSION_ID: מזהה הגרסה של המודל, לדוגמה llama-3.1-8b-instruct.

ה-method של ה-HTTP וכתובת ה-URL:

GET "https://us-central1-aiplatform.googleapis.com/ui/publishers/PUBLISHER/models/PUBLISHER_MODEL_ID@VERSION_ID" | jq '.supportedActions.multiDeployVertex'

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

מריצים את הפקודה הבאה:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
""https://us-central1-aiplatform.googleapis.com/ui/publishers/PUBLISHER/models/PUBLISHER_MODEL_ID@VERSION_ID" | jq '.supportedActions.multiDeployVertex'"

PowerShell

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri ""https://us-central1-aiplatform.googleapis.com/ui/publishers/PUBLISHER/models/PUBLISHER_MODEL_ID@VERSION_ID" | jq '.supportedActions.multiDeployVertex'" | Select-Object -Expand Content

אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.

בקשה לחיזוי באצווה

יצירת חיזוי באצווה במודל שנפרס באופן עצמאי ב-Model Garden, באמצעות קלט מ-BigQuery או מ-Cloud Storage. אתם יכולים לבחור אם להוציא את החיזויים לטבלה ב-BigQuery או לקובץ JSONL בקטגוריה של Cloud Storage.

BigQuery

מציינים את טבלת הקלט, המודל ומיקום הפלט ב-BigQuery. משימת החיזוי באצווה והטבלה צריכות להיות באותו אזור.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: אזור שתומך במודלים בפריסה עצמית של Model Garden.
  • ‫PROJECT_ID: מזהה הפרויקט. .
  • ‫MODEL: שם המודל שרוצים לכוונן, לדוגמה llama-3.1-8b-instruct.
  • ‫PUBLISHER: מפרסם המודל, לדוגמה meta,‏ google,‏ mistral-ai או deepseek-ai.
  • ‫INPUT_URI: הטבלה ב-BigQuery שבה נמצא הקלט של חיזוי באצ', למשל myproject.mydataset.input_table.
  • ‫OUTPUT_FORMAT: כדי להפיק פלט לטבלה ב-BigQuery, מציינים את הערך bigquery. כדי להוציא פלט לקטגוריה של Cloud Storage, מציינים את jsonl.
  • ‫DESTINATION: ל-BigQuery, מציינים bigqueryDestination. ב-Cloud Storage, מציינים את gcsDestination.
  • ‫OUTPUT_URI_FIELD_NAME: ל-BigQuery, מציינים את הערך outputUri. ב-Cloud Storage, מציינים את outputUriPrefix.
  • ‫OUTPUT_URI: ב-BigQuery, מציינים את מיקום הטבלה, למשל myproject.mydataset.output_result. ב-Cloud Storage, מציינים את המיקום של הקטגוריה והתיקייה, למשל gs://mybucket/path/to/outputfile.
  • ‫MACHINE_TYPE: מגדיר את קבוצת המשאבים לפריסה של המודל, לדוגמה g2-standard-4.
  • ‫ACC_TYPE: מציין את המאיצים שצריך להוסיף למשימת החיזוי באצווה כדי לשפר את הביצועים כשעובדים עם עומסי עבודה כבדים, לדוגמה NVIDIA_L4.
  • ‫ACC_COUNT: מספר המאיצים שבהם משתמשים במשימת החיזוי באצווה.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs

גוף בקשת JSON:

'{
  "displayName": "JOB_NAME",
  "model": "publishers/PUBLISHER/models/MODEL",
  "inputConfig": {
    "instancesFormat":"bigquery",
    "bigquerySource":{
      "inputUri" : "INPUT_URI"
    }
  },
  "outputConfig": {
    "predictionsFormat":"OUTPUT_FORMAT",
    "DESTINATION":{
      "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
    }
  },
  "dedicated_resources": {
    "machine_spec": {
      "machine_type": "MACHINE_TYPE",
      "accelerator_type": "ACC_TYPE",
      "accelerator_count": ACC_COUNT,
    },
    "starting_replica_count": 1,
  },
}'

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

Cloud Storage

מציינים את המיקום של קובץ ה-JSONL ב-Cloud Storage, את המודל ואת מיקום הפלט.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: אזור שתומך במודלים בפריסה עצמית של Model Garden.
  • ‫PROJECT_ID: מזהה הפרויקט. .
  • ‫MODEL: שם המודל שרוצים לכוונן, לדוגמה llama-3.1-8b-instruct.
  • ‫PUBLISHER: מפרסם המודל, לדוגמה meta,‏ google,‏ mistral-ai או deepseek-ai.
  • ‫INPUT_URI: המיקום ב-Cloud Storage של קובץ ה-JSONL עם נתוני הקלט לחיזוי באצווה, למשל gs://bucketname/path/to/jsonl.
  • ‫OUTPUT_FORMAT: כדי להפיק פלט לטבלה ב-BigQuery, מציינים את הערך bigquery. כדי להוציא פלט לקטגוריה של Cloud Storage, מציינים את jsonl.
  • ‫DESTINATION: ל-BigQuery, מציינים bigqueryDestination. ב-Cloud Storage, מציינים את gcsDestination.
  • ‫OUTPUT_URI_FIELD_NAME: ל-BigQuery, מציינים את הערך outputUri. ב-Cloud Storage, מציינים את outputUriPrefix.
  • ‫OUTPUT_URI: ב-BigQuery, מציינים את מיקום הטבלה, למשל myproject.mydataset.output_result. ב-Cloud Storage, מציינים את המיקום של הקטגוריה והתיקייה, למשל gs://mybucket/path/to/outputfile.
  • ‫MACHINE_TYPE: מגדיר את קבוצת המשאבים לפריסה של המודל, לדוגמה g2-standard-4.
  • ‫ACC_TYPE: מציין את המאיצים שצריך להוסיף למשימת החיזוי באצווה כדי לשפר את הביצועים כשעובדים עם עומסי עבודה כבדים, לדוגמה NVIDIA_L4.
  • ‫ACC_COUNT: מספר המאיצים שבהם משתמשים במשימת החיזוי באצווה.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs

גוף בקשת JSON:

'{
  "displayName": "JOB_NAME",
  "model": "publishers/PUBLISHER/models/MODEL",
  "inputConfig": {
    "instancesFormat":"jsonl",
    "gcsDestination":{
      "uris" : "INPUT_URI"
    }
  },
  "outputConfig": {
    "predictionsFormat":"OUTPUT_FORMAT",
    "DESTINATION":{
      "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
    }
  },
  "dedicated_resources": {
    "machine_spec": {
        "machine_type": "MACHINE_TYPE",
        "accelerator_type": "ACC_TYPE",
        "accelerator_count": ACC_COUNT,
    },
    "starting_replica_count": 1,
  },
}'

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

בדיקת הסטטוס של משימת חיזוי באצווה

בודקים את המצב של משימת החיזוי באצווה כדי לראות אם היא הסתיימה בהצלחה. משך העבודה תלוי במספר פריטי הקלט ששלחתם.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט. .
  • ‫LOCATION: האזור שבו נמצאת המשימה באצווה.
  • ‫JOB_ID: מזהה המשימה באצווה שהוחזר כשיצרתם את המשימה.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

מריצים את הפקודה הבאה:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID"

PowerShell

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

אחזור הפלט

כשהמשימה של חיזוי באצ' מסתיימת, מאחזרים את הפלט מהמיקום שציינתם:

  • ב-BigQuery, הפלט נמצא בעמודה response(JSON)‎ בטבלת היעד ב-BigQuery.
  • ב-Cloud Storage, הפלט נשמר כקובץ JSONL במיקום הפלט ב-Cloud Storage.

מודלים נתמכים

פלטפורמת הסוכנים של Gemini Enterprise תומכת בחיזויים באצווה למודלים הבאים בפריסה עצמית:

  • Llama
    • publishers/meta/models/llama3_1@llama-3.1-8b-instruct
    • publishers/meta/models/llama3_1@llama-3.1-70b-instruct
    • publishers/meta/models/llama3_1@llama-3.1-405b-instruct-fp8
    • publishers/meta/models/llama3-2@llama-3.2-1b-instruct
    • publishers/meta/models/llama3-2@llama-3.2-3b-instruct
    • publishers/meta/models/llama3-2@llama-3.2-90b-vision-instruct
  • Gemma
    • publishers/google/models/gemma@gemma-1.1-2b-it
    • publishers/google/models/gemma@gemma-7b-it
    • publishers/google/models/gemma@gemma-1.1-7b-it
    • publishers/google/models/gemma@gemma-2b-it
    • publishers/google/models/gemma2@gemma-2-2b-it
    • publishers/google/models/gemma2@gemma-2-9b-it
    • publishers/google/models/gemma2@gemma-2-27b-it
  • Mistral
    • publishers/mistral-ai/models/mistral@mistral-7b-instruct-v0.2
    • publishers/mistral-ai/models/mistral@mistral-7b-instruct-v0.3
    • publishers/mistral-ai/models/mistral@mistral-7b-instruct-v0.1
    • publishers/mistral-ai/models/mistral@mistral-nemo-instruct-2407
  • Deepseek
    • publishers/deepseek-ai/models/deepseek-r1@deepseek-r1-distill-llama-8b