פריסת מודלים עם משקלים מותאמים אישית היא תכונה בגרסת טרום-השקה. אתם יכולים לבצע כוונון עדין של מודלים על סמך קבוצה מוגדרת מראש של מודלים בסיסיים, ולפרוס את המודלים המותאמים אישית שלכם ב-Gemini Enterprise Agent Platform Model Garden. אתם יכולים לפרוס את המודלים המותאמים אישית באמצעות ייבוא משקלים מותאמים אישית. לשם כך, צריך להעלות את ארטיפקטים של המודל לקטגוריה של Cloud Storage בפרויקט. הפעולה הזו מתבצעת בלחיצה אחת ב-Agent Platform.
יש תמיכה ב-VPC Service Controls למשקלים מותאמים אישית.
מודלים נתמכים
הגרסה הפתוחה לניסוי של פריסת מודלים עם משקלים מותאמים אישית נתמכת על ידי המודלים הבסיסיים הבאים:
| שם המודל | גרסה |
|---|---|
| Llama |
|
| Gemma |
|
| Qwen |
|
| Deepseek |
|
| Mistral ו-Mixtral |
|
| Phi-4 |
|
| OpenAI OSS |
|
מגבלות
משקלים מותאמים אישית לא תומכים בייבוא של מודלים שעברו קוונטיזציה.
קבצים של מודלים
חובה לספק את קובצי המודל בפורמט המשקלים של Hugging Face. מידע נוסף על פורמט המשקלים של Hugging Face זמין במאמר שימוש במודלים של Hugging Face.
אם לא מספקים את הקבצים הנדרשים, יכול להיות שפריסת המודל תיכשל.
בטבלה הזו מפורטים סוגי קבצי המודלים, שמשתנים בהתאם לארכיטקטורה של המודל:
| תוכן קובץ המודל | סוג קובץ |
|---|---|
| הגדרת המודל |
|
| משקלים של מודלים |
|
| אינדקס משקלים |
|
| קובצי טוקנייזר |
|
מיקומים
אתם יכולים לפרוס מודלים בהתאמה אישית בכל האזורים משירותי Model Garden.
דרישות מוקדמות
בקטע הזה נדגים איך לפרוס את המודל בהתאמה אישית.
לפני שמתחילים
- נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
במסוף Google Cloud , מפעילים את Cloud Shell.
בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
במדריך הזה מניחים שאתם משתמשים ב-Cloud Shell כדי ליצור אינטראקציה עם Google Cloud. אם אתם רוצים להשתמש במעטפת אחרת במקום ב-Cloud Shell, אתם צריכים לבצע את ההגדרה הנוספת הבאה:
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init
פריסת המודל המותאם אישית
בקטע הזה נדגים איך לפרוס את המודל בהתאמה אישית.
אם אתם משתמשים בממשק שורת הפקודה (CLI), ב-Python או ב-JavaScript, צריך להחליף את המשתנים הבאים בערך כדי שדוגמאות הקוד יפעלו:
- REGION: האזור שלכם. לדוגמה,
uscentral1. - MODEL_GCS: המודל של Google Cloud . לדוגמה,
gs://custom-weights-fishfooding/meta-llama/Llama-3.2-1B-Instruct. - PROJECT_ID: מזהה הפרויקט.
- MODEL_ID: מזהה המודל.
- MACHINE_TYPE: סוג המכונה. לדוגמה:
g2-standard-12. - ACCELERATOR_TYPE: סוג המאיץ. לדוגמה:
NVIDIA_L4. - ACCELERATOR_COUNT: מספר המאיצים.
PROMPT: הפרומפט הטקסטואלי.
המסוף
בשלבים הבאים מוסבר איך להשתמש במסוף Google Cloud כדי לפרוס את המודל עם משקלים בהתאמה אישית.
נכנסים לדף Model Garden במסוף Google Cloud .
לוחצים על פריסת המודל עם משקלים מותאמים אישית. מופיעה החלונית Deploy a model with custom weights.
בקטע Model source (מקור המודל), מבצעים את הפעולות הבאות:
לוחצים על עיון, בוחרים את הקטגוריה שבה המודל מאוחסן ולוחצים על בחירה.
אופציונלי: מזינים את שם המודל בשדה שם המודל.
בקטע Deployment settings:
בשדה אזור בוחרים את האזור ולוחצים על אישור.
בשדה Machine Spec, בוחרים את מפרט המכונה שמשמש לפריסת המודל.
אופציונלי: בשדה Endpoint name, נקודת הקצה של המודל מופיעה כברירת מחדל. עם זאת, אפשר להזין שם אחר של נקודת קצה בשדה.
אם בפרויקט שלכם נאכף VPC-SC או אם אתם מעדיפים גישה פרטית, צריך לבחור באפשרות פרטי (Private Service Connect) בשדה גישה לנקודת קצה. אחרת, בוחרים באפשרות גלוי לכולם.
אם אתם משתמשים ב-Private Service Connect, צריך להזין את מזהי הפרויקטים בשדה Project IDs. אלה הפרויקטים שבהם מופעלים לקוחות השאילתות. לחלופין, אפשר ללחוץ על Select project IDs כדי להציג תיבת דו-שיח עם מזהי הפרויקטים.
אם לוחצים על Select project IDs (בחירת מזהי פרויקטים), מבצעים את הפעולות הבאות:
- מחפשים את הפרויקט שמכיל את הקוד שמנסה לגשת למודל.
- לוחצים על תיבת הסימון של הפרויקט.
- לוחצים על בחירה.
לוחצים על פריסה.
CLI של gcloud
הפקודה הזו מדגימה איך לפרוס את המודל לאזור ספציפי.
gcloud ai model-garden models deploy --model=${MODEL_GCS} --region ${REGION}
בדוגמה הבאה מוסבר איך לפרוס את המודל לאזור ספציפי עם סוג המכונה, סוג המאיץ ומספר המאיצים. אם רוצים לבחור הגדרה ספציפית של מכונה, צריך להגדיר את כל שלושת השדות.
gcloud ai model-garden models deploy --model=${MODEL_GCS} --machine-type=${MACHINE_TYE} --accelerator-type=${ACCELERATOR_TYPE} --accelerator-count=${ACCELERATOR_COUNT} --region ${REGION}
Python
import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden
vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy(
machine_type="${MACHINE_TYPE}",
accelerator_type="${ACCELERATOR_TYPE}",
accelerator_count="${ACCELERATOR_COUNT}",
model_display_name="custom-model",
endpoint_display_name="custom-model-endpoint")
endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)
אפשרות אחרת היא לא להעביר פרמטר לשיטה custom_model.deploy().
import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden
vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy()
endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)
curl
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
-d '{
"custom_model": {
"gcs_uri": "'"${MODEL_GCS}"'"
},
"destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
"model_config": {
"model_user_id": "'"${MODEL_ID}"'",
},
}'
לחלופין, אפשר להשתמש ב-API כדי להגדיר במפורש את סוג המכונה.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
-d '{
"custom_model": {
"gcs_uri": "'"${MODEL_GCS}"'"
},
"destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
"model_config": {
"model_user_id": "'"${MODEL_ID}"'",
},
"deploy_config": {
"dedicated_resources": {
"machine_spec": {
"machine_type": "'"${MACHINE_TYPE}"'",
"accelerator_type": "'"${ACCELERATOR_TYPE}"'",
"accelerator_count": '"${ACCELERATOR_COUNT}"'
},
"min_replica_count": 1
}
}
}'
פריסה באמצעות ה-API
התכונה VPC Service Controls פועלת רק עם נקודת הקצה הפרטית הייעודית.
לכן, צריך להגדיר את private_service_connect_config בדוגמת הקוד הבאה, שמראה איך לבצע פריסה באמצעות ה-API:
curl
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1:deploy" \
-d '{
"custom_model": {
"model_id": "test-mg-deploy-092301",
"gcs_uri": "gs://YOUR_GCS_BUCKET"
},
"destination": "projects/YOUR_PROJECT/locations/us-central1",
"endpoint_config": {
"endpoint_display_name": "psc-ep1",
"private_service_connect_config": {
"enablePrivateServiceConnect": true,
"projectAllowlist": ["YOUR_PROJECT"]
}
},
"deploy_config": {
"dedicated_resources": {
"machine_spec": {
"machine_type": "g2-standard-24",
"accelerator_type": "NVIDIA_L4",
"accelerator_count": 2
},
"min_replica_count": 1,
"max_replica_count": 1
}
}
}'
קבלת מזהה נקודת הקצה ומזהה המודל באמצעות Google Cloud המסוף
אחרי שהפריסה מסתיימת, מבצעים את השלבים הבאים:
נכנסים לדף Model Garden במסוף Google Cloud .
לוחצים על View my endpoints & models (הצגת נקודות הקצה והמודלים שלי).
בטבלה My endpoints, בודקים את נקודת הקצה שפרסתם זה עתה מהעמודה Name. יוצג הדף פרטים.
לוחצים על המודל בטבלה Deployed models (מודלים שהופעלו).
בוחרים בדף פרטי הגרסה. מזהה המודל מוצג בשורה Environment variables בטבלה.
הגדרת Private Service Connect
אתם מוסיפים נקודת קצה חדשה כדי לגשת ל-API Google . אפשר להשתמש בנקודת הקצה הזו בכל האזורים של רשת ה-VPC שבוחרים. כדאי גם לשים לב לנקודות הבאות:
- לקוחות ברשתות שמחוברות לרשת ה-VPC של נקודת הקצה באמצעות קישוריות היברידית יכולים לגשת לנקודת הקצה. מידע נוסף זמין במאמר גישה Google לממשקי API דרך נקודות קצה.
- לקוחות ברשתות VPC מקושרות לא יכולים לגשת לנקודת הקצה.
הצגת רשימה של נקודות קצה כדי לקבל את הקישור לשירות
דוגמת קוד זו מדגימה איך להציג נקודת קצה כדי לקבל קובץ מצורף של שירות.
curl
$ curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1/endpoints/YOUR_ENDPOINT_ID"
זו התגובה של נקודת הקצה (endpoint) של הרשימה.
{
"name": "projects/440968033208/locations/us-central1/endpoints/mg-endpoint-2c6ae2be-1491-43fe-b179-cb5a63e2c955",
"displayName": "psc-ep1",
"deployedModels": [
{
"id": "4026753529031950336",
"model": "projects/440968033208/locations/us-central1/models/mg-custom-1758645924",
"displayName": "null-null-null-1758645933",
"createTime": "2025-09-23T16:45:45.169195Z",
"dedicatedResources": {
"machineSpec": {
"machineType": "g2-standard-24",
"acceleratorType": "NVIDIA_L4",
"acceleratorCount": 2
},
"minReplicaCount": 1,
"maxReplicaCount": 1
},
"enableContainerLogging": true,
"privateEndpoints": {
"serviceAttachment": "projects/qdb392d34e2a11149p-tp/regions/us-central1/serviceAttachments/gkedpm-fbbc4061323c91c14ab4d961a2f8b0"
},
"modelVersionId": "1",
"status": {
"lastUpdateTime": "2025-09-23T17:26:10.031652Z",
"availableReplicaCount": 1
}
}
],
"trafficSplit": {
"4026753529031950336": 100
},
"etag": "AMEw9yPIWQYdbpHu6g6Mhpu1_10J062_oR9Jw9txrp8dFFbel7odLgSK8CGIogAUkR_r",
"createTime": "2025-09-23T16:45:45.169195Z",
"updateTime": "2025-09-23T17:13:36.320873Z",
"privateServiceConnectConfig": {
"enablePrivateServiceConnect": true,
"projectAllowlist": [
"ucaip-vpc-s-1605069239-dut-24"
]
}
}
יצירת Private Service Connect
כדי ליצור Private Service Connect (PSC), פועלים לפי השלבים הבאים:
נכנסים לדף Private Service Connect במסוף Google Cloud . יוצג הדף Connected endpoints.
לוחצים על + Connect endpoint. יופיע הדף Connect endpoint.
בוחרים אפשרות בשדה יעד. אתם יכולים לבחור באפשרות Google APIs (ממשקי Google API) כדי לקבל גישה לרוב Google ממשקי ה-API והשירותים של Google Cloud, או באפשרות Published service (שירות שפורסם) כדי לקבל גישה לשירות שפורסם.
בקטע פרטי היעד, בוחרים ערך מהרשימה היקף וערך מהרשימה סוג החבילה.
בקטע Endpoint details (פרטי נקודת הקצה), מבצעים את הפעולות הבאות:
- נותנים לה שם בשדה Endpoint name.
- בוחרים ערך מהרשימה רשת. בוחרים רשת VPC שנמצאת בפרויקט. אם אתם צריכים ליצור נקודת קצה (endpoint) של PSC בפרויקט שירות שמשתמש ברשת VPC משותפת בפרויקט מארח, אתם יכולים להשתמש ב-Google Cloud CLI או לשלוח בקשת API.
- בוחרים ערך מהרשימה כתובת IP.
מרחיבים את הקטע Service directory.
בוחרים אזור מהרשימה אזור.
בוחרים מרחב שמות מהרשימה Namespace.
לוחצים על הוספת נקודת קצה. הטבלה נקודות קצה מתעדכנת בשורה של נקודת הקצה החדשה.
יצירת שאילתה
בקטע הזה מוסבר איך ליצור נקודת קצה ציבורית ונקודת קצה פרטית.
שליחת שאילתה לנקודת קצה (endpoint) ציבורית
אחרי פריסת המודל, משקלים מותאמים אישית תומכים בנקודת הקצה הציבורית הייעודית. אפשר לשלוח שאילתות באמצעות ה-API או ה-SDK.
לפני ששולחים שאילתות, צריך לקבל את כתובת ה-URL של נקודת הקצה, את מזהה נקודת הקצה ואת מזהה המודל. הפרטים האלה זמינים במסוף Google Cloud .
כדי לקבל את המידע:
נכנסים לדף Model Garden במסוף Google Cloud .
לוחצים על View my endpoints & models (הצגת נקודות הקצה והמודלים שלי).
בוחרים את האזור מהרשימה Region.
כדי לקבל את מזהה נקודת הקצה ואת כתובת ה-URL של נקודת הקצה, לוחצים על נקודת הקצה בקטע My endpoints.
מזהה נקודת הקצה מוצג בשדה Endpoint ID.
כתובת ה-URL של נקודת הקצה הציבורית מוצגת בשדה Dedicated endpoint (נקודת קצה ייעודית).
כדי למצוא את מזהה המודל, מחפשים את המודל ברשימה בקטע Deployed models (מודלים שפרסתם) ופועלים לפי השלבים הבאים:
- לוחצים על שם המודל שהופעל בשדה Model (מודל).
- לוחצים על פרטי הגרסה. מזהה המודל מוצג בשדה Model ID.
אחרי שמקבלים את נקודת הקצה ואת פרטי המודל שנפרס, אפשר לעיין בדוגמאות הקוד הבאות כדי ללמוד איך לשלוח בקשת הסקה, או לעיין במאמר שליחת בקשת הסקה אונליין לנקודת קצה ציבורית ייעודית.
API
בדוגמאות הקוד הבאות מוצגות דרכים שונות לשימוש ב-API בהתאם לתרחיש השימוש.
השלמת צ'אט (unary)
בדוגמה הזו, בקשה שולחת הודעת צ'אט מלאה למודל ומקבלת תגובה בחלק אחד אחרי שהתגובה כולה נוצרת. זה דומה לשליחת הודעת טקסט ולקבלת תשובה מלאה אחת.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
-d '{
"model": "'"${MODEL_ID}"'",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true,
"messages": [
{
"role": "user",
"content": "How to tell the time by looking at the sky?"
}
]
}'
השלמת צ'אט (סטרימינג)
הבקשה הזו היא גרסת הסטרימינג של בקשת השלמת הצ'אט האונרית. אם מוסיפים "stream": true לבקשה, המודל שולח את התשובה שלו חלק אחרי חלק בזמן שהיא נוצרת. התכונה הזו שימושית ליצירת אפקט של מכונת כתיבה בזמן אמת באפליקציית צ'אט.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \ "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
-d '{
"model": "'"${MODEL_ID}"'",
"stream": true,
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true,
"messages": [
{
"role": "user",
"content": "How to tell the time by looking at the sky?"
}
]
}'
חיזוי
הבקשה הזו שולחת פרומפט ישיר כדי לקבל מסקנה ממודל. ההגדרה הזו מתאימה בדרך כלל למשימות שלא בהכרח כוללות שיחה, כמו סיכום או סיווג של טקסט.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:predict" \
-d '{
"instances": [
{
"prompt": "How to tell the time by looking at the sky?",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true
}
]
}'
Raw predict
הבקשה הזו היא גרסת סטרימינג של הבקשה Predict. כשמשתמשים בנקודת הקצה :streamRawPredict וכוללים את "stream": true, הבקשה הזו שולחת הנחיה ישירה ומקבלת את הפלט של המודל כזרם נתונים רציף בזמן שהוא נוצר, בדומה לבקשה להשלמת צ'אט בסטרימינג.
curl -X POST \
-N \
--output - \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:streamRawPredict" \
-d '{
"instances": [
{
"prompt": "How to tell the time by looking at the sky?",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true,
"stream": true
}
]
}'
SDK
בדוגמת הקוד הזו נעשה שימוש ב-SDK כדי לשלוח שאילתה למודל ולקבל תשובה מהמודל.
from google.cloud import aiplatform
project_id = ""
location = ""
endpoint_id = "" # Use the short ID here
aiplatform.init(project=project_id, location=location)
endpoint = aiplatform.Endpoint(endpoint_id)
prompt = "How to tell the time by looking at the sky?"
instances=[{"text": prompt}]
response = endpoint.predict(instances=instances, use_dedicated_endpoint=True)
print(response.predictions)
שליחת שאילתה לנקודת קצה פרטית
אפשר לבדוק את השאילתה באמצעות מחברת או מכונה וירטואלית בפרויקט המורשה.
בדוגמה הזו של שאילתה אפשר להחליף את המשתנים בכתובת ה-IP, בפרויקט, במזהה נקודת הקצה ובמזהה המודל (שמתקבל משלב הפריסה שלמעלה)
curl
השלמת צ'אט
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https://YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID/chat/completions' -d '{ "model": "YOUR_MODEL_ID", "max_tokens": 300, "messages": [{ "role": "user", "content": "how to tell the time by looking at sky?" }]}'
חיזוי
$ curl -k -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https:/YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID:predict' -d '{
"instances": [
{
"prompt": "Summarize Goog stock performance",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true
}
]
}'
דוגמה נוספת לשימוש ב-API מופיעה במחברת בנושא ייבוא משקלים בהתאמה אישית.
מידע נוסף על מודלים שמוטמעים באופן עצמאי בפלטפורמת הסוכנים של Gemini Enterprise
- מידע נוסף על נקודות קצה פרטיות ייעודיות לחיזוי אונליין ב-Gemini Enterprise Agent Platform זמין במאמר שימוש בנקודות קצה פרטיות ייעודיות שמבוססות על Private Service Connect להסקת מסקנות אונליין.
- מידע נוסף על מודלים שמוטמעים באופן עצמאי זמין במאמר סקירה כללית על מודלים שמוטמעים באופן עצמאי.
- מידע נוסף על Model Garden זמין במאמר סקירה כללית של Model Garden.
- מידע נוסף על פריסת מודלים זמין במאמר שימוש במודלים ב-Model Garden.
- שימוש במודלים פתוחים של Gemma
- שימוש במודלים פתוחים של Llama
- שימוש במודלים פתוחים של Hugging Face