פריסת מודלים עם משקלים מותאמים אישית

פריסת מודלים עם משקלים בהתאמה אישית היא הצעה בגרסת טרום-השקה (Preview). אתם יכולים לשפר מודלים על סמך קבוצה מוגדרת מראש של מודלים בסיסיים, ולפרוס את המודלים המותאמים אישית ב-Model Garden ב-Gemini Enterprise Agent Platform. כדי לפרוס את המודלים בהתאמה אישית באמצעות ייבוא משקלים בהתאמה אישית, אתם יכולים להעלות את פריטי המודל לקטגוריה של Cloud Storage בפרויקט שלכם, בלחיצה אחת ב-Agent Platform.

יש תמיכה של VPC Service Controls במשקלים בהתאמה אישית.

מודלים נתמכים

גרסת טרום ההשקה (Public Preview) של פריסת מודלים עם משקלים בהתאמה אישית נתמכת במודלים הבסיסיים הבאים:

שם המודל גרסה
Llama
  • ‫Llama-2: ‏ 7B, ‏ 13B
  • ‫Llama-3.1: ‏ 8B, ‏ 70B
  • ‫Llama-3.2: ‏ 1B, ‏ 3B
  • ‫Llama-4: ‏Scout-17B, ‏Maverick-17B
  • CodeLlama-13B
‏Gemma
  • ‫Gemma-2: ‏ 9B, ‏ 27B
  • ‫Gemma-3‏: 1B, ‏ 4B, ‏ 3-12B, ‏ 27B
  • ‫Gemma-4: ‏ 26B-A4B-it, ‏ 31B-it, ‏ E2B-it, ‏ E4B-it
  • ‫Medgemma: ‏4B, ‏27B-text
Qwen
  • Qwen2: 1.5B
  • ‫Qwen2.5: ‏ 0.5B, ‏ 1.5B, ‏ 7B, ‏ 32B
  • ‫Qwen3‏: 0.6B, ‏ 1.7B, ‏ 4B, ‏ 8B, ‏ 32B, ‏ Qwen3-Coder-480B-A35B-Instruct, ‏ Qwen3-Next-80B-A3B-Instruct, ‏ Qwen3-Next-80B-A3B-Thinking, ‏ Qwen3-VL-8B-Instruct
  • Qwen3.5: 9B
  • Qwen3.6: 27B, 35B A3B
Deepseek
  • Deepseek-R1
  • Deepseek-V3
  • DeepSeek-V3.1
‫Mistral ו-Mixtral
  • Mistral-7B-v0.1
  • Mixtral-8x7B-v0.1
  • Mistral-Nemo-Base-2407
Phi-4
  • Phi-4-reasoning
OpenAI OSS
  • gpt-oss: 20B, 120B

מגבלות

אי אפשר לייבא מודלים שעברו קוונטיזציה למשקלים בהתאמה אישית.

קובצי מודלים

אתם צריכים לספק את קובצי המודל בפורמט המשקלים של Hugging Face. איך משתמשים במודלים של Hugging Face

אם לא תספקו את הקבצים הנדרשים, יכול להיות שפריסת המודל תיכשל.

בטבלה הבאה מפורטים סוגי קובצי המודלים, בהתאם לארכיטקטורה של המודל:

תוכן קובץ המודל סוג קובץ
הגדרת המודל
  • config.json
משקולות של מודלים
  • *.safetensors
  • *.bin
אינדקס משקולות
  • *.index.json
קובצי Tokenizer
  • tokenizer.model
  • tokenizer.json
  • tokenizer_config.json

מיקומים

אתם יכולים לפרוס מודלים בהתאמה אישית בכל האזורים משירותי Model Garden.

דרישות מוקדמות

בקטע הזה מוסבר איך לפרוס את המודל בהתאמה אישית.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. מפעילים את Cloud Shell במסוף Google Cloud .

    הפעלת Cloud Shell

    בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

במדריך הזה אנחנו מניחים שאתם משתמשים ב-Cloud Shell כדי לבצע פעולות ב- Google Cloud. אם אתם רוצים להשתמש במעטפת אחרת במקום ב-Cloud Shell, בצעו את ההגדרות הנוספות הבאות:

  1. התקינו את ה-CLI של Google Cloud.

  2. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  3. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init

פריסת המודל בהתאמה אישית

בקטע הזה מוסבר איך לפרוס את המודל בהתאמה אישית.

אם אתם משתמשים בממשק שורת הפקודה (CLI), ב-Python או ב-JavaScript, החליפו את המשתנים הבאים בערך כדי שדוגמאות הקוד יפעלו:

  • ‫REGION: האזור שלכם. לדוגמה, uscentral1.
  • ‫MODEL_GCS: המודל של Google Cloud . לדוגמה, gs://custom-weights-fishfooding/meta-llama/Llama-3.2-1B-Instruct.
  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫MODEL_ID: מזהה המודל.
  • ‫MACHINE_TYPE: סוג המכונה. לדוגמה: g2-standard-12.
  • ‫ACCELERATOR_TYPE: סוג מאיץ החומרה. לדוגמה: NVIDIA_L4.
  • ‫ACCELERATOR_COUNT: מספר המאיצים.
  • PROMPT: פרומפט טקסטואלי.

המסוף

כך פורסים את המודל עם משקלים בהתאמה אישית באמצעות מסוף Google Cloud :

  1. נכנסים לדף Model Garden במסוף Google Cloud .

    כניסה ל-Model Garden

  2. לוחצים על פריסת מודל עם משקלים מותאמים אישית. מופיע החלון Deploy a model with custom weights.

  3. בקטע Model source:

    1. לוחצים על Browse, בוחרים את הקטגוריה שבה מאוחסן המודל ולוחצים על Select.

    2. אופציונלי: מזינים את שם המודל בשדה שם המודל.

  4. בקטע Deployment settings:

    1. בשדה אזור, בוחרים את האזור ולוחצים על אישור.

    2. בשדה Machine Spec, בוחרים את מפרט המכונה שמשמש לפריסת המודל.

    3. אופציונלי: בשדה Endpoint name, נקודת הקצה של המודל מופיעה כברירת מחדל. אבל אפשר להזין שם אחר בשדה.

    4. אם בפרויקט שלכם נאכפת בקרת שירות של VPC, או אם אתם מעדיפים גישה פרטית, בשדה Endpoint access בוחרים באפשרות Private (Private Service Connect). אחרת, בוחרים באפשרות גלוי לכולם.

    5. אם אתם משתמשים ב-Private Service Connect, הזינו בשדה Project IDs את מזהי הפרויקטים שבהם פועלים הלקוחות של השאילתות, או לחצו על Select project IDs כדי להציג תיבת דו-שיח עם מזהי הפרויקטים.

      אם לוחצים על בחירת מזהי פרויקטים, מבצעים את הפעולות הבאות:

      1. מוצאים את הפרויקט שמכיל את הקוד שמנסה לגשת למודל.
      2. לוחצים על תיבת הסימון של הפרויקט.
      3. לוחצים על בחירה.
  5. לוחצים על Deploy.

‫CLI של gcloud

הפקודה הזו מדגימה איך לפרוס את המודל באזור ספציפי.

gcloud ai model-garden models deploy --model=${MODEL_GCS} --region ${REGION}

הפקודה הזו מדגימה איך לפרוס את המודל באזור ספציפי עם סוג המכונה, סוג המאיץ ומספר המאיצים שלו. אם רוצים לבחור הגדרת מכונה ספציפית, צריך להגדיר את כל שלושת השדות.

gcloud ai model-garden models deploy --model=${MODEL_GCS} --machine-type=${MACHINE_TYE} --accelerator-type=${ACCELERATOR_TYPE} --accelerator-count=${ACCELERATOR_COUNT} --region ${REGION}

Python

import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden

vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
  gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy(
  machine_type="${MACHINE_TYPE}",
  accelerator_type="${ACCELERATOR_TYPE}",
  accelerator_count="${ACCELERATOR_COUNT}",
  model_display_name="custom-model",
  endpoint_display_name="custom-model-endpoint")

endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)

לחלופין, לא צריך להעביר פרמטר ל-method‏ custom_model.deploy().

import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden

vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
  gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy()

endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)

curl


curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
  -d '{
    "custom_model": {
    "gcs_uri": "'"${MODEL_GCS}"'"
  },
  "destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
  "model_config": {
     "model_user_id": "'"${MODEL_ID}"'",
  },
}'

לחלופין, אפשר להשתמש ב-API כדי להגדיר במפורש את סוג המכונה.


curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
  -d '{
    "custom_model": {
    "gcs_uri": "'"${MODEL_GCS}"'"
  },
  "destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
  "model_config": {
     "model_user_id": "'"${MODEL_ID}"'",
  },
  "deploy_config": {
    "dedicated_resources": {
      "machine_spec": {
        "machine_type": "'"${MACHINE_TYPE}"'",
        "accelerator_type": "'"${ACCELERATOR_TYPE}"'",
        "accelerator_count": '"${ACCELERATOR_COUNT}"'
      },
      "min_replica_count": 1
    }
  }
}'

פריסה באמצעות ה-API

‫VPC Service Controls פועל רק עם נקודת הקצה הייעודית הפרטית. לכן צריך להגדיר את private_service_connect_config בדוגמת הקוד הבאה, שמראה איך לפרוס באמצעות ה-API:

curl

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1:deploy" \
    -d '{
      "custom_model": {
        "model_id": "test-mg-deploy-092301",
        "gcs_uri": "gs://YOUR_GCS_BUCKET"
      },
      "destination": "projects/YOUR_PROJECT/locations/us-central1",
      "endpoint_config": {
        "endpoint_display_name": "psc-ep1",
        "private_service_connect_config": {
          "enablePrivateServiceConnect": true,
          "projectAllowlist": ["YOUR_PROJECT"]
        }
      },
      "deploy_config": {
        "dedicated_resources": {
          "machine_spec": {
            "machine_type": "g2-standard-24",
            "accelerator_type": "NVIDIA_L4",
            "accelerator_count": 2
          },
          "min_replica_count": 1,
          "max_replica_count": 1
        }
      }
    }'

איך מקבלים את מזהה נקודת הקצה ומזהה המודל באמצעות מסוף Google Cloud

אחרי שהפריסה מסתיימת, מבצעים את השלבים הבאים:

  1. נכנסים לדף Model Garden במסוף Google Cloud .

    כניסה ל-Model Garden

  2. לוחצים על הצגת נקודות הקצה והמודלים שלי.

  3. בעמודה Name בטבלה My endpoints, מסמנים את נקודת הקצה שפרסתם. הדף Details נפתח.

  4. לוחצים על המודל בטבלה Deployed models.

  5. בוחרים בדף פרטי הגרסה. מזהה המודל מופיע בשורה משתני סביבה בטבלה.

הגדרת Private Service Connect

הוספת נקודת קצה חדשה כדי לגשת לממשקי API של Google . אפשר להשתמש בנקודת הקצה הזו בכל האזורים של רשת ה-VPC שבחרתם. כדאי גם להביא בחשבון את הדברים הבאים:

  • לקוחות ברשתות שמחוברות לרשת ה-VPC של נקודת הקצה באמצעות קישוריות היברידית יכולים לגשת לנקודת הקצה. מידע נוסף זמין במאמר גישה לממשקי API שלGoogle דרך נקודות קצה (endpoints).
  • לקוחות ברשתות VPC מקושרות לא יכולים לגשת לנקודת הקצה.

נקודת קצה (endpoint) להצגת רשימה של חיבורי שירות

דוגמת הקוד הבאה ממחישה איך להציג נקודת קצה כדי לקבל חיבור לשירות.

curl

$ curl \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1/endpoints/YOUR_ENDPOINT_ID"

זו התגובה של נקודת הקצה (endpoint) של הרשימה.

  {
  "name": "projects/440968033208/locations/us-central1/endpoints/mg-endpoint-2c6ae2be-1491-43fe-b179-cb5a63e2c955",
  "displayName": "psc-ep1",
  "deployedModels": [
    {
      "id": "4026753529031950336",
      "model": "projects/440968033208/locations/us-central1/models/mg-custom-1758645924",
      "displayName": "null-null-null-1758645933",
      "createTime": "2025-09-23T16:45:45.169195Z",
      "dedicatedResources": {
        "machineSpec": {
          "machineType": "g2-standard-24",
          "acceleratorType": "NVIDIA_L4",
          "acceleratorCount": 2
        },
        "minReplicaCount": 1,
        "maxReplicaCount": 1
      },
      "enableContainerLogging": true,
      "privateEndpoints": {
        "serviceAttachment": "projects/qdb392d34e2a11149p-tp/regions/us-central1/serviceAttachments/gkedpm-fbbc4061323c91c14ab4d961a2f8b0"
      },
      "modelVersionId": "1",
      "status": {
        "lastUpdateTime": "2025-09-23T17:26:10.031652Z",
        "availableReplicaCount": 1
      }
    }
  ],
  "trafficSplit": {
    "4026753529031950336": 100
  },
  "etag": "AMEw9yPIWQYdbpHu6g6Mhpu1_10J062_oR9Jw9txrp8dFFbel7odLgSK8CGIogAUkR_r",
  "createTime": "2025-09-23T16:45:45.169195Z",
  "updateTime": "2025-09-23T17:13:36.320873Z",
  "privateServiceConnectConfig": {
    "enablePrivateServiceConnect": true,
    "projectAllowlist": [
      "ucaip-vpc-s-1605069239-dut-24"
    ]
  }
}

יצירת חיבור לשירות פרטי (PSC)

כדי ליצור Private Service Connect ‏ (PSC):

  1. נכנסים לדף Private Service Connect במסוף Google Cloud . הדף Connected endpoints נפתח.

    מעבר אל Private Service Connect

  2. לוחצים על + קישור נקודת קצה. מופיע הדף Connect endpoint.

  3. בוחרים אפשרות בשדה Target. אתם יכולים לבחור באפשרות Google APIs, שנותנת גישה לרוב ממשקי ה-API והשירותים של Google , או באפשרות Published service, שנותנת גישה לשירות שפורסם.

  4. בקטע פרטי היעד, בוחרים ערך מהרשימה היקף וערך מהרשימה סוג החבילה.

  5. בקטע Endpoint details:

    1. נותנים לה שם בשדה Endpoint name.
    2. בוחרים ערך מהרשימה רשת. בוחרים רשת VPC שנמצאת בפרויקט. אם אתם צריכים ליצור נקודת קצה של PSC בפרויקט שירות שמשתמש ברשת VPC משותפת בפרויקט מארח, אתם יכולים להשתמש ב-Google Cloud CLI או לשלוח בקשת API.
    3. בוחרים ערך מרשימת כתובת IP.
  6. מרחיבים את הקטע Service directory.

  7. בוחרים אזור מהרשימה Region.

  8. בוחרים מרחב שמות מהרשימה Namespace.

  9. לוחצים על הוספת נקודת קצה. הטבלה Endpoints מתעדכנת ונוספת לה שורה עם נקודת הקצה החדשה.

יצירת שאילתה

בקטע הזה מוסבר איך ליצור נקודת קצה ציבורית ונקודת קצה פרטית.

שליחת שאילתה לנקודת קצה ציבורית

אחרי פריסת המודל, משקלים מותאמים אישית תומכים בנקודת הקצה הייעודית הציבורית. אתם יכולים לשלוח שאילתות באמצעות ה-API או ה-SDK.

לפני ששולחים שאילתות, צריך לקבל את כתובת ה-URL של נקודת הקצה, את מזהה נקודת הקצה ואת מזהה המודל, שזמינים במסוף Google Cloud .

כדי לקבל את המידע, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Model Garden במסוף Google Cloud .

    Model Garden

  2. לוחצים על הצגת נקודות הקצה והמודלים שלי.

  3. בוחרים את האזור שלכם מהרשימה Region.

  4. כדי לקבל את מזהה נקודת הקצה ואת כתובת ה-URL של נקודת הקצה, לוחצים על נקודת הקצה בקטע My endpoints.

    מזהה נקודת הקצה מופיע בשדה Endpoint ID.

    כתובת ה-URL של נקודת הקצה הציבורית מוצגת בשדה Dedicated endpoint.

  5. כדי לקבל את מזהה המודל, מאתרים את המודל בקטע Deployed models ופועלים לפי השלבים הבאים:

    1. בשדה Model, לוחצים על שם המודל שנפרס.
    2. לוחצים על פרטי הגרסה. מזהה המודל מופיע בשדה Model ID.

אחרי שמקבלים את פרטי נקודת הקצה והמודל שנפרס, אפשר להיעזר בדוגמאות הקוד הבאות כדי לשלוח בקשה להסקת מסקנות, או לעיין במאמר שליחת בקשה להסקת מסקנות אונליין לנקודת קצה ציבורית ייעודית.

API

דוגמאות הקוד הבאות ממחישות דרכים שונות להשתמש ב-API בהתאם לתרחיש לדוגמה.

השלמת צ'אט (אונרי)

בבקשה לדוגמה הזו, הודעת צ'אט מלאה נשלחת למודל ומתקבלת תשובה בחלק אחד אחרי שהתשובה המלאה נוצרת. זה דומה לשליחת הודעת SMS וקבלת תשובה מלאה אחת.

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
    -d '{
    "model": "'"${MODEL_ID}"'",
    "temperature": 0,
    "top_p": 1,
    "max_tokens": 154,
    "ignore_eos": true,
    "messages": [
      {
        "role": "user",
        "content": "How to tell the time by looking at the sky?"
      }
    ]
  }'

השלמת צ'אט (סטרימינג)

הבקשה הזו היא גרסת הסטרימינג של בקשת ההשלמה של צ'אט יחיד. כשמוסיפים את "stream": true לבקשה, המודל שולח את התשובה שלו בחלקים תוך כדי שהוא יוצר אותה. האפשרות הזו שימושית ליצירת אפקט של מכונת כתיבה בזמן אמת באפליקציית צ'אט.

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \  "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
    -d '{
    "model": "'"${MODEL_ID}"'",
    "stream": true,
    "temperature": 0,
    "top_p": 1,
    "max_tokens": 154,
    "ignore_eos": true,
    "messages": [
      {
        "role": "user",
        "content": "How to tell the time by looking at the sky?"
      }
    ]
  }'

חיזוי

הבקשה הזו שולחת הנחיה ישירה כדי לקבל הסקה ממודל. השיטה הזו משמשת בדרך כלל למשימות שלא בהכרח קשורות לשיחה, כמו סיכום או סיווג של טקסט.

  curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
  "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:predict" \
    -d '{
    "instances": [
      {
        "prompt": "How to tell the time by looking at the sky?",
        "temperature": 0,
        "top_p": 1,
        "max_tokens": 154,
        "ignore_eos": true
      }
    ]
  }'

חיזוי גולמי

הבקשה הזו היא גרסת סטרימינג של הבקשה Predict. כשמשתמשים בנקודת הקצה :streamRawPredict וכוללים את "stream": true, הבקשה הזו שולחת הנחיה ישירה ומקבלת את הפלט של המודל כסטרימינג רציף של נתונים בזמן שהם נוצרים, בדומה לבקשה להשלמת צ'אט בסטרימינג.

  curl -X POST \
    -N \
    --output - \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:streamRawPredict" \
    -d '{
    "instances": [
      {
        "prompt": "How to tell the time by looking at the sky?",
        "temperature": 0,
        "top_p": 1,
        "max_tokens": 154,
        "ignore_eos": true,
        "stream": true
      }
    ]
  }'

SDK

בדוגמת הקוד הזו, ה-SDK משמש לשליחת שאילתה למודל ולקבלת תשובה ממנו.

  from google.cloud import aiplatform

  project_id = ""
  location = ""
  endpoint_id = "" # Use the short ID here

  aiplatform.init(project=project_id, location=location)

  endpoint = aiplatform.Endpoint(endpoint_id)

  prompt = "How to tell the time by looking at the sky?"
  instances=[{"text": prompt}]
  response = endpoint.predict(instances=instances, use_dedicated_endpoint=True)
  print(response.predictions)

שליחת שאילתה לנקודת קצה פרטית

אתם יכולים לבדוק את השאילתה באמצעות notebook או מכונה וירטואלית בפרויקט המורשה.

בשאילתה לדוגמה הזו אתם יכולים להחליף את המשתנים בכתובת ה-IP, בפרויקט, במזהה נקודת הקצה ובמזהה המודל (שקיבלתם בשלב הפריסה שלמעלה).

curl

השלמת צ'אט

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https://YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID/chat/completions' -d '{ "model": "YOUR_MODEL_ID", "max_tokens": 300, "messages": [{ "role": "user", "content": "how to tell the time by looking at sky?" }]}'

חיזוי

$ curl -k -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https:/YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID:predict' -d '{
  "instances": [
    {
      "prompt": "Summarize Goog stock performance",
      "temperature": 0,
      "top_p": 1,
      "max_tokens": 154,
      "ignore_eos": true
    }
  ]
}'

דוגמה נוספת לשימוש ב-API מופיעה ב-Import Custom Weights notebook.

מידע נוסף על מודלים בפריסה עצמית ב-Gemini Enterprise Agent Platform