פריסת מודלים של שותפים מ-Model Garden

ב-Model Garden אפשר לפרוס בעצמכם מודלים נבחרים של שותפים (גרסת טרום-השקה). מודלים שמוטמעים באופן עצמאי לא פועלים ללא שרת. כדי להשתמש בהם, צריך לפרוס אותם בפלטפורמת הסוכנים של Gemini Enterprise. המודלים האלה נפרסים בצורה מאובטחת בתוךGoogle Cloud הפרויקט ורשת ה-VPC שלכם. מידע נוסף על מודלים שמוטמעים באופן עצמאי זמין במאמרי העזרה בנושא מודלים שמוטמעים באופן עצמאי.

רכישה של מודלים של שותפים שאפשר לפרוס באופן עצמאי

כדי לפרוס מודלים של שותפים שאפשר לפרוס באופן עצמאי ב-Gemini Enterprise Agent Platform, קודם צריך לרכוש אותם דרך Google Cloud Marketplace. כדי לרכוש מודל של שותף שאפשר לפרוס באופן עצמאי, מבצעים את הפעולות הבאות:

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. בקטע Model collections (אוספי מודלים), לוחצים על Self-deployable partner models (מודלים של שותפים שאפשר לפרוס באופן עצמאי) כדי לסנן את רשימת המודלים.

  3. לוחצים על כרטיס המודל של מודל השותף שרוצים לרכוש.

  4. לוחצים על יצירת קשר עם מחלקת המכירות.

  5. ממלאים את הטופס ושולחים את הבקשה.

אחרי שתשלימו את השלבים האלה, תועברו לשיחה עם נציג Google Cloud מכירות כדי להשלים את הרכישה.

פריסת מודלים

אחרי שרוכשים מודל של שותף שאפשר לפרוס באופן עצמאי, אפשר לפרוס אותו בנקודת קצה (endpoint) של Gemini Enterprise Agent Platform באמצעות פריסה בלחיצה אחת. התהליך הזה מפשט את הפריסה על ידי הגדרה מראש של ההגדרות הנדרשות.

אפשר לבצע פריסה בלחיצה אחת באמצעות מסוף Google Cloud או Agent Platform SDK ל-Python.

המסוף

כדי לפרוס מודל של שותף במסוף Google Cloud :

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. מאתרים את כרטיס המודל של מודל השותף שבו רוצים להשתמש ולוחצים עליו.

  3. לוחצים על פריסת המודל.

  4. מגדירים את הגדרות הפריסה לפי ההנחיות.

  5. לוחצים על פריסה.

Python

בדוגמה הבאה אפשר לראות איך פורסים מודל של שותף באמצעות Agent Platform SDK ל-Python. צריך להחליף את הערכים הזמניים לשמירת מקום בפרטים הספציפיים שלכם.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

המאמרים הבאים