פריסת מודלים פתוחים מ-Model Garden

ב-Model Garden אפשר לפרוס מודלים פתוחים באופן עצמאי. מודלים שמוטמעים באופן עצמאי לא מבוססים על שרתים. כדי להשתמש בהם, צריך לפרוס אותם ב-Gemini Enterprise Agent Platform. המודלים האלה נפרסים בצורה מאובטחת בפרויקט Google Cloud וברשת ה-VPC שלכם. מידע נוסף על מודלים שמוטמעים באופן עצמאי זמין במאמר בנושא מודלים שמוטמעים באופן עצמאי.

מידע על פריסת מודלים של שותפים זמין במאמר פריסת מודלים של שותפים מ-Model Garden.

מודלים פתוחים שאפשר לפרוס באופן עצמאי

יכול להיות שמודלים פתוחים ב-Model Garden יהיו זמינים גם כממשק API מנוהל (MaaS) וגם כמודל שניתן לפריסה עצמית. אם שני המוצרים זמינים למודל מסוים, בכרטיס המודל של ממשק ה-API המנוהל יופיע API Service בשם, ובמודל שניתן לפריסה עצמית לא יופיע השם הזה.

רשימת המודלים

כדי לקבל רשימה של מודלים פתוחים שאפשר לפרוס באופן עצמאי:

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. במסנן תכונות, בוחרים באפשרות מודלים פתוחים ובאפשרות פריסה בלחיצה אחת.

פריסת מודלים

אחרי שמזהים את המודל בקוד פתוח שרוצים לפרוס, אפשר לפרוס את המודל לנקודת קצה של Gemini Enterprise Agent Platform באמצעות פריסה בלחיצה אחת. אפשר לבצע פריסה בלחיצה אחת באמצעות מסוף Google Cloud או באמצעות Agent Platform SDK ל-Python.

המסוף

כדי לפרוס מודל במסוף Google Cloud :

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. מאתרים את כרטיס המודל של המודל שבו רוצים להשתמש ולוחצים עליו.

  3. לוחצים על פריסת המודל.

  4. מגדירים את הפריסה לפי ההוראות שמופיעות.

  5. לוחצים על פריסה.

Python

בדוגמה הבאה מוצג איך פורסים מודל באמצעות Agent Platform SDK for Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

פריסת מודלים עם משקלים מותאמים אישית

ב-Model Garden אפשר לפרוס מודלים נתמכים עם משקלים מותאמים אישית מקטגוריה של Cloud Storage. מידע נוסף על פריסת מודלים עם משקלים בהתאמה אישית זמין במאמר פריסת מודלים עם משקלים בהתאמה אישית. אפשר לפרוס משקלים בהתאמה אישית באמצעות Google Cloud המסוף, Google Cloud CLI,‏ Agent Platform API או Agent Platform SDK ל-Python.

המאמרים הבאים