פריסת מודלים פתוחים מ-Model Garden

ב-Model Garden אפשר לפרוס מודלים פתוחים באופן עצמאי. מודלים שמוטמעים באופן עצמאי לא מבוססים על שרתים. צריך לפרוס אותם ב-Vertex AI לפני שמשתמשים בהם. המודלים האלה נפרסים בצורה מאובטחת בפרויקט Google Cloud וברשת ה-VPC שלכם. מידע נוסף על מודלים שמוטמעים באופן עצמאי זמין במאמר בנושא מודלים שמוטמעים באופן עצמאי.

מידע על פריסת מודלים של שותפים זמין במאמר פריסת מודלים של שותפים מ-Model Garden.

מודלים פתוחים שאפשר לפרוס באופן עצמאי

יכול להיות שיהיה אפשר לגשת למודלים פתוחים ב-Model Garden גם באמצעות API מנוהל (MaaS) וגם באמצעות מודל שניתן לפריסה עצמית. אם שני המוצרים זמינים למודל מסוים, בכרטיס המודל של ממשק ה-API המנוהל יופיע השם API Service, אבל לא בשם של המודל שאפשר לפרוס באופן עצמאי.

רשימת המודלים

כדי לקבל רשימה של מודלים פתוחים שאפשר לפרוס באופן עצמאי:

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. במסנן תכונות, בוחרים באפשרויות מודלים פתוחים ופריסה בלחיצה אחת.

פריסת מודלים

אחרי שמזהים את המודל הפתוח שרוצים לפרוס, אפשר לפרוס את המודל לנקודת קצה ב-Vertex AI באמצעות פריסה בלחיצה אחת. אפשר לבצע פריסה בלחיצה אחת באמצעות מסוף Google Cloud או באמצעות Vertex AI SDK ל-Python.

המסוף

כדי לפרוס מודל במסוף Google Cloud :

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. מאתרים את כרטיס המודל של המודל שבו רוצים להשתמש ולוחצים עליו.

  3. לוחצים על פריסת המודל.

  4. מגדירים את הפריסה לפי ההוראות שמופיעות.

  5. לוחצים על פריסה.

Python

בדוגמה הבאה אפשר לראות איך פורסים מודל באמצעות Vertex AI SDK ל-Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

פריסת מודלים עם משקלים מותאמים אישית

ב-Model Garden אפשר לפרוס מודלים נתמכים עם משקלים מותאמים אישית מקטגוריה של Cloud Storage. מידע נוסף על פריסת מודלים עם משקלים בהתאמה אישית זמין במאמר פריסת מודלים עם משקלים בהתאמה אישית. אפשר לפרוס משקלים בהתאמה אישית באמצעות מסוף Google Cloud , Google Cloud CLI,‏ Vertex AI API או Vertex AI SDK ל-Python.

המאמרים הבאים