פריסת מודלים של שותפים מ-Model Garden

ב-Model Garden אפשר לפרוס בעצמכם מודלים נבחרים של שותפים (בגרסת Preview). מודלים שמוטמעים באופן עצמאי לא מבוססים על שרתים. כדי להשתמש בהם, צריך לפרוס אותם ב-Vertex AI. המודלים האלה נפרסים בצורה מאובטחת בתוךGoogle Cloud הפרויקט ורשת ה-VPC שלכם. מידע נוסף על מודלים שמוטמעים באופן עצמאי זמין במאמרי העזרה בנושא מודלים שמוטמעים באופן עצמאי.

רכישה של מודלים של שותפים שאפשר לפרוס באופן עצמאי

כדי לפרוס ב-Vertex AI מודלים של שותפים שאפשר לפרוס באופן עצמאי, קודם צריך לקנות אותם דרך Google Cloud Marketplace. כדי לרכוש מודל של שותף שמוטמע באופן עצמאי:

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. בקטע Model collections (אוספי מודלים), לוחצים על Self-deployable partner models (מודלים של שותפים שאפשר לפרוס באופן עצמאי) כדי לסנן את רשימת המודלים.

  3. לוחצים על כרטיס המודל של מודל השותף שרוצים לרכוש.

  4. לוחצים על יצירת קשר עם מחלקת המכירות.

  5. ממלאים את הטופס ושולחים את הבקשה.

אחרי שתשלימו את השלבים האלה, תועברו לשיחה עם נציג Google Cloud מכירות כדי להשלים את הרכישה.

פריסת מודלים

אחרי שרוכשים מודל של שותף שאפשר לפרוס באופן עצמאי, אפשר לפרוס אותו לנקודת קצה של Vertex AI באמצעות פריסה בלחיצה אחת. התהליך הזה מפשט את הפריסה על ידי הגדרה מראש של ההגדרות הנדרשות.

אפשר לבצע פריסה בלחיצה אחת באמצעות מסוף Google Cloud או Vertex AI SDK ל-Python.

המסוף

כדי לפרוס מודל של שותף במסוף Google Cloud :

  1. עוברים אל Model Garden.

    כניסה ל-Model Garden

  2. מאתרים את כרטיס המודל של מודל השותף שבו רוצים להשתמש ולוחצים עליו.

  3. לוחצים על פריסת המודל.

  4. מגדירים את הגדרות הפריסה לפי ההנחיות.

  5. לוחצים על פריסה.

Python

בדוגמה הבאה אפשר לראות איך פורסים מודל של שותף באמצעות Vertex AI SDK ל-Python. מחליפים את ערכי הפלייסהולדר בפרטים הספציפיים שלכם.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

המאמרים הבאים