Eseguire il deployment dei modelli dei partner da Model Garden

Model Garden ti consente di eseguire il deployment autonomo di modelli di partner selezionati (anteprima). I modelli di cui è stato eseguito il deployment autonomo non sono serverless. Devi eseguirne il deployment su Vertex AI prima di utilizzarli. Questi modelli vengono implementati in modo sicuro all'interno del tuo progettoGoogle Cloud e della tua rete VPC. Per saperne di più sui modelli autodistribuiti, consulta la documentazione sui modelli autodistribuiti.

Acquistare modelli di partner con deployment autonomo

Per eseguire il deployment di modelli partner auto-distribuibili su Vertex AI, devi prima acquistarli tramite Google Cloud Marketplace. Per acquistare un modello partner autogestito:

  1. Vai a Model Garden.

    Vai a Model Garden

  2. In Raccolte di modelli, fai clic su Modelli di partner con deployment autonomo per filtrare l'elenco dei modelli.

  3. Fai clic sulla scheda del modello partner che vuoi acquistare.

  4. Fai clic su Contatta il team di vendita.

  5. Compila il modulo e invia la richiesta.

Dopo aver completato questi passaggi, ti metteremo in contatto con un Google Cloud rappresentante delle vendite per finalizzare l'acquisto.

Deployment modelli

Dopo aver acquistato un modello partner autodeployable, puoi eseguirne il deployment in un endpoint Vertex AI utilizzando il deployment con un solo clic. Questo processo semplifica il deployment preconfigurando le impostazioni necessarie.

Puoi eseguire il deployment con un solo clic utilizzando la console Google Cloud o l'SDK Vertex AI per Python.

Console

Per eseguire il deployment di un modello partner nella console Google Cloud :

  1. Vai a Model Garden.

    Vai a Model Garden

  2. Individua e fai clic sulla scheda del modello partner che vuoi utilizzare.

  3. Fai clic su Esegui il deployment del modello.

  4. Configura le impostazioni di deployment come richiesto.

  5. Fai clic su Esegui il deployment.

Python

Il seguente esempio mostra come eseguire il deployment di un modello partner utilizzando l'SDK Vertex AI per Python. Sostituisci i valori segnaposto con le tue informazioni specifiche.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Passaggi successivi