Eseguire il deployment dei modelli dei partner da Model Garden

Model Garden ti consente di eseguire autonomamente il deployment di modelli di partner selezionati (anteprima). I modelli di cui è stato eseguito il deployment autonomo non sono serverless. Devi eseguirne il deployment su Gemini Enterprise Agent Platform prima di utilizzarli. Questi modelli vengono sottoposti a deployment in modo sicuro all'interno del tuo Google Cloud progetto e della tua rete VPC. Per ulteriori informazioni sui modelli di cui è stato eseguito il deployment autonomo, consulta la documentazione relativa.

Acquistare modelli di partner con deployment autonomo

Per eseguire il deployment di modelli di partner con deployment autonomo su Gemini Enterprise Agent Platform, devi prima acquistarli tramite Google Cloud Marketplace. Per acquistare un modello di partner con deployment autonomo:

  1. Vai a Model Garden.

    Vai a Model Garden

  2. In Raccolte di modelli, fai clic su Modelli di partner con deployment autonomo per filtrare l'elenco dei modelli.

  3. Fai clic sulla scheda del modello di partner che vuoi acquistare.

  4. Fai clic su Contatta il team di vendita.

  5. Compila il modulo e invia la richiesta.

Dopo aver completato questi passaggi, ti metteremo in contatto con un Google Cloud rappresentante del team di vendita per finalizzare l'acquisto.

Deployment modelli

Dopo aver acquistato un modello di partner con deployment autonomo, puoi eseguirne il deployment su un endpoint di Gemini Enterprise Agent Platform utilizzando il deployment con un solo clic. Questa procedura semplifica il deployment preconfigurando le impostazioni necessarie.

Puoi eseguire il deployment con un solo clic utilizzando la Google Cloud console o l' SDK Agent Platform per Python.

Console

Per eseguire il deployment di un modello di partner nella Google Cloud console:

  1. Vai a Model Garden.

    Vai a Model Garden

  2. Individua e fai clic sulla scheda del modello di partner che vuoi utilizzare.

  3. Fai clic su Esegui il deployment del modello.

  4. Configura le impostazioni di deployment come richiesto.

  5. Fai clic su Esegui il deployment.

Python

Il seguente esempio mostra come eseguire il deployment di un modello di partner utilizzando l'SDK Agent Platform per Python. Sostituisci i valori dei segnaposto con le tue informazioni specifiche.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Passaggi successivi