Implantar modelos de parceiros do Model Garden

O Model Garden permite a autoimplantação de modelos de parceiros selecionados (prévia). Os modelos autoimplantados não são sem servidor. É necessário implantá-los na Gemini Enterprise Agent Platform antes de usá-los. Esses modelos são implantados com segurança no seu Google Cloud projeto e na rede VPC. Para mais informações sobre modelos autoimplantados, consulte a documentação de modelos autoimplantados.

Comprar modelos de parceiros autoimplantáveis

Para implantar modelos de parceiros autoimplantáveis na Gemini Enterprise Agent Platform, primeiro é necessário comprá-los no Google Cloud Marketplace. Para comprar um modelo de parceiro autoimplantado, faça o seguinte:

  1. Acessar o Model Garden.

    Acessar o Model Garden

  2. Em Coleções de modelos, clique em Modelos de parceiros autoimplantáveis para filtrar a lista de modelos.

  3. Clique no card de modelo de parceiro que você quer comprar.

  4. Clique em Falar com a equipe de vendas.

  5. Preencha o formulário e envie sua solicitação.

Depois de concluir essas etapas, você será conectado a um Google Cloud representante de vendas para finalizar a compra.

Implantar modelos

Depois de comprar um modelo de parceiro autoimplantável, você pode implantá-lo em um endpoint da Gemini Enterprise Agent Platform usando a implantação com um clique. Esse processo simplifica a implantação pré-configurando as definições necessárias.

É possível realizar a implantação com um clique usando o Google Cloud console ou o SDK da Agent Platform para Python.

Console

Para implantar um modelo de parceiro no Google Cloud console, faça o seguinte:

  1. Acessar o Model Garden.

    Acessar o Model Garden

  2. Localize e clique no card de modelo de parceiro que você quer usar.

  3. Clique em Implantar modelo.

  4. Configure as definições de implantação conforme solicitado.

  5. Clique em Implantar.

Python

O exemplo a seguir mostra como implantar um modelo de parceiro usando o SDK do Agent Platform para Python. Substitua os valores de marcador pelas suas informações específicas.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

A seguir