Implantar modelos abertos do Model Garden

O Model Garden permite a autoimplantação de modelos abertos. Os modelos autoimplantados não são sem servidor. É necessário implantá-los na Gemini Enterprise Agent Platform antes de usar. Esses modelos são implantados com segurança no seu Google Cloud projeto e na rede VPC. Para mais informações sobre modelos autoimplantados, consulte a documentação de modelos autoimplantados.

Para informações sobre como implantar modelos de parceiros, consulte Implantar modelos de parceiros do Model Garden.

Modelos abertos autoimplantáveis

Os modelos abertos no Model Garden podem estar disponíveis como uma API gerenciada (MaaS) e como um modelo autoimplantável. Quando as duas ofertas estão disponíveis para um determinado modelo, o card de modelo da API gerenciada tem API Service no nome, enquanto o modelo autoimplantável não.

Listar modelos

Para receber uma lista de modelos abertos autoimplantáveis, faça o seguinte:

  1. Acessar o Model Garden.

    Acessar o Model Garden

  2. No filtro Recursos, selecione Modelos abertos e Implantação com um clique.

Implantar modelos

Depois de identificar o modelo aberto que você quer implantar, é possível implantar o modelo em um endpoint da Gemini Enterprise Agent Platform usando a implantação com um clique. É possível realizar a implantação com um clique usando o Google Cloud console ou o SDK da Agent Platform para Python.

Console

Para implantar um modelo no Google Cloud console, faça o seguinte:

  1. Acessar o Model Garden.

    Acessar o Model Garden

  2. Localize e clique no card de modelo do modelo que você quer usar.

  3. Clique em Implantar modelo.

  4. Configure a implantação com base nas instruções fornecidas.

  5. Clique em Implantar.

Python

O exemplo a seguir mostra como implantar um modelo usando o SDK da Agent Platform para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Implantar modelos com pesos personalizados

O Model Garden permite implantar modelos compatíveis com pesos personalizados de um bucket do Cloud Storage. Para mais informações sobre como implantar modelos com pesos personalizados, consulte Implantar modelos com pesos personalizados. É possível implantar pesos personalizados usando o Google Cloud console, a Google Cloud CLI, a API Agent Platform ou o SDK da Agent Platform para Python.

A seguir