Implantar modelos abertos do Model Garden

O Model Garden permite que você implante modelos abertos por conta própria. Os modelos autodeployados não são sem servidor. É necessário implantá-los na Vertex AI antes de usar. Esses modelos são implantados com segurança no seu projeto Google Cloud e na rede VPC. Para mais informações sobre modelos autodeployados, consulte a documentação sobre modelos autodeployados.

Para informações sobre como implantar modelos de parceiros, consulte Implantar modelos de parceiros no Model Garden.

Modelos abertos para autoimplantação

Os modelos abertos no Model Garden podem estar disponíveis como uma API gerenciada (MaaS) e como um modelo autônomo. Quando as duas ofertas estão disponíveis para um determinado modelo, o card do modelo da API gerenciada tem Serviço de API no nome, enquanto o modelo autônomo não tem.

Listar modelos

Para conferir uma lista de modelos abertos autônomos, faça o seguinte:

  1. Acesse o Model Garden.

    Acessar o Model Garden

  2. No filtro Recursos, selecione Modelos abertos e Implantação com um clique.

Implantar modelos

Depois de identificar o modelo aberto que você quer implantar, é possível fazer isso em um endpoint da Vertex AI usando a implantação com um clique. É possível fazer a implantação com um clique usando o console Google Cloud ou o SDK da Vertex AI para Python.

Console

Para implantar um modelo no console do Google Cloud , faça o seguinte:

  1. Acesse o Model Garden.

    Acessar o Model Garden

  2. Localize e clique no card do modelo que você quer usar.

  3. Clique em Implantar modelo.

  4. Configure a implantação com base nas instruções fornecidas.

  5. Clique em Implantar.

Python

O exemplo a seguir mostra como implantar um modelo usando o SDK da Vertex AI para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Implantar modelos com pesos personalizados

Com o Model Garden, é possível implantar modelos compatíveis com pesos personalizados de um bucket do Cloud Storage. Para mais informações sobre como implantar modelos com ponderações personalizadas, consulte Implantar modelos com ponderações personalizadas. É possível implantar pesos personalizados usando o console Google Cloud , a Google Cloud CLI, a API Vertex AI ou o SDK da Vertex AI para Python.

A seguir