O Model Garden permite que você implante modelos abertos por conta própria. Os modelos autoimplantados não são sem servidor. É necessário implantá-los na Gemini Enterprise Agent Platform antes do uso. Esses modelos são implantados com segurança no projeto do Google Cloud e na rede VPC. Para mais informações sobre modelos autoimplantados, consulte a documentação de modelos autoimplantados.
Para informações sobre como implantar modelos de parceiros, consulte Implantar modelos de parceiros do Model Garden.
Modelos abertos autoimplantáveis
Os modelos abertos no Model Garden podem estar disponíveis como uma API gerenciada (MaaS) e como um modelo de autoimplantação. Quando as duas ofertas estão disponíveis para um determinado modelo, o card do modelo da API gerenciada tem Serviço de API no nome, enquanto o modelo de autoimplantação não tem.
Listar modelos
Para ver uma lista de modelos abertos de autoimplantação, faça o seguinte:
Acesse o Model Garden.
No filtro Recursos, selecione Modelos abertos e Implantação com um clique.
Implantar modelos
Depois de identificar o modelo aberto que você quer implantar, use a implantação com um clique para implantá-lo em um endpoint da Gemini Enterprise Agent Platform. É possível realizar a implantação com um clique usando o console do Google Cloud ou o SDK da Agent Platform para Python.
Console
Para implantar um modelo no console do Google Cloud , faça o seguinte:
Acesse o Model Garden.
Encontre e clique no card do modelo que você quer usar.
Clique em Implantar modelo.
Configure sua implantação com base nas instruções fornecidas.
Clique em Implantar.
Python
O exemplo a seguir mostra como implantar um modelo usando o SDK da Agent Platform para Python.
import agentplatform
from agentplatform import types
client = agentplatform.Client(project="PROJECT_ID", location="us-central1")
response = client.model_garden.deploy_publisher_model(
model="meta/llama3-3@llama-3.3-70b-instruct",
config=types.DeployPublisherModelConfig(
accept_eula=True,
machine_type="g4-standard-96",
accelerator_type="NVIDIA_RTX_PRO_6000",
accelerator_count=2,
serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
model_display_name="llama-3-3-70b-instruct",
),
)
print(f"Model deployed to endpoint: {response.endpoint}")
O tipo de máquina, o acelerador e a imagem do contêiner precisam ser da mesma
opção de implantação verificada. Para listar as opções de um modelo, chame
client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID").
Por padrão, o modelo é disponibilizado em um endpoint dedicado. Para disponibilizá-lo no DNS regional compartilhado, defina dedicated_endpoint_disabled=True.
Implantar modelos com pesos personalizados
O Model Garden permite implantar modelos compatíveis com pesos personalizados de um bucket do Cloud Storage. Para mais informações sobre como implantar modelos com pesos personalizados, consulte Implantar modelos com pesos personalizados. É possível implantar pesos personalizados usando o console do Google Cloud , a Google Cloud CLI, a API Agent Platform ou o SDK da Agent Platform para Python.
A seguir
- Escolher uma opção de disponibilização de modelo aberto
- Usar modelos abertos com o modelo como serviço (MaaS)
- Implantar modelos abertos com contêineres pré-criados
- Implantar modelos abertos com um contêiner vLLM personalizado