Implemente modelos abertos do Model Garden

O Model Garden permite-lhe implementar modelos abertos de forma autónoma. Os modelos implementados autonomamente não são sem servidor. Tem de implementá-los no Vertex AI antes de os usar. Estes modelos são implementados de forma segura no seu Google Cloud projeto e rede VPC. Para mais informações sobre os modelos implementados automaticamente, consulte a documentação sobre modelos implementados automaticamente.

Para informações sobre a implementação de modelos de parceiros, consulte o artigo Implemente modelos de parceiros a partir do Model Garden.

Modelos abertos autoimplementáveis

Os modelos abertos no Model Garden podem estar disponíveis como uma API gerida (MaaS) e como um modelo de implementação automática. Quando ambas as ofertas estão disponíveis para um determinado modelo, o cartão do modelo da API gerida tem Serviço de API no nome, enquanto o modelo implementável autonomamente não tem.

Apresentar modelos

Para obter uma lista de modelos abertos implementáveis autonomamente, faça o seguinte:

  1. Aceda ao Model Garden.

    Aceda ao Model Garden

  2. No filtro Funcionalidades, selecione Modelos abertos e Implementação com um clique.

Implementar modelos

Depois de identificar o modelo aberto que quer implementar, pode implementá-lo num ponto final do Vertex AI através da implementação com um clique. Pode fazer uma implementação com um clique através da consola ou do SDK Vertex AI para Python. Google Cloud

Consola

Para implementar um modelo na Google Cloud consola, faça o seguinte:

  1. Aceda ao Model Garden.

    Aceda ao Model Garden

  2. Localize e clique no cartão do modelo que quer usar.

  3. Clique em Implementar modelo.

  4. Configure a implementação com base nas instruções fornecidas.

  5. Clique em Implementar.

Python

O exemplo seguinte mostra como implementar um modelo através do SDK do Vertex AI para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Implemente modelos com ponderações personalizadas

O Model Garden permite-lhe implementar modelos suportados com ponderações personalizadas a partir de um contentor do Cloud Storage. Para mais informações sobre a implementação de modelos com ponderações personalizadas, consulte o artigo Implemente modelos com ponderações personalizadas. Pode implementar ponderações personalizadas através da Google Cloud consola, da CLI do Google Cloud, da API Vertex AI ou do SDK Vertex AI para Python.

O que se segue?