Implantar modelos de parceiros do Model Garden

O Model Garden permite autoimplantar modelos de parceiros selecionados (prévia). Os modelos autoimplantados não são sem servidor. É necessário implantá-los na Vertex AI antes de usar. Esses modelos são implantados com segurança no seu projeto e na rede VPCGoogle Cloud . Para mais informações sobre modelos autodeployados, consulte a documentação sobre modelos autodeployados.

Comprar modelos de parceiros para autoimplantação

Para implantar modelos de parceiros autônomos na Vertex AI, primeiro é necessário comprá-los no Google Cloud Marketplace. Para comprar um modelo de parceiro autoimplantado, faça o seguinte:

  1. Acesse o Model Garden.

    Acessar o Model Garden

  2. Em Coleções de modelos, clique em Modelos de parceiros para autoimplantação para filtrar a lista de modelos.

  3. Clique no card do modelo de parceiro que você quer comprar.

  4. Clique em Falar com a equipe de vendas.

  5. Preencha o formulário e envie sua solicitação.

Depois de concluir essas etapas, você vai se conectar com um representante de vendas da Google Cloud para finalizar a compra.

Implantar modelos

Depois de comprar um modelo de parceiro autodeployável, é possível implantá-lo em um endpoint da Vertex AI usando a implantação com um clique. Esse processo simplifica a implantação pré-configurando as definições necessárias.

É possível fazer a implantação com um clique usando o console Google Cloud ou o SDK da Vertex AI para Python.

Console

Para implantar um modelo de parceiro no console do Google Cloud , faça o seguinte:

  1. Acesse o Model Garden.

    Acessar o Model Garden

  2. Localize e clique no card do modelo de parceiro que você quer usar.

  3. Clique em Implantar modelo.

  4. Configure as opções de implantação conforme solicitado.

  5. Clique em Implantar.

Python

O exemplo a seguir mostra como implantar um modelo de parceiro usando o SDK da Vertex AI para Python. Substitua os valores de marcador pelas suas informações específicas.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

A seguir