Implemente modelos de parceiros do Model Garden

O Model Garden permite-lhe implementar automaticamente modelos de parceiros selecionados (pré-visualização). Os modelos implementados automaticamente não são sem servidor. Tem de implementá-los no Vertex AI antes de os usar. Estes modelos são implementados de forma segura no seu Google Cloud projeto e rede VPC. Para mais informações sobre modelos implementados automaticamente, consulte a documentação de modelos implementados automaticamente.

Compre modelos de parceiros implementáveis automaticamente

Para implementar modelos de parceiros autoimplementáveis no Vertex AI, tem primeiro de comprá-los através do Google Cloud Marketplace. Para comprar um modelo de parceiro implementado por si, faça o seguinte:

  1. Aceda ao Model Garden.

    Aceda ao Model Garden

  2. Em Coleções de modelos, clique em Modelos de parceiros implementáveis automaticamente para filtrar a lista de modelos.

  3. Clique no cartão do modelo do parceiro que quer comprar.

  4. Clique em Contactar vendas.

  5. Preencha o formulário e envie o seu pedido.

Depois de concluir estes passos, vai entrar em contacto com um representante de Google Cloud vendas para finalizar a compra.

Implementar modelos

Depois de comprar um modelo de parceiro implementável automaticamente, pode implementá-lo num ponto final da Vertex AI através da implementação com um clique. Este processo simplifica a implementação pré-configurando as definições necessárias.

Pode fazer a implementação com um clique através da Google Cloud consola ou do SDK Vertex AI para Python.

Consola

Para implementar um modelo de parceiro na Google Cloud consola, faça o seguinte:

  1. Aceda ao Model Garden.

    Aceda ao Model Garden

  2. Localize e clique no cartão do modelo de parceiro que quer usar.

  3. Clique em Implementar modelo.

  4. Configure as definições de implementação conforme solicitado.

  5. Clique em Implementar.

Python

O exemplo seguinte mostra como implementar um modelo de parceiro usando o SDK da Vertex AI para Python. Substitua os valores dos marcadores de posição pelas suas informações específicas.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

O que se segue?