Desplegar modelos abiertos desde Model Garden

Model Garden te permite desplegar modelos abiertos por tu cuenta. Los modelos implementados por el usuario no son sin servidor. Debes desplegarlos en Vertex AI antes de usarlos. Estos modelos se implementan de forma segura en tu Google Cloud proyecto y red de VPC. Para obtener más información sobre los modelos implementados por los usuarios, consulta la documentación sobre modelos implementados por los usuarios.

Para obtener información sobre cómo desplegar modelos de partners, consulta el artículo Desplegar modelos de partners desde Model Garden.

Modelos abiertos autodesplegables

Los modelos abiertos de Model Garden pueden estar disponibles como API gestionada (MaaS) y como modelo autodesplegable. Cuando ambas ofertas estén disponibles para un modelo concreto, la tarjeta del modelo de la API gestionada tendrá API Service en su nombre, mientras que el modelo autodesplegable no.

Mostrar modelos

Para obtener una lista de modelos abiertos que se pueden implementar por cuenta propia, siga estos pasos:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. En el filtro Funciones, selecciona Modelos abiertos y Implementación con un clic.

Desplegar modelos

Una vez que hayas identificado el modelo abierto que quieres desplegar, puedes desplegarlo en un endpoint de Vertex AI con la función de despliegue con un solo clic. Puedes realizar una implementación con un solo clic mediante la Google Cloud consola o el SDK de Vertex AI para Python.

Consola

Para desplegar un modelo en la consola, siga estos pasos: Google Cloud

  1. Ve a Model Garden.

    Ir a Model Garden

  2. Busca y haz clic en la tarjeta del modelo que quieras usar.

  3. Haz clic en Desplegar modelo.

  4. Configure su implementación siguiendo las instrucciones proporcionadas.

  5. Haz clic en Desplegar.

Python

En el siguiente ejemplo se muestra cómo desplegar un modelo con el SDK de Vertex AI para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Desplegar modelos con ponderaciones personalizadas

Model Garden te permite implementar modelos compatibles con pesos personalizados desde un segmento de Cloud Storage. Para obtener más información sobre cómo implementar modelos con pesos personalizados, consulte Implementar modelos con pesos personalizados. Puedes implementar pesos personalizados mediante la consola de Google Cloud , la CLI de Google Cloud, la API de Vertex AI o el SDK de Vertex AI para Python.

Siguientes pasos