Implementa modelos abiertos desde Model Garden

Model Garden te permite implementar modelos abiertos por tu cuenta. Los modelos implementados por el usuario no son sin servidor. Debes implementarlos en Vertex AI antes de usarlos. Estos modelos se implementan de forma segura en tu proyecto Google Cloud y red de VPC. Para obtener más información sobre los modelos de implementación propia, consulta la documentación sobre los modelos de implementación propia.

Para obtener información sobre la implementación de modelos de socios, consulta Implementa modelos de socios desde Model Garden.

Modelos abiertos autoimplementables

Los modelos abiertos en Model Garden pueden estar disponibles como una API administrada (MaaS) y como un modelo autodesplegable. Cuando ambas ofertas estén disponibles para un modelo determinado, la tarjeta del modelo de la API administrada tendrá API Service en su nombre, mientras que el modelo autodeployable no lo tendrá.

Enumera modelos

Para obtener una lista de los modelos abiertos que se pueden implementar por sí mismos, haz lo siguiente:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. En el filtro Funciones, selecciona Modelos abiertos y Implementación con un solo clic.

Implementar modelos

Después de identificar el modelo abierto que deseas implementar, puedes hacerlo en un extremo de Vertex AI con la implementación con un clic. Puedes realizar la implementación con un solo clic a través de la Google Cloud consola o el SDK de Vertex AI para Python.

Console

Para implementar un modelo en la consola de Google Cloud , haz lo siguiente:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. Busca y haz clic en la tarjeta del modelo que deseas usar.

  3. Haz clic en Implementar modelo.

  4. Configura tu implementación según las instrucciones proporcionadas.

  5. Haz clic en Implementar.

Python

En el siguiente ejemplo, se muestra cómo implementar un modelo con el SDK de Vertex AI para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Implementa modelos con pesos personalizados

Model Garden te permite implementar modelos compatibles con pesos personalizados desde un bucket de Cloud Storage. Para obtener más información sobre la implementación de modelos con pesos personalizados, consulta Implementa modelos con pesos personalizados. Puedes implementar pesos personalizados con la consola de Google Cloud , Google Cloud CLI, la API de Vertex AI o el SDK de Vertex AI para Python.

¿Qué sigue?