Implementa modelos abiertos desde Model Garden

Model Garden te permite autoimplementar modelos abiertos. Los modelos autoimplementados no son sin servidores. Debes implementarlos en Gemini Enterprise Agent Platform antes de usarlos. Estos modelos se implementan de forma segura en tu Google Cloud proyecto y red de VPC. Para obtener más información sobre los modelos autoimplementados, consulta la documentación sobre modelos autoimplementados.

Para obtener información sobre la implementación de modelos de socios, consulta Implementa modelos de socios desde Model Garden.

Modelos abiertos autoimplementables

Los modelos abiertos en Model Garden pueden estar disponibles como una API administrada (MaaS) y como un modelo autoimplementable. Cuando ambas ofertas están disponibles para un modelo determinado, la ficha del modelo para la API administrada tendrá API Service en su nombre, mientras que el modelo autoimplementable no lo tendrá.

Enumera modelos

Para obtener una lista de los modelos abiertos autoimplementables, haz lo siguiente:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. En el filtro Features, selecciona Open models y One-click deployment.

Implementar modelos

Después de identificar el modelo abierto que deseas implementar, puedes hacerlo en un extremo de Gemini Enterprise Agent Platform con la implementación con un clic. Puedes realizar la implementación con un clic con la Google Cloud consola o con el SDK de Agent Platform para Python.

Console

Para implementar un modelo en la Google Cloud consola, haz lo siguiente:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. Ubica y haz clic en la ficha del modelo que deseas usar.

  3. Haz clic en Implementar modelo.

  4. Configura tu implementación según las instrucciones proporcionadas.

  5. Haz clic en Implementar.

Python

En el siguiente ejemplo, se muestra cómo implementar un modelo con el SDK de Agent Platform para Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Implementa modelos con pesos personalizados

Model Garden te permite implementar modelos compatibles con pesos personalizados desde un bucket de Cloud Storage. Para obtener más información sobre la implementación de modelos con pesos personalizados, consulta Implementa modelos con pesos personalizados. Puedes implementar pesos personalizados con la Google Cloud consola, la Google Cloud CLI, la API de Agent Platform o el SDK de Agent Platform para Python.

¿Qué sigue?