Model Garden te permite implementar modelos abiertos por tu cuenta. Los modelos autoimplementados no son sin servidores. Debes implementarlos en Gemini Enterprise Agent Platform antes de usarlos. Estos modelos se implementan de forma segura en tu proyecto de Google Cloud y tu red de VPC. Para obtener más información sobre los modelos de implementación propia, consulta la documentación de los modelos de implementación propia.
Para obtener información sobre cómo implementar modelos de socios, consulta Implementa modelos de socios desde Model Garden.
Modelos abiertos autoimplementables
Los modelos abiertos en Model Garden pueden estar disponibles como una API administrada (MaaS) y como un modelo de implementación automática. Cuando ambas ofertas estén disponibles para un modelo determinado, la tarjeta de modelo de la API administrada tendrá Servicio de API en su nombre, mientras que el modelo de implementación automática no lo tendrá.
Enumera modelos
Para obtener una lista de los modelos abiertos que se pueden implementar de forma automática, haz lo siguiente:
Ve a Model Garden.
En el filtro Funciones, selecciona Modelos abiertos y Implementación con un solo clic.
Implementar modelos
Después de identificar el modelo abierto que quieres implementar, puedes implementarlo en un extremo de Gemini Enterprise Agent Platform con la implementación con un clic. Puedes realizar la implementación con un clic con la consola de Google Cloud o con el SDK de Agent Platform para Python.
Console
Para implementar un modelo en la consola de Google Cloud , haz lo siguiente:
Ve a Model Garden.
Busca y haz clic en la tarjeta del modelo que quieras usar.
Haz clic en Implementar modelo.
Configura tu implementación según las instrucciones proporcionadas.
Haz clic en Implementar.
Python
En el siguiente ejemplo, se muestra cómo implementar un modelo con el SDK de Agent Platform para Python.
import agentplatform
from agentplatform import types
client = agentplatform.Client(project="PROJECT_ID", location="us-central1")
response = client.model_garden.deploy_publisher_model(
model="meta/llama3-3@llama-3.3-70b-instruct",
config=types.DeployPublisherModelConfig(
accept_eula=True,
machine_type="g4-standard-96",
accelerator_type="NVIDIA_RTX_PRO_6000",
accelerator_count=2,
serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
model_display_name="llama-3-3-70b-instruct",
),
)
print(f"Model deployed to endpoint: {response.endpoint}")
El tipo de máquina, el acelerador y la imagen de contenedor deben provenir de la misma
opción de implementación verificada. Para enumerar las opciones de un modelo, llama a
client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID").
De forma predeterminada, el modelo se entrega desde un extremo dedicado. Para entregarlo desde el
DNS regional compartido, configura dedicated_endpoint_disabled=True.
Implementa modelos con pesos personalizados
Model Garden te permite implementar modelos compatibles con pesos personalizados desde un bucket de Cloud Storage. Para obtener más información sobre la implementación de modelos con pesos personalizados, consulta Implementa modelos con pesos personalizados. Puedes implementar pesos personalizados con la consola de Google Cloud , Google Cloud CLI, la API de Agent Platform o el SDK de Agent Platform para Python.
¿Qué sigue?
- Elige una opción de entrega de modelos abiertos
- Usa modelos abiertos con el modelo como servicio (MaaS)
- Implementa modelos abiertos con contenedores compilados previamente
- Implementa modelos abiertos con un contenedor de vLLM personalizado