Implementa modelos abiertos desde Model Garden

Model Garden te permite implementar modelos abiertos por tu cuenta. Los modelos autoimplementados no son sin servidores. Debes implementarlos en Gemini Enterprise Agent Platform antes de usarlos. Estos modelos se implementan de forma segura en tu proyecto de Google Cloud y tu red de VPC. Para obtener más información sobre los modelos de implementación propia, consulta la documentación de los modelos de implementación propia.

Para obtener información sobre cómo implementar modelos de socios, consulta Implementa modelos de socios desde Model Garden.

Modelos abiertos autoimplementables

Los modelos abiertos en Model Garden pueden estar disponibles como una API administrada (MaaS) y como un modelo de implementación automática. Cuando ambas ofertas estén disponibles para un modelo determinado, la tarjeta de modelo de la API administrada tendrá Servicio de API en su nombre, mientras que el modelo de implementación automática no lo tendrá.

Enumera modelos

Para obtener una lista de los modelos abiertos que se pueden implementar de forma automática, haz lo siguiente:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. En el filtro Funciones, selecciona Modelos abiertos y Implementación con un solo clic.

Implementar modelos

Después de identificar el modelo abierto que quieres implementar, puedes implementarlo en un extremo de Gemini Enterprise Agent Platform con la implementación con un clic. Puedes realizar la implementación con un clic con la consola de Google Cloud o con el SDK de Agent Platform para Python.

Console

Para implementar un modelo en la consola de Google Cloud , haz lo siguiente:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. Busca y haz clic en la tarjeta del modelo que quieras usar.

  3. Haz clic en Implementar modelo.

  4. Configura tu implementación según las instrucciones proporcionadas.

  5. Haz clic en Implementar.

Python

En el siguiente ejemplo, se muestra cómo implementar un modelo con el SDK de Agent Platform para Python.

import agentplatform
from agentplatform import types

client = agentplatform.Client(project="PROJECT_ID", location="us-central1")

response = client.model_garden.deploy_publisher_model(
  model="meta/llama3-3@llama-3.3-70b-instruct",
  config=types.DeployPublisherModelConfig(
    accept_eula=True,
    machine_type="g4-standard-96",
    accelerator_type="NVIDIA_RTX_PRO_6000",
    accelerator_count=2,
    serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
    endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
    model_display_name="llama-3-3-70b-instruct",
  ),
)
print(f"Model deployed to endpoint: {response.endpoint}")

El tipo de máquina, el acelerador y la imagen de contenedor deben provenir de la misma opción de implementación verificada. Para enumerar las opciones de un modelo, llama a client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID").

De forma predeterminada, el modelo se entrega desde un extremo dedicado. Para entregarlo desde el DNS regional compartido, configura dedicated_endpoint_disabled=True.

Implementa modelos con pesos personalizados

Model Garden te permite implementar modelos compatibles con pesos personalizados desde un bucket de Cloud Storage. Para obtener más información sobre la implementación de modelos con pesos personalizados, consulta Implementa modelos con pesos personalizados. Puedes implementar pesos personalizados con la consola de Google Cloud , Google Cloud CLI, la API de Agent Platform o el SDK de Agent Platform para Python.

¿Qué sigue?