Desplegar modelos de partners desde Model Garden

Model Garden te permite desplegar por tu cuenta determinados modelos de partners (vista previa). Los modelos autodesplegados no son sin servidor. Debes desplegarlos en Vertex AI antes de usarlos. Estos modelos se implementan de forma segura en tuGoogle Cloud proyecto y red de VPC. Para obtener más información sobre los modelos implementados por el usuario, consulta la documentación sobre modelos implementados por el usuario.

Comprar modelos de partners autodesplegables

Para desplegar modelos de partners que se pueden desplegar automáticamente en Vertex AI, primero debe comprarlos a través de Google Cloud Marketplace. Para comprar un modelo de partner autogestionado, siga estos pasos:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. En Colecciones de modelos, haga clic en Modelos de partners autodesplegables para filtrar la lista de modelos.

  3. Haz clic en la tarjeta del modelo del partner que quieras comprar.

  4. Haz clic en Contactar con Ventas.

  5. Rellena el formulario y envía tu solicitud.

Una vez que hayas completado estos pasos, te pondremos en contacto con un representante de ventas para finalizar la compra. Google Cloud

Desplegar modelos

Después de comprar un modelo de partner autodesplegable, puedes desplegarlo en un endpoint de Vertex AI con el despliegue con un solo clic. Este proceso simplifica la implementación preconfigurando los ajustes necesarios.

Puedes llevar a cabo la implementación con un solo clic mediante la Google Cloud consola o el SDK de Vertex AI para Python.

Consola

Para desplegar un modelo de partner en la consola Google Cloud , siga estos pasos:

  1. Ve a Model Garden.

    Ir a Model Garden

  2. Busca y haz clic en la tarjeta del modelo del partner que quieras usar.

  3. Haz clic en Desplegar modelo.

  4. Configura los ajustes de implementación según se te indique.

  5. Haz clic en Desplegar.

Python

En el siguiente ejemplo se muestra cómo desplegar un modelo de partner con el SDK de Vertex AI para Python. Sustituye los valores de marcador de posición por tu información específica.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Siguientes pasos