Déployer des modèles partenaires depuis Model Garden

Model Garden vous permet de déployer vous-même certains modèles partenaires (version bêta). Les modèles déployés automatiquement ne sont pas sans serveur. Vous devez les déployer sur Vertex AI avant de les utiliser. Ces modèles sont déployés de manière sécurisée dans votre projetGoogle Cloud et votre réseau VPC. Pour en savoir plus sur les modèles déployés par vous-même, consultez la documentation sur les modèles déployés par vous-même.

Acheter des modèles partenaires à déployer soi-même

Pour déployer des modèles partenaires auto-déployables sur Vertex AI, vous devez d'abord les acheter sur Google Cloud Marketplace. Pour acheter un modèle partenaire auto-déployé, procédez comme suit :

  1. Accédez à Model Garden.

    Accéder à Model Garden

  2. Dans Collections de modèles, cliquez sur Modèles partenaires à déployer soi-même pour filtrer la liste des modèles.

  3. Cliquez sur la fiche du modèle partenaire que vous souhaitez acheter.

  4. Cliquez sur Contacter le service commercial.

  5. Remplissez le formulaire et envoyez votre demande.

Une fois ces étapes terminées, vous serez mis en relation avec un représentant des ventes Google Cloud pour finaliser l'achat.

Déployer des modèles

Après avoir acheté un modèle partenaire auto-déployable, vous pouvez le déployer sur un point de terminaison Vertex AI en un clic. Ce processus simplifie le déploiement en préconfigurant les paramètres nécessaires.

Vous pouvez effectuer un déploiement en un clic à l'aide de la console Google Cloud ou du SDK Vertex AI pour Python.

Console

Pour déployer un modèle partenaire dans la console Google Cloud , procédez comme suit :

  1. Accédez à Model Garden.

    Accéder à Model Garden

  2. Recherchez et cliquez sur la fiche du modèle partenaire que vous souhaitez utiliser.

  3. Cliquez sur Déployer le modèle.

  4. Configurez les paramètres de déploiement comme indiqué.

  5. Cliquez sur Déployer.

Python

L'exemple suivant montre comment déployer un modèle partenaire à l'aide du SDK Vertex AI pour Python. Remplacez les valeurs d'espace réservé par vos informations spécifiques.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Étapes suivantes