Déployer des modèles partenaires depuis Model Garden

Model Garden vous permet de déployer vous-même certains modèles partenaires (aperçu). Les modèles auto-déployés ne sont pas sans serveur. Vous devez les déployer sur Vertex AI avant de les utiliser. Ces modèles sont déployés de manière sécurisée dans votre Google Cloud projet et votre réseau VPC. Pour en savoir plus sur les modèles auto-déployés, consultez la documentation sur les modèles auto-déployés.

Acheter des modèles partenaires auto-déployables

Pour déployer des modèles partenaires auto-déployables sur Vertex AI, vous devez d'abord les acheter sur Google Cloud Marketplace. Pour acheter un modèle partenaire auto-déployé, procédez comme suit :

  1. Accédez à Model Garden.

    Accéder à Model Garden

  2. Dans Collections de modèles, cliquez sur Modèles partenaires auto-déployables pour filtrer la liste des modèles.

  3. Cliquez sur la fiche du modèle partenaire que vous souhaitez acheter.

  4. Cliquez sur Contacter le service commercial.

  5. Remplissez le formulaire et envoyez votre demande.

Une fois ces étapes terminées, vous serez mis en relation avec un Google Cloud représentant commercial pour finaliser l'achat.

Déployer des modèles

Après avoir acheté un modèle partenaire auto-déployable, vous pouvez le déployer sur un point de terminaison Vertex AI à l'aide du déploiement en un clic. Ce processus simplifie le déploiement en préconfigurant les paramètres nécessaires.

Vous pouvez effectuer un déploiement en un clic à l'aide de la Google Cloud console ou du SDK Vertex AI pour Python.

Console

Pour déployer un modèle partenaire dans la Google Cloud console, procédez comme suit :

  1. Accédez à Model Garden.

    Accéder à Model Garden

  2. Recherchez et cliquez sur la fiche du modèle partenaire que vous souhaitez utiliser.

  3. Cliquez sur Déployer le modèle.

  4. Configurez les paramètres de déploiement comme indiqué.

  5. Cliquez sur Déployer.

Python

L'exemple suivant montre comment déployer un modèle partenaire à l'aide du SDK Vertex AI pour Python. Remplacez les valeurs d'espace réservé par vos informations spécifiques.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Étape suivante