Déployer des modèles ouverts depuis Model Garden

Model Garden vous permet de déployer vous-même des modèles ouverts. Les modèles déployés par vous-même ne sont pas sans serveur. Vous devez les déployer sur Gemini Enterprise Agent Platform avant de les utiliser. Ces modèles sont déployés de manière sécurisée dans votre Google Cloud projet et votre réseau VPC. Pour en savoir plus sur les modèles déployés par vous-même, consultez la documentation sur les modèles déployés par vous-même.

Pour savoir comment déployer des modèles partenaires, consultez Déployer des modèles partenaires à partir de Model Garden.

Modèles ouverts déployables par vous-même

Les modèles ouverts de Model Garden peuvent être disponibles à la fois en tant qu'API gérée (MaaS) et en tant que modèle déployable par vous-même. Lorsque les deux offres sont disponibles pour un modèle donné, la fiche de modèle de l'API gérée contient API Service dans son nom, contrairement au modèle déployable par vous-même.

Lister les modèles

Pour obtenir la liste des modèles ouverts déployables par vous-même, procédez comme suit :

  1. Accédez à Model Garden.

    Accéder à Model Garden

  2. Dans le filtre Fonctionnalités, sélectionnez Modèles ouverts et Déploiement en un clic.

Déployer des modèles

Après avoir identifié le modèle ouvert que vous souhaitez déployer, vous pouvez le déployer sur un point de terminaison Gemini Enterprise Agent Platform à l'aide du déploiement en un clic. Vous pouvez effectuer un déploiement en un clic à l'aide de la Google Cloud console ou du SDK Agent Platform pour Python.

Console

Pour déployer un modèle dans la Google Cloud console, procédez comme suit :

  1. Accédez à Model Garden.

    Accéder à Model Garden

  2. Recherchez et cliquez sur la fiche de modèle que vous souhaitez utiliser.

  3. Cliquez sur Déployer le modèle.

  4. Configurez votre déploiement en suivant les instructions fournies.

  5. Cliquez sur Déployer.

Python

L'exemple suivant montre comment déployer un modèle à l'aide du SDK Agent Platform pour Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Déployer des modèles avec des pondérations personnalisées

Model Garden vous permet de déployer des modèles compatibles avec des pondérations personnalisées à partir d'un bucket Cloud Storage. Pour en savoir plus sur le déploiement de modèles avec des pondérations personnalisées, consultez Déployer des modèles avec des pondérations personnalisées. Vous pouvez déployer des pondérations personnalisées à l'aide de la Google Cloud console, de la Google Cloud CLI, de l'API Agent Platform ou du SDK Agent Platform pour Python.

Étape suivante