Offene Modelle aus Model Garden bereitstellen

Mit Model Garden können Sie offene Modelle selbst bereitstellen. Selbst bereitgestellte Modelle sind nicht serverlos. Sie müssen sie vor der Verwendung in Vertex AI bereitstellen. Diese Modelle werden sicher in Ihrem Google Cloud Projekt und VPC-Netzwerk bereitgestellt. Weitere Informationen zu selbst bereitgestellten Modellen finden Sie in der Dokumentation zu selbst bereitgestellten Modellen.

Informationen zum Bereitstellen von Partnermodellen finden Sie unter Partnermodelle aus Model Garden bereitstellen.

Selbst bereitstellbare offene Modelle

Offene Modelle in Model Garden sind möglicherweise sowohl als verwaltete API (MaaS) als auch als selbst bereitstellbares Modell verfügbar. Wenn beide Angebote für ein bestimmtes Modell verfügbar sind, enthält die Modellkarte für die verwaltete API API-Dienst im Namen, während das selbst bereitstellbare Modell dies nicht tut.

Modelle auflisten

So rufen Sie eine Liste der selbst bereitstellbaren offenen Modelle auf:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Wählen Sie im Filter Funktionen die Optionen Offene Modelle und Bereitstellung mit einem Klick aus.

Modelle bereitstellen

Nachdem Sie das offene Modell identifiziert haben, das Sie bereitstellen möchten, können Sie es mit der Bereitstellung mit einem Klick auf einem Vertex AI-Endpunkt bereitstellen. Sie können die Bereitstellung mit einem Klick über die Google Cloud Console oder das Vertex AI SDK für Python ausführen.

Console

So stellen Sie ein Modell in der Google Cloud Console bereit:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Suchen Sie die Modellkarte des Modells, das Sie verwenden möchten, und klicken Sie darauf.

  3. Klicken Sie auf Modell bereitstellen.

  4. Konfigurieren Sie die Bereitstellung gemäß den Anweisungen.

  5. Klicken Sie auf Bereitstellen.

Python

Das folgende Beispiel zeigt, wie Sie ein Modell mit dem Vertex AI SDK für Python bereitstellen.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Modelle mit benutzerdefinierten Gewichtungen bereitstellen

Mit Model Garden können Sie unterstützte Modelle mit benutzerdefinierten Gewichtungen aus einem Cloud Storage-Bucket bereitstellen. Weitere Informationen zum Bereitstellen von Modellen mit benutzerdefinierten Gewichtungen finden Sie unter Modelle mit benutzerdefinierten Gewichtungen bereitstellen. Sie können benutzerdefinierte Gewichtungen über die Google Cloud Console, die Google Cloud CLI, die Vertex AI API oder das Vertex AI SDK für Python bereitstellen.

Nächste Schritte