Offene Modelle aus Model Garden bereitstellen

Mit Model Garden können Sie offene Modelle selbst bereitstellen. Selbst bereitgestellte Modelle sind nicht serverlos. Sie müssen sie in Vertex AI bereitstellen, bevor Sie sie verwenden können. Diese Modelle werden sicher in Ihrem Google Cloud -Projekt und VPC-Netzwerk bereitgestellt. Weitere Informationen zu selbst bereitgestellten Modellen finden Sie in der Dokumentation zu selbst bereitgestellten Modellen.

Informationen zum Bereitstellen von Partnermodellen finden Sie unter Partnermodelle aus Model Garden bereitstellen.

Open-Source-Modelle mit Selbstbereitstellung

Offene Modelle in Model Garden sind möglicherweise sowohl als verwaltete API (MaaS) als auch als selbst bereitstellbares Modell verfügbar. Wenn beide Angebote für ein bestimmtes Modell verfügbar sind, enthält die Modellkarte für die verwaltete API API-Dienst im Namen, während das selbst bereitstellbare Modell dies nicht tut.

Modelle auflisten

So rufen Sie eine Liste der selbst bereitstellbaren offenen Modelle auf:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Wählen Sie im Filter Funktionen die Optionen Offene Modelle und Bereitstellung mit einem Klick aus.

Modelle bereitstellen

Nachdem Sie das offene Modell identifiziert haben, das Sie bereitstellen möchten, können Sie es mit der Bereitstellung mit einem Klick auf einem Vertex AI-Endpunkt bereitstellen. Sie können die Ein-Klick-Bereitstellung über die Google Cloud Console oder das Vertex AI SDK für Python ausführen.

Console

So stellen Sie ein Modell in der Google Cloud Console bereit:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Suchen Sie die Modellkarte des Modells, das Sie verwenden möchten, und klicken Sie darauf.

  3. Klicken Sie auf Modell bereitstellen.

  4. Konfigurieren Sie Ihr Deployment anhand der bereitgestellten Anleitung.

  5. Klicken Sie auf Bereitstellen.

Python

Im folgenden Beispiel wird gezeigt, wie Sie ein Modell mit dem Vertex AI SDK für Python bereitstellen.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Modelle mit benutzerdefinierten Gewichtungen bereitstellen

In Model Garden können Sie unterstützte Modelle mit benutzerdefinierten Gewichten aus einem Cloud Storage-Bucket bereitstellen. Weitere Informationen zum Bereitstellen von Modellen mit benutzerdefinierten Gewichten finden Sie unter Modelle mit benutzerdefinierten Gewichten bereitstellen. Sie können benutzerdefinierte Gewichte mit der Google Cloud -Konsole, der Google Cloud CLI, der Vertex AI API oder dem Vertex AI SDK für Python bereitstellen.

Nächste Schritte