Partnermodelle aus Model Garden bereitstellen

In Model Garden können Sie ausgewählte Partnermodelle selbst bereitstellen (Vorschau). Selbst bereitgestellte Modelle sind nicht serverlos. Sie müssen sie in der Gemini Enterprise Agent Platform bereitstellen, bevor Sie sie verwenden können. Diese Modelle werden sicher in Ihrem Google Cloud Projekt und VPC-Netzwerk bereitgestellt. Weitere Informationen zu selbst bereitgestellten Modellen finden Sie in der Dokumentation zu selbst bereitgestellten Modellen.

Selbst bereitstellbare Partnermodelle kaufen

Wenn Sie selbst bereitstellbare Partnermodelle in der Gemini Enterprise Agent Platform bereitstellen möchten, müssen Sie sie zuerst über den Google Cloud Marketplace kaufen. So kaufen Sie ein selbst bereitgestelltes Partnermodell:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Klicken Sie unter Model collections (Modellsammlungen) auf Self-deployable partner models (Selbst bereitstellbare Partnermodelle), um die Liste der Modelle zu filtern.

  3. Klicken Sie auf die Modellkarte des Partnermodells, das Sie kaufen möchten.

  4. Klicken Sie auf Contact sales (Vertrieb kontaktieren).

  5. Füllen Sie das Formular aus und senden Sie Ihre Anfrage.

Nachdem Sie diese Schritte ausgeführt haben, werden Sie mit einem Google Cloud Vertriebs mitarbeiter verbunden, um den Kauf abzuschließen.

Modelle bereitstellen

Nach dem Kauf eines selbst bereitstellbaren Partnermodells können Sie es mit der Bereitstellung mit einem Klick in einem Gemini Enterprise Agent Platform-Endpunkt bereitstellen. Dieser Prozess vereinfacht die Bereitstellung, da die erforderlichen Einstellungen vorkonfiguriert werden.

Sie können die Bereitstellung mit einem Klick entweder über die Google Cloud Console oder das Agent Platform SDK für Python ausführen.

Console

So stellen Sie ein Partnermodell in der Google Cloud Console bereit:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Suchen Sie die Modellkarte des Partnermodells, das Sie verwenden möchten, und klicken Sie darauf.

  3. Klicken Sie auf Modell bereitstellen.

  4. Konfigurieren Sie die Bereitstellungseinstellungen wie aufgefordert.

  5. Klicken Sie auf Bereitstellen.

Python

Im folgenden Beispiel wird gezeigt, wie Sie ein Partnermodell mit dem Agent Platform SDK für Python bereitstellen. Ersetzen Sie die Platzhalterwerte durch Ihre spezifischen Informationen.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Nächste Schritte