Partnermodelle aus Model Garden bereitstellen

In Model Garden können Sie ausgewählte Partnermodelle selbst bereitstellen (Vorschau). Selbst bereitgestellte Modelle sind nicht serverlos. Sie müssen sie in Vertex AI bereitstellen, bevor Sie sie verwenden können. Diese Modelle werden sicher in IhremGoogle Cloud -Projekt und VPC-Netzwerk bereitgestellt. Weitere Informationen zu selbst bereitgestellten Modellen finden Sie in der Dokumentation zu selbst bereitgestellten Modellen.

Partnermodelle mit Selbstbereitstellung kaufen

Wenn Sie selbst bereitstellbare Partnermodelle in Vertex AI bereitstellen möchten, müssen Sie sie zuerst über Google Cloud Marketplace erwerben. So kaufen Sie ein selbst bereitgestelltes Partnermodell:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Klicken Sie unter Modellsammlungen auf Partnermodelle mit Selbstbereitstellung, um die Liste der Modelle zu filtern.

  3. Klicken Sie auf die Modellkarte des Partnermodells, das Sie kaufen möchten.

  4. Klicken Sie auf Vertrieb kontaktieren.

  5. Füllen Sie das Formular aus und senden Sie Ihren Antrag.

Nachdem Sie diese Schritte ausgeführt haben, werden Sie mit einem Google Cloud Vertriebsmitarbeiter verbunden, um den Kauf abzuschließen.

Modelle bereitstellen

Nachdem Sie ein selbst bereitstellbares Partnermodell erworben haben, können Sie es mit der Bereitstellung mit einem Klick auf einem Vertex AI-Endpunkt bereitstellen. Dieser Prozess vereinfacht die Bereitstellung, da die erforderlichen Einstellungen vorkonfiguriert werden.

Sie können die Ein-Klick-Bereitstellung entweder über die Google Cloud Console oder das Vertex AI SDK für Python ausführen.

Console

So stellen Sie ein Partnermodell in der Google Cloud -Console bereit:

  1. Rufen Sie Model Garden auf.

    Zu Model Garden

  2. Suchen Sie die Modellkarte des Partnermodells, das Sie verwenden möchten, und klicken Sie darauf.

  3. Klicken Sie auf Modell bereitstellen.

  4. Konfigurieren Sie die Bereitstellungseinstellungen wie aufgefordert.

  5. Klicken Sie auf Bereitstellen.

Python

Im folgenden Beispiel wird gezeigt, wie Sie ein Partnermodell mit dem Vertex AI SDK für Python bereitstellen. Ersetzen Sie die Platzhalterwerte durch Ihre spezifischen Informationen.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Nächste Schritte