從 Model Garden 部署合作夥伴模型

您可以在 Model Garden 中自行部署特定合作夥伴模型 (預覽版)。自行部署的模型並非無伺服器模型。您必須先在 Vertex AI 上部署這些模型，才能使用。這些模型會安全地部署在您的Google Cloud 專案和虛擬私有雲網路中。如要進一步瞭解自行部署的模型，請參閱自行部署的模型說明文件。

購買可自行部署的合作夥伴模型

如要在 Vertex AI 上部署可自行部署的合作夥伴模型，請先透過 Google Cloud Marketplace 購買。如要購買自行部署的合作夥伴模型，請按照下列步驟操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在「模型集合」中，按一下「可自行部署的合作夥伴模型」，篩選模型清單。

  3. 按一下要購買的合作夥伴模型資訊卡。

  4. 按一下「聯絡銷售人員」。

  5. 填寫表單並提交要求。

完成這些步驟後，系統會將你轉介給 Google Cloud 銷售 代表，以完成購買程序。

可部署模型

購買可自行部署的合作夥伴模型後，您可以使用一鍵部署功能，將模型部署至 Vertex AI 端點。這個程序會預先設定必要設定，簡化部署作業。

您可以使用 Google Cloud 控制台或 Vertex AI SDK for Python，按一下滑鼠即可部署模型。

控制台

如要在 Google Cloud 控制台中部署合作夥伴模型，請按照下列步驟操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找出並點選要使用的合作夥伴模型模型資訊卡。

  3. 按一下 [Deploy model] (部署模型)。

  4. 按照提示設定部署作業。

  5. 按一下 [Deploy] (部署)。

Python

下列範例說明如何使用 Python 適用的 Vertex AI SDK 部署合作夥伴模型。將預留位置值替換為您的特定資訊。

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

後續步驟