從 Model Garden 部署開放式模型

您可以在 Model Garden 自行部署開放模型。自行部署的模型並非無伺服器模型。您必須先在 Vertex AI 上部署這些模型，才能使用。這些模型會安全地部署在 Google Cloud 專案和虛擬私有雲網路中。如要進一步瞭解自行部署的模型，請參閱自行部署的模型說明文件。

如要瞭解如何部署合作夥伴模型，請參閱「從 Model Garden 部署合作夥伴模型」。

可自行部署的開放式模型

Model Garden 中的開放模型可能以代管 API (MaaS) 和可自行部署的模型形式提供。如果特定模型同時提供這兩種服務，代管 API 的模型資訊卡名稱會包含「API 服務」，可自行部署的模型則不會。

列出模型

如要取得可自行部署的開放模型清單，請按照下列步驟操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在「功能」篩選器中，選取「開放模型」和「一鍵部署」。

可部署模型

找出要部署的開放式模型後，即可使用一鍵部署功能，將模型部署至 Vertex AI 端點。您可以使用 Google Cloud 控制台或 Python 適用的 Vertex AI SDK，一鍵部署模型。

控制台

如要在 Google Cloud 控制台中部署模型，請執行下列操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找出並點選要使用的模型卡。

  3. 按一下 [Deploy model] (部署模型)。

  4. 按照操作說明設定部署作業。

  5. 按一下 [Deploy] (部署)。

Python

下列範例說明如何使用 Vertex AI SDK for Python 部署模型。

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

部署使用自訂權重的模型

您可以在模型園地中，從 Cloud Storage 值區部署自訂權重的支援模型。如要進一步瞭解如何部署具有自訂權重的模型，請參閱「部署具有自訂權重的模型」。您可以透過 Google Cloud 控制台、Google Cloud CLI、Vertex AI API 或 Python 適用的 Vertex AI SDK，部署自訂權重。

後續步驟