從 Model Garden 部署開放式模型

Model Garden 可讓您自行部署開放模型。自行部署的模型並非無伺服器。您必須先在 Gemini Enterprise Agent Platform 部署模型,才能使用。這些模型會安全地部署在 Google Cloud 專案和虛擬私有雲網路中。如要進一步瞭解自行部署的模型,請參閱自行部署模型的說明文件。

如要瞭解如何部署合作夥伴模型,請參閱「從 Model Garden 部署合作夥伴模型」。

可自行部署的開放式模型

Model Garden 中的開放原始碼模型可能同時提供代管 API (MaaS) 和可自行部署的模型。如果特定模型同時提供這兩種方案,代管 API 的模型資訊卡名稱會包含「API Service」,而可自行部署的模型則不會。

列出模型

如要取得可自行部署的開放原始碼模型清單,請按照下列步驟操作:

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在「功能」篩選器中,選取「開放原始碼模型」和「一鍵部署」。

可部署模型

找出要部署的開放原始碼模型後,您可以使用一鍵部署功能,將模型部署至 Gemini Enterprise Agent Platform 端點。您可以使用 Google Cloud 控制台或 Agent Platform SDK for Python,一鍵部署。

控制台

如要在 Google Cloud 控制台部署模型,請按照下列步驟操作:

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找出並點選要使用的模型資訊卡。

  3. 按一下 [Deploy model] (部署模型)。

  4. 按照提供的操作說明設定部署作業。

  5. 點選「Deploy」(部署)。

Python

下列範例說明如何使用 Agent Platform SDK for Python 部署模型。

import agentplatform
from agentplatform import types

client = agentplatform.Client(project="PROJECT_ID", location="us-central1")

response = client.model_garden.deploy_publisher_model(
  model="meta/llama3-3@llama-3.3-70b-instruct",
  config=types.DeployPublisherModelConfig(
    accept_eula=True,
    machine_type="g4-standard-96",
    accelerator_type="NVIDIA_RTX_PRO_6000",
    accelerator_count=2,
    serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
    endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
    model_display_name="llama-3-3-70b-instruct",
  ),
)
print(f"Model deployed to endpoint: {response.endpoint}")

機型、加速器和容器映像檔必須來自同一個經過驗證的部署選項。如要列出模型的選項,請呼叫 client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID")。

根據預設,模型會透過專屬端點提供。如要改為從共用區域 DNS 提供,請設定 dedicated_endpoint_disabled=True。

部署具有自訂權重的模型

Model Garden 可讓您使用 Cloud Storage bucket 中的自訂權重,部署支援的模型。如要進一步瞭解如何部署具有自訂權重的模型,請參閱「部署具有自訂權重的模型」。您可以使用 Google Cloud 控制台、Google Cloud CLI、Agent Platform API 或 Agent Platform SDK for Python 部署自訂權重。

後續步驟