Model Garden 可讓您自行部署開放模型。自行部署的模型並非無伺服器。您必須先在 Gemini Enterprise Agent Platform 部署模型,才能使用。這些模型會安全地部署在 Google Cloud 專案和虛擬私有雲網路中。如要進一步瞭解自行部署的模型,請參閱自行部署模型的說明文件。
如要瞭解如何部署合作夥伴模型,請參閱「從 Model Garden 部署合作夥伴模型」。
可自行部署的開放式模型
Model Garden 中的開放原始碼模型可能同時提供代管 API (MaaS) 和可自行部署的模型。如果特定模型同時提供這兩種方案,代管 API 的模型資訊卡名稱會包含「API Service」,而可自行部署的模型則不會。
列出模型
如要取得可自行部署的開放原始碼模型清單,請按照下列步驟操作:
前往 Model Garden。
在「功能」篩選器中,選取「開放原始碼模型」和「一鍵部署」。
可部署模型
找出要部署的開放原始碼模型後,您可以使用一鍵部署功能,將模型部署至 Gemini Enterprise Agent Platform 端點。您可以使用 Google Cloud 控制台或 Agent Platform SDK for Python,一鍵部署。
控制台
如要在 Google Cloud 控制台部署模型,請按照下列步驟操作:
前往 Model Garden。
找出並點選要使用的模型資訊卡。
按一下 [Deploy model] (部署模型)。
按照提供的操作說明設定部署作業。
點選「Deploy」(部署)。
Python
下列範例說明如何使用 Agent Platform SDK for Python 部署模型。
import agentplatform
from agentplatform import types
client = agentplatform.Client(project="PROJECT_ID", location="us-central1")
response = client.model_garden.deploy_publisher_model(
model="meta/llama3-3@llama-3.3-70b-instruct",
config=types.DeployPublisherModelConfig(
accept_eula=True,
machine_type="g4-standard-96",
accelerator_type="NVIDIA_RTX_PRO_6000",
accelerator_count=2,
serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
model_display_name="llama-3-3-70b-instruct",
),
)
print(f"Model deployed to endpoint: {response.endpoint}")
機型、加速器和容器映像檔必須來自同一個經過驗證的部署選項。如要列出模型的選項,請呼叫 client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID")。
根據預設,模型會透過專屬端點提供。如要改為從共用區域 DNS 提供,請設定 dedicated_endpoint_disabled=True。
部署具有自訂權重的模型
Model Garden 可讓您使用 Cloud Storage bucket 中的自訂權重,部署支援的模型。如要進一步瞭解如何部署具有自訂權重的模型,請參閱「部署具有自訂權重的模型」。您可以使用 Google Cloud 控制台、Google Cloud CLI、Agent Platform API 或 Agent Platform SDK for Python 部署自訂權重。