从 Model Garden 部署开放模型

借助 Model Garden，您可以自行部署开放模型。自行部署的模型不是无服务器模型。您必须先将其部署在 Vertex AI 上，然后才能使用。这些模型会安全地部署在您的 Google Cloud 项目和 VPC 网络中。如需详细了解自行部署的模型，请参阅“自行部署的模型”文档。

如需了解如何部署合作伙伴模型，请参阅从 Model Garden 部署合作伙伴模型。

可自行部署的开放模型

Model Garden 中的开放模型可能同时以托管式 API (MaaS) 和可自行部署的模型两种形式提供。如果给定模型同时提供这两种服务，则托管式 API 的模型卡片名称中将包含 API 服务字样，而可自行部署的模型则不会包含。

列出模型

如需获取可自行部署的开放模型列表，请执行以下操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在功能过滤条件中，选择开放模型和一键部署。

部署模型

确定要部署的开放模型后，您可以使用一键部署功能将该模型部署到 Vertex AI 端点。您可以使用 Google Cloud 控制台或 Vertex AI SDK for Python 执行一键部署。

控制台

如需在 Google Cloud 控制台中部署模型，请执行以下操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找到并点击要使用的模型的模型卡片。

  3. 点击部署模型。

  4. 根据提供的说明配置您的部署。

  5. 点击部署。

Python

以下示例展示了如何使用 Vertex AI SDK for Python 部署模型。

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

部署具有自定义权重的模型

借助 Model Garden，您可以从 Cloud Storage 存储桶部署具有自定义权重的受支持模型。如需详细了解如何部署具有自定义权重的模型，请参阅部署具有自定义权重的模型。 您可以使用 Google Cloud 控制台、Google Cloud CLI、Vertex AI API 或 Vertex AI SDK for Python 部署自定义权重。

后续步骤