Model Garden からオープンモデルをデプロイする

Model Garden では、オープンモデルをセルフデプロイできます。セルフデプロイ モデルはサーバーレスではありません。使用する前に、Vertex AI にデプロイする必要があります。これらのモデルは、 Google Cloud プロジェクトと VPC ネットワーク内に安全にデプロイされます。セルフデプロイ モデルの詳細については、セルフデプロイ モデルのドキュメントをご覧ください。

パートナー モデルのデプロイについては、Model Garden からパートナー モデルをデプロイするをご覧ください。

セルフデプロイ可能なオープンモデル

Model Garden のオープンモデルは、マネージド API（MaaS）とセルフデプロイ可能なモデルの両方として利用できる場合があります。特定のモデルで両方のサービスが利用可能な場合、マネージド API のモデルカードの名前には「API Service」が含まれますが、セルフデプロイ可能なモデルには含まれません。

モデルの一覧表示

自己デプロイ可能なオープンモデルのリストを取得する手順は次のとおりです。

  1. Model Garden に移動します。

    Model Garden に移動

  2. [特徴量] フィルタで、[オープンモデル] と [ワンクリックでデプロイ] を選択します。

モデルのデプロイ

デプロイするオープンモデルを特定したら、ワンクリック デプロイを使用して、モデルを Vertex AI エンドポイントにデプロイできます。ワンクリック デプロイは、 Google Cloud コンソールまたは Vertex AI SDK for Python を使用して実行できます。

コンソール

Google Cloud コンソールでモデルをデプロイする手順は次のとおりです。

  1. Model Garden に移動します。

    Model Garden に移動

  2. 使用するモデルのモデルカードを見つけてクリックします。

  3. [モデルをデプロイ] をクリックします。

  4. 提供された手順に沿ってデプロイを構成します。

  5. [デプロイ] をクリックします。

Python

次のサンプルは、Vertex AI SDK for Python を使用してモデルをデプロイする方法を示しています。

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

カスタムの重みを使用してモデルをデプロイする

Model Garden では、Cloud Storage バケットからカスタムの重みを使用してサポートされているモデルをデプロイできます。カスタムの重みを使用してモデルをデプロイする方法については、カスタムの重みを使用してモデルをデプロイするをご覧ください。カスタム ウェイトをデプロイするには、 Google Cloud コンソール、Google Cloud CLI、Vertex AI API、Vertex AI SDK for Python を使用します。

次のステップ