Model Garden では、オープンモデルをセルフデプロイできます。セルフデプロイ モデルはサーバーレスではありません。使用する前に、Gemini Enterprise Agent Platform にデプロイする必要があります。これらのモデルは、 Google Cloud プロジェクトと VPC ネットワーク内に安全にデプロイされます。セルフデプロイ モデルの詳細については、セルフデプロイ モデルのドキュメントをご覧ください。
パートナー モデルのデプロイについては、Model Garden からパートナー モデルをデプロイするをご覧ください。
セルフデプロイ可能なオープンモデル
Model Garden のオープンモデルは、マネージド API(MaaS)とセルフデプロイ可能なモデルの両方として利用できる場合があります。特定のモデルで両方のサービスが利用可能な場合、マネージド API のモデルカードの名前には「API Service」が含まれますが、セルフデプロイ可能なモデルには含まれません。
モデルの一覧表示
セルフデプロイ可能なオープンモデルのリストを取得する手順は次のとおりです。
Model Garden に移動します。
[特徴] フィルタで、[オープンモデル] と [ワンクリックでデプロイ] を選択します。
モデルのデプロイ
デプロイするオープンモデルを特定したら、ワンクリック デプロイを使用して、モデルを Gemini Enterprise Agent Platform エンドポイントにデプロイできます。ワンクリック デプロイは、 Google Cloud コンソールまたは Agent Platform SDK for Python を使用して実行できます。
コンソール
Google Cloud コンソールでモデルをデプロイする手順は次のとおりです。
Model Garden に移動します。
使用するモデルのモデルカードを見つけてクリックします。
[モデルをデプロイ] をクリックします。
表示された手順に沿ってデプロイを構成します。
[デプロイ] をクリックします。
Python
次のサンプルは、Agent Platform SDK for Python を使用してモデルをデプロイする方法を示しています。
import agentplatform
from agentplatform import types
client = agentplatform.Client(project="PROJECT_ID", location="us-central1")
response = client.model_garden.deploy_publisher_model(
model="meta/llama3-3@llama-3.3-70b-instruct",
config=types.DeployPublisherModelConfig(
accept_eula=True,
machine_type="g4-standard-96",
accelerator_type="NVIDIA_RTX_PRO_6000",
accelerator_count=2,
serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
model_display_name="llama-3-3-70b-instruct",
),
)
print(f"Model deployed to endpoint: {response.endpoint}")
マシンタイプ、アクセラレータ、コンテナ イメージは、同じ検証済みのデプロイ オプションから取得する必要があります。モデルのオプションを一覧表示するには、client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID") を呼び出します。
モデルは、デフォルトで専用エンドポイントから提供されます。代わりに共有リージョン DNS から提供するには、dedicated_endpoint_disabled=True を設定します。
カスタムの重みを使用してモデルをデプロイする
Model Garden では、Cloud Storage バケットから、カスタムの重みを使用してサポートされているモデルをデプロイできます。カスタムの重みを使用してモデルをデプロイする方法については、カスタムの重みを使用してモデルをデプロイするをご覧ください。カスタムの重みをデプロイするには、 Google Cloud コンソール、Google Cloud CLI、Agent Platform API、Agent Platform SDK for Python を使用します。
次のステップ
- オープンモデルのモデル提供オプションを選択する
- Model as a Service(MaaS)を使用してオープンモデルを使用する
- ビルド済みコンテナを使用してオープンモデルをデプロイする
- カスタム vLLM コンテナを使用してオープンモデルをデプロイする