Model Garden memungkinkan Anda men-deploy sendiri model terbuka. Model yang di-deploy sendiri tidak bersifat serverless. Anda harus men-deploy-nya di Gemini Enterprise Agent Platform sebelum digunakan. Model ini di-deploy dengan aman dalam project dan jaringan VPC Google Cloud Anda. Untuk mengetahui informasi selengkapnya tentang model yang di-deploy sendiri, lihat dokumentasi model yang di-deploy sendiri.
Untuk mengetahui informasi tentang cara men-deploy model partner, lihat Men-deploy model partner dari Model Garden.
Model terbuka yang dapat di-deploy sendiri
Model terbuka di Model Garden mungkin tersedia sebagai API terkelola (MaaS) dan sebagai model yang dapat di-deploy sendiri. Jika kedua penawaran tersedia untuk model tertentu, kartu model untuk API terkelola akan memiliki Layanan API dalam namanya, sedangkan model yang dapat di-deploy sendiri tidak.
Membuat daftar model
Untuk mendapatkan daftar model terbuka yang dapat di-deploy sendiri, lakukan hal berikut:
Buka Model Garden.
Di filter Features, pilih Open models dan One-click deployment.
Men-deploy model
Setelah mengidentifikasi model terbuka yang ingin di-deploy, Anda dapat men-deploy model tersebut ke Endpoint Gemini Enterprise Agent Platform menggunakan deployment sekali klik. Anda dapat melakukan deployment sekali klik menggunakan konsol Google Cloud atau menggunakan Agent Platform SDK untuk Python.
Konsol
Untuk men-deploy model di konsol Google Cloud , lakukan hal berikut:
Buka Model Garden.
Temukan dan klik kartu model dari model yang ingin Anda gunakan.
Klik Deploy model.
Konfigurasikan deployment Anda berdasarkan petunjuk yang diberikan.
Klik Deploy.
Python
Contoh berikut menunjukkan cara men-deploy model menggunakan Agent Platform SDK untuk Python.
import agentplatform
from agentplatform import types
client = agentplatform.Client(project="PROJECT_ID", location="us-central1")
response = client.model_garden.deploy_publisher_model(
model="meta/llama3-3@llama-3.3-70b-instruct",
config=types.DeployPublisherModelConfig(
accept_eula=True,
machine_type="g4-standard-96",
accelerator_type="NVIDIA_RTX_PRO_6000",
accelerator_count=2,
serving_container_image_uri="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20251205_0916_RC01",
endpoint_display_name="llama-3-3-70b-instruct-mg-one-click-deploy",
model_display_name="llama-3-3-70b-instruct",
),
)
print(f"Model deployed to endpoint: {response.endpoint}")
Jenis mesin, akselerator, dan image container harus berasal dari opsi deployment terverifikasi yang sama. Untuk mencantumkan opsi model, panggil
client.model_garden.list_publisher_model_deploy_options(model="MODEL_ID").
Model disajikan dari endpoint khusus secara default. Untuk menyajikannya dari DNS regional bersama, tetapkan dedicated_endpoint_disabled=True.
Men-deploy model dengan bobot kustom
Model Garden memungkinkan Anda men-deploy model yang didukung dengan bobot kustom dari bucket Cloud Storage. Untuk mengetahui informasi selengkapnya tentang cara men-deploy model dengan bobot kustom, lihat Men-deploy model dengan bobot kustom. Anda dapat men-deploy bobot kustom menggunakan konsol Google Cloud , Google Cloud CLI, Agent Platform API, atau Agent Platform SDK untuk Python.
Langkah berikutnya
- Memilih opsi penyajian model terbuka
- Menggunakan model terbuka menggunakan Model as a Service (MaaS)
- Men-deploy model terbuka dengan container bawaan
- Men-deploy model terbuka dengan container vLLM kustom