Men-deploy model terbuka dari Model Garden

Model Garden memungkinkan Anda men-deploy model terbuka secara mandiri. Model yang di-deploy sendiri tidak bersifat tanpa server. Anda harus men-deploy-nya di Gemini Enterprise Agent Platform sebelum digunakan. Model ini di-deploy dengan aman dalam Google Cloud project dan jaringan VPC Anda. Untuk mengetahui informasi selengkapnya tentang model yang di-deploy sendiri, lihat dokumentasi model yang di-deploy sendiri.

Untuk mengetahui informasi tentang cara men-deploy model partner, lihat Men-deploy model partner dari Model Garden.

Model terbuka yang dapat di-deploy sendiri

Model terbuka di Model Garden mungkin tersedia sebagai API terkelola (MaaS) dan sebagai model yang dapat di-deploy sendiri. Jika kedua penawaran tersedia untuk model tertentu, kartu model untuk API terkelola akan memiliki Layanan API dalam namanya, sedangkan model yang dapat di-deploy sendiri tidak.

Membuat daftar model

Untuk mendapatkan daftar model terbuka yang dapat di-deploy sendiri, lakukan hal berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Di filter Fitur, pilih Model terbuka dan Deployment sekali klik.

Men-deploy model

Setelah mengidentifikasi model terbuka yang ingin di-deploy, Anda dapat men-deploy model ke Endpoint Platform Agen Gemini Enterprise menggunakan deployment sekali klik. Anda dapat melakukan deployment sekali klik menggunakan Google Cloud konsol atau menggunakan Agent Platform SDK untuk Python.

Konsol

Untuk men-deploy model di Google Cloud konsol, lakukan hal berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Temukan dan klik kartu model yang ingin Anda gunakan.

  3. Klik Deploy model.

  4. Konfigurasi deployment Anda berdasarkan petunjuk yang diberikan.

  5. Klik Deploy.

Python

Contoh berikut menunjukkan cara men-deploy model menggunakan Agent Platform SDK untuk Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Men-deploy model dengan bobot kustom

Model Garden memungkinkan Anda men-deploy model yang didukung dengan bobot kustom dari bucket Cloud Storage. Untuk mengetahui informasi selengkapnya tentang cara men-deploy model dengan bobot kustom, lihat Men-deploy model dengan bobot kustom. Anda dapat men-deploy bobot kustom menggunakan Google Cloud konsol, Google Cloud CLI, Agent Platform API, atau Agent Platform SDK untuk Python.

Langkah berikutnya