Men-deploy model terbuka dari Model Garden

Dengan Model Garden, Anda dapat men-deploy sendiri model terbuka. Model yang di-deploy sendiri bukan tanpa server. Anda harus men-deploy-nya di Vertex AI sebelum digunakan. Model ini di-deploy dengan aman dalam project Google Cloud dan jaringan VPC Anda. Untuk informasi selengkapnya tentang model yang di-deploy sendiri, lihat dokumentasi model yang di-deploy sendiri.

Untuk mengetahui informasi tentang cara men-deploy model partner, lihat Men-deploy model partner dari Model Garden.

Model terbuka yang dapat di-deploy sendiri

Model terbuka di Model Garden mungkin tersedia sebagai API terkelola (MaaS) dan sebagai model yang dapat di-deploy sendiri. Jika kedua penawaran tersedia untuk model tertentu, kartu model untuk Managed API akan memiliki Layanan API dalam namanya, sedangkan model yang dapat di-deploy sendiri tidak akan memilikinya.

Membuat daftar model

Untuk mendapatkan daftar model terbuka yang dapat di-deploy sendiri, lakukan hal berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Di filter Fitur, pilih Model terbuka dan Deployment sekali klik.

Men-deploy model

Setelah mengidentifikasi model terbuka yang ingin di-deploy, Anda dapat men-deploy model ke Endpoint Vertex AI menggunakan deployment sekali klik. Anda dapat melakukan deployment sekali klik menggunakan konsol Google Cloud atau menggunakan Vertex AI SDK untuk Python.

Konsol

Untuk men-deploy model di konsol Google Cloud , lakukan hal berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Cari dan klik kartu model dari model yang ingin Anda gunakan.

  3. Klik Deploy model.

  4. Konfigurasi deployment Anda berdasarkan petunjuk yang diberikan.

  5. Klik Deploy.

Python

Contoh berikut menunjukkan cara men-deploy model menggunakan Vertex AI SDK untuk Python.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

Men-deploy model dengan bobot kustom

Dengan Model Garden, Anda dapat men-deploy model yang didukung dengan bobot kustom dari bucket Cloud Storage. Untuk mengetahui informasi selengkapnya tentang men-deploy model dengan bobot kustom, lihat Men-deploy model dengan bobot kustom. Anda dapat men-deploy bobot kustom menggunakan konsol Google Cloud , Google Cloud CLI, Vertex AI API, atau Vertex AI SDK untuk Python.

Langkah berikutnya