Men-deploy model partner dari Model Garden

Model Garden memungkinkan Anda men-deploy sendiri model partner tertentu (pratinjau). Model yang di-deploy sendiri tidak bersifat tanpa server. Anda harus men-deploy-nya di Vertex AI sebelum menggunakannya. Model ini di-deploy dengan aman dalam Google Cloud project dan jaringan VPC Anda. Untuk mengetahui informasi selengkapnya tentang model yang di-deploy sendiri, lihat dokumentasi model yang di-deploy sendiri.

Membeli model partner yang dapat di-deploy sendiri

Untuk men-deploy model partner yang dapat di-deploy sendiri di Vertex AI, Anda harus membelinya terlebih dahulu melalui Google Cloud Marketplace. Untuk membeli model partner yang di-deploy sendiri, lakukan langkah-langkah berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Di Model collections, klik Self-deployable partner models untuk memfilter daftar model.

  3. Klik kartu model partner yang ingin Anda beli.

  4. Klik Contact sales.

  5. Isi formulir dan kirimkan permintaan Anda.

Setelah menyelesaikan langkah-langkah ini, Anda akan terhubung dengan perwakilan penjualan untuk menyelesaikan pembelian. Google Cloud

Men-deploy model

Setelah membeli model partner yang dapat di-deploy sendiri, Anda dapat men-deploy-nya ke Endpoint Vertex AI menggunakan deployment sekali klik. Proses ini menyederhanakan deployment dengan mengonfigurasi setelan yang diperlukan terlebih dahulu.

Anda dapat melakukan deployment sekali klik menggunakan Google Cloud konsol atau Vertex AI SDK untuk Python.

Konsol

Untuk men-deploy model partner di Google Cloud konsol, lakukan langkah-langkah berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Temukan dan klik kartu model partner yang ingin Anda gunakan.

  3. Klik Deploy model.

  4. Konfigurasi setelan deployment Anda sesuai perintah.

  5. Klik Deploy.

Python

Contoh berikut menunjukkan cara men-deploy model partner menggunakan Vertex AI SDK untuk Python. Ganti nilai placeholder dengan informasi spesifik Anda.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Langkah berikutnya