Men-deploy model partner dari Model Garden

Model Garden memungkinkan Anda men-deploy sendiri model partner tertentu (pratinjau). Model yang di-deploy sendiri tidak bersifat serverless. Anda harus men-deploy-nya di Vertex AI sebelum menggunakannya. Model ini di-deploy dengan aman dalam Google Cloud project dan jaringan VPC Anda. Untuk mengetahui informasi selengkapnya tentang model yang di-deploy sendiri, lihat dokumentasi model yang di-deploy sendiri.

Membeli model partner yang dapat di-deploy sendiri

Untuk men-deploy model partner yang dapat di-deploy sendiri di Vertex AI, Anda harus membelinya terlebih dahulu melalui Google Cloud Marketplace. Untuk membeli model partner yang di-deploy sendiri, lakukan langkah-langkah berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Di Koleksi model, klik Model partner yang dapat di-deploy sendiri untuk memfilter daftar model.

  3. Klik kartu model partner yang ingin Anda beli.

  4. Klik Hubungi bagian penjualan.

  5. Isi formulir dan kirim permintaan Anda.

Setelah menyelesaikan langkah-langkah ini, Anda akan dihubungkan dengan Google Cloud perwakilan penjualan untuk menyelesaikan pembelian.

Men-deploy model

Setelah membeli model partner yang dapat di-deploy sendiri, Anda dapat men-deploy-nya ke Endpoint Vertex AI menggunakan deployment sekali klik. Proses ini menyederhanakan deployment dengan mengonfigurasi setelan yang diperlukan sebelumnya.

Anda dapat melakukan deployment sekali klik menggunakan konsol Google Cloud atau Vertex AI SDK untuk Python.

Konsol

Untuk men-deploy model partner di konsol Google Cloud , lakukan hal berikut:

  1. Buka Model Garden.

    Buka Model Garden

  2. Temukan dan klik kartu model partner yang ingin Anda gunakan.

  3. Klik Deploy model.

  4. Konfigurasi setelan deployment Anda seperti yang diminta.

  5. Klik Deploy.

Python

Contoh berikut menunjukkan cara men-deploy model partner menggunakan Vertex AI SDK untuk Python. Ganti nilai placeholder dengan informasi spesifik Anda.

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="LOCATION")

# Replace with the actual partner model ID from Model Garden
model = model_garden.OpenModel("PARTNER_MODEL_ID")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="MACHINE_TYPE",  # e.g., "a3-ultragpu-8g"
  accelerator_type="ACCELERATOR_TYPE",  # e.g., "NVIDIA_H200_141GB"
  accelerator_count=ACCELERATOR_COUNT,  # e.g., 8
  serving_container_image_uri="SERVING_CONTAINER_IMAGE_URI",
  endpoint_display_name="ENDPOINT_DISPLAY_NAME",
  model_display_name="MODEL_DISPLAY_NAME",
  use_dedicated_endpoint=True,
)
print(f"Model deployed to endpoint: {endpoint.resource_name}")

Langkah berikutnya