Men-deploy model dengan bobot kustom adalah penawaran Pratinjau. Anda dapat menyesuaikan model berdasarkan serangkaian model dasar yang telah ditentukan, dan men-deploy model yang disesuaikan di Model Garden Gemini Enterprise Agent Platform. Anda dapat men-deploy model kustom menggunakan impor bobot kustom dengan mengupload artefak model ke bucket Cloud Storage di project Anda, yang merupakan pengalaman sekali klik di Agent Platform.
Dukungan Kontrol Layanan VPC untuk bobot kustom tersedia.
Model yang didukung
Pratinjau publik Men-deploy model dengan bobot kustom didukung oleh model dasar berikut:
| Nama model | Version |
|---|---|
| Llama |
|
| Gemma |
|
| Qwen |
|
| Deepseek |
|
| Mistral dan Mixtral |
|
| Phi-4 |
|
| OpenAI OSS |
|
Batasan
Bobot kustom tidak mendukung impor model terkuantisasi.
File model
Anda harus menyediakan file model dalam format bobot Hugging Face. Untuk mengetahui informasi selengkapnya tentang format bobot Hugging Face, lihat Menggunakan Model Hugging Face.
Jika file yang diperlukan tidak disediakan, deployment model mungkin akan gagal.
Tabel ini mencantumkan jenis file model, yang bergantung pada arsitektur model:
| Membuat model konten file | Jenis file |
|---|---|
| Konfigurasi model |
|
| Bobot model |
|
| Indeks bobot |
|
| File tokenizer |
|
Lokasi
Anda dapat men-deploy model kustom di semua region dari layanan Model Garden.
Prasyarat
Bagian ini menunjukkan cara men-deploy model kustom Anda.
Sebelum memulai
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Di konsol Google Cloud , aktifkan Cloud Shell.
Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Tutorial ini mengasumsikan bahwa Anda menggunakan Cloud Shell untuk berinteraksi dengan Google Cloud. Jika Anda ingin menggunakan shell yang berbeda, bukan Cloud Shell, lakukan konfigurasi tambahan berikut:
-
Instal Google Cloud CLI.
-
Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.
-
Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:
gcloud init
Men-deploy model kustom
Bagian ini menunjukkan cara men-deploy model kustom Anda.
Jika Anda menggunakan antarmuka command line (CLI), Python, atau JavaScript, ganti variabel berikut dengan nilai agar contoh kode Anda berfungsi:
- REGION: Region Anda. Misalnya,
uscentral1. - MODEL_GCS: Model Google Cloud Anda. Contoh,
gs://custom-weights-fishfooding/meta-llama/Llama-3.2-1B-Instruct. - PROJECT_ID: Project ID Anda.
- MODEL_ID: ID model Anda.
- MACHINE_TYPE: Jenis mesin Anda. Contohnya,
g2-standard-12. - ACCELERATOR_TYPE: Jenis akselerator Anda. Contohnya,
NVIDIA_L4. - ACCELERATOR_COUNT: Jumlah akselerator Anda.
PROMPT: Perintah teks Anda.
Konsol
Langkah-langkah berikut menunjukkan cara menggunakan konsol Google Cloud untuk men-deploy model Anda dengan bobot kustom.
Di konsol Google Cloud , buka halaman Model Garden.
Klik Deploy model with custom weights. Panel Deploy a model with custom weights akan muncul.
Di bagian Model source, lakukan hal berikut:
Klik Browse, lalu pilih bucket tempat model Anda disimpan, dan klik Select.
Opsional: Masukkan nama model Anda di kolom Model name.
Di bagian Deployment settings, lakukan hal berikut:
Dari kolom Region, pilih region Anda, lalu klik OK.
Di kolom Machine Spec, pilih spesifikasi mesin Anda, yang digunakan untuk men-deploy model Anda.
Opsional: Di kolom Endpoint name, endpoint model Anda akan muncul secara default. Namun, Anda dapat memasukkan nama endpoint yang berbeda di kolom.
Jika project Anda menerapkan VPC-SC atau jika Anda lebih memilih akses pribadi, pilih Private (Private Service Connect) dari kolom Endpoint access. Jika tidak, pilih Public.
Jika Anda menggunakan Private Service Connect, masukkan project ID Anda ke kolom Project IDs yang merupakan project tempat klien kueri Anda berjalan, atau klik Select project IDs untuk menampilkan dialog yang berisi project ID.
Jika Anda mengklik Select project IDs, lakukan hal berikut:
- Temukan project Anda yang berisi kode yang mencoba mengakses model.
- Klik kotak centang project Anda.
- Klik Pilih.
Klik Deploy.
gcloud CLI
Perintah ini menunjukkan cara men-deploy model ke region tertentu.
gcloud ai model-garden models deploy --model=${MODEL_GCS} --region ${REGION}
Perintah ini menunjukkan cara men-deploy model ke region tertentu dengan jenis mesin, jenis akselerator, dan jumlah akseleratornya. Jika ingin memilih konfigurasi mesin tertentu, Anda harus menetapkan ketiga kolom tersebut.
gcloud ai model-garden models deploy --model=${MODEL_GCS} --machine-type=${MACHINE_TYE} --accelerator-type=${ACCELERATOR_TYPE} --accelerator-count=${ACCELERATOR_COUNT} --region ${REGION}
Python
import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden
vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy(
machine_type="${MACHINE_TYPE}",
accelerator_type="${ACCELERATOR_TYPE}",
accelerator_count="${ACCELERATOR_COUNT}",
model_display_name="custom-model",
endpoint_display_name="custom-model-endpoint")
endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)
Atau, Anda tidak perlu meneruskan parameter ke metode custom_model.deploy().
import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden
vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy()
endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)
curl
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
-d '{
"custom_model": {
"gcs_uri": "'"${MODEL_GCS}"'"
},
"destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
"model_config": {
"model_user_id": "'"${MODEL_ID}"'",
},
}'
Atau, Anda dapat menggunakan API untuk menetapkan jenis mesin secara eksplisit.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
-d '{
"custom_model": {
"gcs_uri": "'"${MODEL_GCS}"'"
},
"destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
"model_config": {
"model_user_id": "'"${MODEL_ID}"'",
},
"deploy_config": {
"dedicated_resources": {
"machine_spec": {
"machine_type": "'"${MACHINE_TYPE}"'",
"accelerator_type": "'"${ACCELERATOR_TYPE}"'",
"accelerator_count": '"${ACCELERATOR_COUNT}"'
},
"min_replica_count": 1
}
}
}'
Men-deploy menggunakan API
Kontrol Layanan VPC hanya berfungsi dengan endpoint khusus pribadi.
Oleh karena itu, Anda harus menetapkan private_service_connect_config dalam contoh kode berikut, yang menunjukkan cara men-deploy menggunakan API:
curl
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1:deploy" \
-d '{
"custom_model": {
"model_id": "test-mg-deploy-092301",
"gcs_uri": "gs://YOUR_GCS_BUCKET"
},
"destination": "projects/YOUR_PROJECT/locations/us-central1",
"endpoint_config": {
"endpoint_display_name": "psc-ep1",
"private_service_connect_config": {
"enablePrivateServiceConnect": true,
"projectAllowlist": ["YOUR_PROJECT"]
}
},
"deploy_config": {
"dedicated_resources": {
"machine_spec": {
"machine_type": "g2-standard-24",
"accelerator_type": "NVIDIA_L4",
"accelerator_count": 2
},
"min_replica_count": 1,
"max_replica_count": 1
}
}
}'
Mendapatkan ID endpoint dan ID model menggunakan konsol Google Cloud
Setelah deployment selesai, ikuti langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Model Garden.
Klik View my endpoints & models.
Di tabel My endpoints, periksa endpoint yang baru saja Anda deploy dari kolom ** Name. Halaman Details akan ditampilkan.
Klik model di tabel Deployed models.
Pilih halaman Detail versi. ID model ditampilkan di baris variabel lingkungan pada tabel.
Menyiapkan Private Service Connect
Anda menambahkan endpoint baru untuk mengakses API Google . Endpoint ini dapat digunakan di semua region jaringan VPC yang Anda pilih. Selain itu, pertimbangkan hal berikut:
- Klien dalam jaringan yang terhubung ke jaringan VPC endpoint menggunakan konektivitas hybrid dapat mengakses endpoint. Untuk mengetahui informasi selengkapnya, lihat Mengakses APIGoogle melalui endpoint.
- Klien dalam jaringan VPC yang di-peering tidak dapat mengakses endpoint.
Mencantumkan endpoint untuk mendapatkan lampiran layanan
Contoh kode ini menunjukkan cara mencantumkan endpoint untuk mendapatkan lampiran layanan.
curl
$ curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://us-central1-aiplatform.googleapis.com/v1beta1/projects/YOUR_PROJECT/locations/us-central1/endpoints/YOUR_ENDPOINT_ID"
Ini adalah respons endpoint daftar.
{
"name": "projects/440968033208/locations/us-central1/endpoints/mg-endpoint-2c6ae2be-1491-43fe-b179-cb5a63e2c955",
"displayName": "psc-ep1",
"deployedModels": [
{
"id": "4026753529031950336",
"model": "projects/440968033208/locations/us-central1/models/mg-custom-1758645924",
"displayName": "null-null-null-1758645933",
"createTime": "2025-09-23T16:45:45.169195Z",
"dedicatedResources": {
"machineSpec": {
"machineType": "g2-standard-24",
"acceleratorType": "NVIDIA_L4",
"acceleratorCount": 2
},
"minReplicaCount": 1,
"maxReplicaCount": 1
},
"enableContainerLogging": true,
"privateEndpoints": {
"serviceAttachment": "projects/qdb392d34e2a11149p-tp/regions/us-central1/serviceAttachments/gkedpm-fbbc4061323c91c14ab4d961a2f8b0"
},
"modelVersionId": "1",
"status": {
"lastUpdateTime": "2025-09-23T17:26:10.031652Z",
"availableReplicaCount": 1
}
}
],
"trafficSplit": {
"4026753529031950336": 100
},
"etag": "AMEw9yPIWQYdbpHu6g6Mhpu1_10J062_oR9Jw9txrp8dFFbel7odLgSK8CGIogAUkR_r",
"createTime": "2025-09-23T16:45:45.169195Z",
"updateTime": "2025-09-23T17:13:36.320873Z",
"privateServiceConnectConfig": {
"enablePrivateServiceConnect": true,
"projectAllowlist": [
"ucaip-vpc-s-1605069239-dut-24"
]
}
}
Membuat Private Service Connect
Untuk membuat Private Service Connect (PSC), ikuti langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Private Service Connect. Halaman Connected endpoints akan ditampilkan.
Klik + Connect endpoint. Halaman Connect endpoint akan muncul.
Pilih opsi dari kolom Target. Anda dapat memilih Google APIs yang menyediakan akses ke sebagian besar API dan layanan Google atau Published service yang menyediakan akses ke layanan yang dipublikasikan.
Dari bagian Target details, pilih nilai dari daftar Scope, dan pilih nilai dari daftar Bundle type.
Dari bagian Endpoint details, lakukan hal berikut:
- Masukkan nama di kolom Endpoint name.
- Pilih nilai dari daftar Network. Pilih jaringan VPC yang berada di project Anda. Jika Anda harus membuat endpoint PSC di project layanan yang menggunakan jaringan VPC Bersama di project host, gunakan Google Cloud CLI, atau kirim permintaan API.
- Pilih nilai dari daftar alamat IP.
Luaskan bagian Service directory.
Pilih region dari daftar Region.
Pilih namespace dari daftar Namespace.
Klik Add endpoint. Tabel Endpoints akan diperbarui dengan baris untuk endpoint baru Anda.
Membuat kueri
Bagian ini menjelaskan cara membuat endpoint publik dan endpoint pribadi.
Membuat kueri ke endpoint publik
Setelah model Anda di-deploy, bobot kustom akan mendukung endpoint khusus publik. Anda dapat mengirim kueri menggunakan API atau SDK.
Sebelum mengirim kueri, Anda harus mendapatkan URL endpoint, ID endpoint, dan ID model, yang tersedia di konsol Google Cloud .
Ikuti langkah-langkah berikut untuk mendapatkan informasi:
Di konsol Google Cloud , buka halaman Model Garden.
Klik View my endpoints & models.
Pilih region Anda dari daftar Region.
Untuk mendapatkan ID endpoint dan URL endpoint, klik endpoint Anda dari bagian My endpoints.
ID endpoint Anda ditampilkan di kolom Endpoint ID.
URL endpoint publik Anda ditampilkan di kolom Dedicated endpoint.
Untuk mendapatkan ID model, temukan model Anda yang tercantum di bagian Deployed models, dan ikuti langkah-langkah berikut:
- Klik nama model yang di-deploy di kolom Model.
- Klik Detail versi. ID model Anda ditampilkan di kolom Model ID.
Setelah Anda mendapatkan informasi endpoint dan model yang di-deploy, lihat contoh kode berikut untuk mengetahui cara mengirim permintaan inferensi, atau lihat Mengirim permintaan inferensi online ke endpoint publik khusus.
API
Contoh kode berikut menunjukkan berbagai cara untuk menggunakan API berdasarkan kasus penggunaan Anda.
Penyelesaian chat (unary)
Contoh permintaan ini mengirimkan pesan chat lengkap ke model dan mendapatkan respons dalam satu potongan setelah seluruh respons dibuat. Hal ini mirip dengan mengirim pesan teks dan mendapatkan satu balasan lengkap.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
-d '{
"model": "'"${MODEL_ID}"'",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true,
"messages": [
{
"role": "user",
"content": "How to tell the time by looking at the sky?"
}
]
}'
Penyelesaian chat (streaming)
Permintaan ini adalah versi streaming dari permintaan penyelesaian chat unary. Dengan menambahkan "stream": true ke permintaan, model akan mengirimkan responsnya sedikit demi sedikit saat respons tersebut dibuat. Hal ini berguna untuk membuat efek real-time seperti mesin tik dalam aplikasi chat.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \ "https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}/chat/completions" \
-d '{
"model": "'"${MODEL_ID}"'",
"stream": true,
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true,
"messages": [
{
"role": "user",
"content": "How to tell the time by looking at the sky?"
}
]
}'
Prediksi
Permintaan ini mengirimkan perintah langsung untuk mendapatkan inferensi dari model. Hal ini sering digunakan untuk tugas yang tidak harus bersifat percakapan, seperti peringkasan atau klasifikasi teks.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:predict" \
-d '{
"instances": [
{
"prompt": "How to tell the time by looking at the sky?",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true
}
]
}'
Prediksi mentah
Permintaan ini adalah versi streaming dari permintaan Predict. Dengan menggunakan endpoint :streamRawPredict dan menyertakan "stream": true, permintaan ini mengirimkan perintah langsung dan menerima output model sebagai aliran data berkelanjutan saat dibuat, yang mirip dengan permintaan penyelesaian chat streaming.
curl -X POST \
-N \
--output - \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${ENDPOINT_URL}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}:streamRawPredict" \
-d '{
"instances": [
{
"prompt": "How to tell the time by looking at the sky?",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true,
"stream": true
}
]
}'
SDK
Contoh kode ini menggunakan SDK untuk mengirim kueri ke model dan mendapatkan respons kembali dari model tersebut.
from google.cloud import aiplatform
project_id = ""
location = ""
endpoint_id = "" # Use the short ID here
aiplatform.init(project=project_id, location=location)
endpoint = aiplatform.Endpoint(endpoint_id)
prompt = "How to tell the time by looking at the sky?"
instances=[{"text": prompt}]
response = endpoint.predict(instances=instances, use_dedicated_endpoint=True)
print(response.predictions)
Membuat kueri untuk endpoint pribadi
Anda dapat menguji kueri menggunakan notebook atau VM di project yang diizinkan.
Kueri contoh ini memungkinkan Anda mengganti variabel dengan IP, project, ID endpoint, dan ID model (diperoleh dari langkah Deploy di atas)
curl
Penyelesaian chat
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https://YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID/chat/completions' -d '{ "model": "YOUR_MODEL_ID", "max_tokens": 300, "messages": [{ "role": "user", "content": "how to tell the time by looking at sky?" }]}'
Prediksi
$ curl -k -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 'https:/YOUR_IP/v1beta1/projects/YOUR_PROJECT_ID/locations/YOUR_LOCATION/endpoints/YOUR_ENDPOINT_ID:predict' -d '{
"instances": [
{
"prompt": "Summarize Goog stock performance",
"temperature": 0,
"top_p": 1,
"max_tokens": 154,
"ignore_eos": true
}
]
}'
Untuk contoh lain cara menggunakan API, lihat notebook Mengimpor Bobot Kustom.
Pelajari lebih lanjut model yang di-deploy sendiri di Gemini Enterprise Agent Platform
- Untuk mengetahui informasi selengkapnya tentang endpoint khusus pribadi prediksi online Gemini Enterprise Agent Platform, lihat Menggunakan endpoint pribadi khusus berdasarkan Private Service Connect untuk inferensi online.
- Untuk mengetahui informasi selengkapnya tentang model yang di-deploy sendiri, lihat Ringkasan model yang di-deploy sendiri.
- Untuk mengetahui informasi selengkapnya tentang Model Garden, lihat Ringkasan Model Garden.
- Untuk mengetahui informasi selengkapnya tentang cara men-deploy model, lihat Menggunakan model di Model Garden.
- Menggunakan model terbuka Gemma
- Menggunakan model terbuka Llama
- Menggunakan model terbuka Hugging Face