Mendapatkan prediksi batch dari model Model Garden yang di-deploy sendiri

Beberapa model yang tersedia di Model Garden dapat di-deploy sendiri di Google Cloud project Anda dan digunakan untuk memberikan prediksi batch. Prediksi batch memungkinkan Anda menggunakan model secara efisien untuk memproses beberapa perintah khusus teks yang tidak sensitif terhadap latensi.

Menyiapkan input

Sebelum memulai, siapkan input Anda dalam tabel BigQuery atau sebagai file JSONL di Cloud Storage. Input untuk kedua sumber harus mengikuti format JSON skema OpenAI API, seperti yang ditunjukkan dalam contoh berikut:

{"body": {"messages": [{"role": "user", "content": "Give me a recipe for banana bread"}], "max_tokens": 1000}}

BigQuery

Tabel input BigQuery Anda harus mematuhi skema berikut:

Nama kolom Deskripsi
custom_id ID untuk setiap permintaan agar input cocok dengan output.
method Metode permintaan.
url Endpoint permintaan.
body(JSON) Perintah input Anda.
  • Tabel input Anda dapat memiliki kolom lain, yang diabaikan oleh tugas batch dan diteruskan langsung ke tabel output.
  • Tugas prediksi batch mencadangkan dua nama kolom untuk output prediksi batch: response(JSON) dan id. Jangan gunakan kolom ini di tabel input.
  • Kolom method dan url dihilangkan dan tidak disertakan dalam tabel output.

Cloud Storage

Untuk Cloud Storage, file input harus berupa file JSONL yang berada di bucket Cloud Storage.

Mendapatkan resource yang diperlukan untuk model

Pilih model dan kueri persyaratan resourcenya. Resource yang diperlukan muncul dalam respons, di kolom dedicatedResources, yang Anda tentukan dalam konfigurasi tugas prediksi batch.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PUBLISHER: Penayang model, misalnya, meta, google, mistral-ai, atau deepseek-ai.
  • PUBLISHER_MODEL_ID: ID model penayang untuk model, misalnya, llama3_1.
  • VERSION_ID: ID versi penayang untuk model, misalnya, llama-3.1-8b-instruct.

Metode HTTP dan URL: 

GET "https://us-central1-aiplatform.googleapis.com/ui/publishers/PUBLISHER/models/PUBLISHER_MODEL_ID@VERSION_ID" | jq '.supportedActions.multiDeployVertex'

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Jalankan perintah berikut: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     ""https://us-central1-aiplatform.googleapis.com/ui/publishers/PUBLISHER/models/PUBLISHER_MODEL_ID@VERSION_ID" | jq '.supportedActions.multiDeployVertex'"

PowerShell

Jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri ""https://us-central1-aiplatform.googleapis.com/ui/publishers/PUBLISHER/models/PUBLISHER_MODEL_ID@VERSION_ID" | jq '.supportedActions.multiDeployVertex'" | Select-Object -Expand Content

Anda akan menerima kode status berhasil (2xx) dan respons kosong.

Meminta prediksi batch

Buat prediksi batch terhadap model Model Garden yang di-deploy sendiri dengan menggunakan input dari BigQuery atau Cloud Storage. Anda dapat memilih secara independen untuk menampilkan prediksi ke tabel BigQuery atau file JSONL di bucket Cloud Storage.

BigQuery

Tentukan tabel input BigQuery, model, dan lokasi output. Tugas prediksi batch dan tabel Anda harus berada di region yang sama.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Model Garden yang di-deploy sendiri.
  • PROJECT_ID: Project ID Anda. .
  • MODEL: Nama model yang akan disesuaikan, misalnya, llama-3.1-8b-instruct.
  • PUBLISHER: Penayang model, misalnya, meta, google, mistral-ai, atau deepseek-ai.
  • INPUT_URI: Tabel BigQuery tempat input prediksi batch Anda berada, seperti myproject.mydataset.input_table.
  • OUTPUT_FORMAT: Untuk menampilkan ke tabel BigQuery, tentukan bigquery. Untuk menampilkan ke bucket Cloud Storage, tentukan jsonl.
  • DESTINATION: Untuk BigQuery, tentukan bigqueryDestination. Untuk Cloud Storage, tentukan gcsDestination.
  • OUTPUT_URI_FIELD_NAME: Untuk BigQuery, tentukan outputUri. Untuk Cloud Storage, tentukan outputUriPrefix.
  • OUTPUT_URI: Untuk BigQuery, tentukan lokasi tabel seperti myproject.mydataset.output_result. Untuk Cloud Storage, tentukan lokasi bucket dan folder seperti gs://mybucket/path/to/outputfile.
  • MACHINE_TYPE: Menentukan kumpulan resource yang akan di-deploy untuk model Anda, misalnya, g2-standard-4.
  • ACC_TYPE: Menentukan akselerator yang akan ditambahkan ke tugas prediksi batch Anda untuk membantu meningkatkan performa saat menangani workload intensif, misalnya, NVIDIA_L4.
  • ACC_COUNT: Jumlah akselerator yang akan digunakan dalam tugas prediksi batch Anda.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs

Meminta isi JSON: 

'{
  "displayName": "JOB_NAME",
  "model": "publishers/PUBLISHER/models/MODEL",
  "inputConfig": {
    "instancesFormat":"bigquery",
    "bigquerySource":{
      "inputUri" : "INPUT_URI"
    }
  },
  "outputConfig": {
    "predictionsFormat":"OUTPUT_FORMAT",
    "DESTINATION":{
      "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
    }
  },
  "dedicated_resources": {
    "machine_spec": {
      "machine_type": "MACHINE_TYPE",
      "accelerator_type": "ACC_TYPE",
      "accelerator_count": ACC_COUNT,
    },
    "starting_replica_count": 1,
  },
}'

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Cloud Storage

Tentukan lokasi Cloud Storage file JSONL, model, dan lokasi output.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Model Garden yang di-deploy sendiri.
  • PROJECT_ID: Project ID Anda. .
  • MODEL: Nama model yang akan disesuaikan, misalnya, llama-3.1-8b-instruct.
  • PUBLISHER: Penayang model, misalnya, meta, google, mistral-ai, atau deepseek-ai.
  • INPUT_URI: Lokasi Cloud Storage input prediksi batch JSONL Anda, seperti gs://bucketname/path/to/jsonl.
  • OUTPUT_FORMAT: Untuk menampilkan ke tabel BigQuery, tentukan bigquery. Untuk menampilkan ke bucket Cloud Storage, tentukan jsonl.
  • DESTINATION: Untuk BigQuery, tentukan bigqueryDestination. Untuk Cloud Storage, tentukan gcsDestination.
  • OUTPUT_URI_FIELD_NAME: Untuk BigQuery, tentukan outputUri. Untuk Cloud Storage, tentukan outputUriPrefix.
  • OUTPUT_URI: Untuk BigQuery, tentukan lokasi tabel seperti myproject.mydataset.output_result. Untuk Cloud Storage, tentukan lokasi bucket dan folder seperti gs://mybucket/path/to/outputfile.
  • MACHINE_TYPE: Menentukan kumpulan resource yang akan di-deploy untuk model Anda, misalnya, g2-standard-4.
  • ACC_TYPE: Menentukan akselerator yang akan ditambahkan ke tugas prediksi batch Anda untuk membantu meningkatkan performa saat menangani workload intensif, misalnya, NVIDIA_L4.
  • ACC_COUNT: Jumlah akselerator yang akan digunakan dalam tugas prediksi batch Anda.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs

Meminta isi JSON: 

'{
  "displayName": "JOB_NAME",
  "model": "publishers/PUBLISHER/models/MODEL",
  "inputConfig": {
    "instancesFormat":"jsonl",
    "gcsDestination":{
      "uris" : "INPUT_URI"
    }
  },
  "outputConfig": {
    "predictionsFormat":"OUTPUT_FORMAT",
    "DESTINATION":{
      "OUTPUT_URI_FIELD_NAME": "OUTPUT_URI"
    }
  },
  "dedicated_resources": {
    "machine_spec": {
        "machine_type": "MACHINE_TYPE",
        "accelerator_type": "ACC_TYPE",
        "accelerator_count": ACC_COUNT,
    },
    "starting_replica_count": 1,
  },
}'

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Mendapatkan status tugas prediksi batch

Dapatkan status tugas prediksi batch Anda untuk memeriksa apakah tugas tersebut telah berhasil diselesaikan. Durasi tugas bergantung pada jumlah item input yang Anda kirimkan.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Project ID Anda. .
  • LOCATION: Region tempat tugas batch Anda berada.
  • JOB_ID: ID tugas batch yang ditampilkan saat Anda membuat tugas.

Metode HTTP dan URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Jalankan perintah berikut: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID"

PowerShell

Jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/batchPredictionJobs/JOB_ID" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Mengambil output

Setelah tugas prediksi batch selesai, ambil output dari lokasi yang Anda tentukan:

  • Untuk BigQuery, output berada di kolom response(JSON) tabel BigQuery tujuan Anda.
  • Untuk Cloud Storage, output disimpan sebagai file JSONL di lokasi Cloud Storage output.

Model yang didukung

Gemini Enterprise Agent Platform mendukung prediksi batch untuk model yang di-deploy sendiri berikut:

  • Llama
    • publishers/meta/models/llama3_1@llama-3.1-8b-instruct
    • publishers/meta/models/llama3_1@llama-3.1-70b-instruct
    • publishers/meta/models/llama3_1@llama-3.1-405b-instruct-fp8
    • publishers/meta/models/llama3-2@llama-3.2-1b-instruct
    • publishers/meta/models/llama3-2@llama-3.2-3b-instruct
    • publishers/meta/models/llama3-2@llama-3.2-90b-vision-instruct
  • Gemma
    • publishers/google/models/gemma@gemma-1.1-2b-it
    • publishers/google/models/gemma@gemma-7b-it
    • publishers/google/models/gemma@gemma-1.1-7b-it
    • publishers/google/models/gemma@gemma-2b-it
    • publishers/google/models/gemma2@gemma-2-2b-it
    • publishers/google/models/gemma2@gemma-2-9b-it
    • publishers/google/models/gemma2@gemma-2-27b-it
  • Mistral
    • publishers/mistral-ai/models/mistral@mistral-7b-instruct-v0.2
    • publishers/mistral-ai/models/mistral@mistral-7b-instruct-v0.3
    • publishers/mistral-ai/models/mistral@mistral-7b-instruct-v0.1
    • publishers/mistral-ai/models/mistral@mistral-nemo-instruct-2407
  • Deepseek
    • publishers/deepseek-ai/models/deepseek-r1@deepseek-r1-distill-llama-8b