Kuota Pengambilan Agen

Google Cloud menggunakan kuota untuk membantu menjaga keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.

Sistem Kuota Cloud melakukan hal berikut:

Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.

Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.

Di Agent Retrieval (sebelumnya Penelusuran Vektor 2.0), kuota diterapkan untuk melindungi layanan, memastikan pembagian kapasitas yang adil antar-project, dan memberi Anda performa serta biaya yang lebih dapat diprediksi. Kuota dilacak secara independen menurut region. Misalnya, penggunaan di us-central tidak memengaruhi kuota Anda di europe-west4.

Metrik

Semua nama metrik diawali dengan vectorsearch.googleapis.com/.

Kuota kapasitas (permintaan/menit dan byte/menit)

Untuk kuota kapasitas data, kuota dievaluasi per menit dan berlaku per project dan per region (atau multi-region), dan secara opsional per Koleksi.

Setiap panggilan API yang diterima akan menambah penghitung sebesar satu permintaan (atau N byte untuk kuota byte). Penghitung dihitung per menit kalender dan menggunakan evaluasi jendela geser (tidak ada reset permanen pada :00).

Anda dapat terus menjalankan kueri hingga batasnya tanpa melihat efek "pengisian ulang".

Jika penghitung melebihi batasnya, permintaan tambahan akan menampilkan RESOURCE_EXHAUSTED (HTTP 429) dengan reason="RATE_LIMIT_EXCEEDED" dan nama metrik yang tepat di kolom quota_metric.

Kuota kapasitas bidang kontrol

Kuota berikut berlaku untuk siklus proses resource, serta operasi baca dan daftar pada Koleksi dan indeks untuk project dan region tertentu.

Cakupan: per project, per region

Unit: 1/min

Batas: permintaan per menit.

Metrik Jumlah
collection_management_requests collections.create
collections.update
collections.delete
collection_read_requests collections.get
collection_list_requests collections.list
index_management_requests indexes.create
indexes.update
indexes.delete
index_read_requests indexes.get
index_list_requests indexes.list

Permintaan operasi yang berjalan lama (LRO)

Kuota berikut berlaku untuk operasi baca, daftar, batalkan, dan hapus yang berjalan lama untuk project dan region tertentu.

Cakupan: per project, per region

Unit: 1/min

Batas: permintaan per menit.

Metrik Jumlah
lro_requests operations.get
operations.list
operations.cancel
operations.delete

Kuota kapasitas bidang data

Kuota berikut berlaku untuk Objek Data, kueri, dan traffic penelusuran untuk project, region, dan koleksi tertentu.

Catatan: Kuota permintaan penelusuran (search_requests) digunakan untuk penelusuran teks dan penelusuran semantik.

Cakupan: per project, per region, per Koleksi

Unit: 1/min

Batas: permintaan per menit, per Koleksi

Metrik Jumlah
data_object_writes dataObjects.create
dataObjects.update
dataObjects.delete
Setiap Objek Data yang disertakan dalam
batchCreate
batchUpdate
batchDelete
data_object_writes_us Sama seperti data_object_writes, tetapi untuk multi-region us.
data_object_reads dataObjects.get
data_object_reads_us Sama seperti data_object_reads, tetapi untuk multi-region us.
query_requests dataObjects.query (kueri filter khusus metadata)
query_requests_us Sama seperti query_requests, tetapi untuk multi-region us.
search_requests dataObjects.search saat menjalankan ANN padat atau sparse.
search_requests_us Sama seperti search_requests, tetapi untuk multi-region us.
knn_search_requests dataObjects.search saat menjalankan penelusuran KNN yang lengkap.
batch_search_requests_us Sama seperti batch_search_requests, tetapi untuk multi-region us.
batch_search_requests dataObjects.batchSearch (satu permintaan, terlepas dari sub-penelusuran)
batch_search_requests_us Sama seperti batch_search_requests, tetapi untuk multi-region us.

Kuota throughput bidang data

Kuota berikut berlaku untuk byte yang ditulis per menit untuk project, region, dan Koleksi tertentu.

Cakupan: per project, per region, per Koleksi

Unit: 1/min

Batas: permintaan per menit, per Koleksi

Metrik Jumlah
data_object_write_bytes Jumlah data yang diserialisasi dan byte vektor yang ditulis oleh semua panggilan
create, update, delete, batchCreate, batchUpdate, dan
batchDelete untuk Koleksi, Objek Data, dan indeks.
data_object_write_bytes_us Sama seperti data_object_write_bytes, tetapi untuk multi-region us..

Operasi batch

  • batchCreate, batchUpdate, batchDelete dataObjects: setiap Objek Data individual dalam permintaan dihitung sebagai satu penulisan terhadap data_object_writes dan menyumbangkan ukuran serialnya dalam byte ke data_object_write_bytes.

  • batchSearch dataObjects: dihitung sebagai satu permintaan terhadap batch_search_requests, terlepas dari jumlah sub-penelusuran yang dipaketkan. Penelusuran batch menyebabkan kuota sub-penelusuran juga dihitung.

Kuota alokasi (jumlah saat ini)

Kuota alokasi adalah jumlah saat ini.

Penghitung adalah jumlah langsung resource atau operasi yang sedang berlangsung yang dimiliki oleh project.

Jumlahnya meningkat saat pembuatan resource atau awal operasi dan menurun saat penghapusan atau penyelesaian operasi.

Saat batas tercapai, panggilan pembuatan berikutnya akan menampilkan RESOURCE_EXHAUSTED. Hapus resource yang ada atau tunggu hingga LRO selesai untuk mengosongkan kuota.

Kuota alokasi bidang kontrol

Kuota berikut berlaku untuk jumlah resource atau operasi yang sedang berjalan yang mungkin dimiliki project untuk project dan region tertentu, termasuk hal berikut:

  • Koleksi
  • Indeks
  • Operasi pembuatan, impor, dan ekspor serentak pada Koleksi, Objek Data, dan indeks

Cakupan: per project, per region

Unit: 1

Batas: jumlah absolut (kuota yang tepat)

Metrik Jumlah
collections Jumlah Koleksi yang ada dalam project/region.
collections_us Sama seperti collections, tetapi untuk multi-region us.
indexes Jumlah indeks (dijumlahkan di semua Koleksi) dalam project/region.
indexes_us Sama seperti indexes, tetapi untuk multi-region us.
concurrent_index_operations LRO indeks dalam proses (Buat/Update/Hapus).
concurrent_index_operations_us Sama seperti concurrent_index_operations, tetapi untuk multi-region us.
concurrent_collection_operations LRO Koleksi yang sedang berjalan (Buat/Perbarui/Hapus).
concurrent_collection_operations_us Sama seperti concurrent_collection_operations, tetapi untuk multi-region us.
concurrent_data_object_imports LRO dataObjects.import yang sedang berjalan.
concurrent_data_object_imports_us Sama seperti concurrent_data_object_imports, tetapi untuk multi-region us.
concurrent_data_object_exports LRO dataObjects.export yang sedang berjalan.
concurrent_data_object_exports_us Sama seperti concurrent_data_object_exports, tetapi untuk multi-region us.

Penyematan otomatis

Penyematan otomatis menggunakan Gemini API di Gemini Enterprise Agent Platform (aiplatform.googleapis.com). Setiap permintaan API mengurangi search_requests atau data_object_writes dan panggilan penyematan mengurangi kuota prediksi. Pastikan kedua API memiliki kapasitas.

Contoh Penggunaan

Bagian berikut menjelaskan pengaruh berbagai skenario penggunaan terhadap kuota.

Workload tulis berkelanjutan

Anda menyerap dokumen (data plus vektor padat 768 dimensi, sekitar 4 KB) ke dalam satu Koleksi di us-central1. Dua kuota berlaku secara bersamaan:

data_object_writes        (requests per minute, per collection)
data_object_write_bytes   (bytes per minute, per collection)

Anda dibatasi oleh batas mana pun yang Anda capai terlebih dahulu. Dengan objek kecil, kuota rasio permintaan biasanya mengikat. Dengan objek besar, kuota byte akan mengikat.

Periksa kedua metrik di konsol Google Cloud untuk mengetahui metrik mana yang paling mendekati batasnya.

Workload yang banyak melakukan penelusuran

Workload inferensi yang mengirim kueri ANN ke satu Koleksi menggunakan search_requests. Jika kueri per detik (QPS) puncak Anda mendekati batas per Koleksi, minta peningkatan atau distribusikan traffic ke beberapa Koleksi di region yang sama.

Banyak Koleksi kecil

Jika Anda berencana membuat lebih banyak Koleksi daripada yang diizinkan oleh batas collections project, minta peningkatan sebelum Anda mulai membuat. Jika tidak, panggilan pembuatan yang melebihi batas akan gagal dengan RESOURCE_EXHAUSTED.

batchSearch yang berisi 10 sub-penelusuran menggunakan tepat satu batch_search_requests, tetapi setiap sub-penelusuran tetap dihitung berdasarkan metrik per sub-penelusuran masing-masing hanya di tingkat batch luar. Rencanakan fan-out batch dengan tepat.

Melihat kuota

Untuk melihat kuota Anda:

  1. Buka halaman IAM & Admin > Quotas di konsol Google Cloud .
  2. Filter untuk layanan Vector Search API.
  3. Gunakan kolom Dimensions (e.g. location) untuk memfilter berdasarkan region dan berdasarkan Collection untuk kuota bidang data.

Batas efektif saat ini untuk setiap metrik ditampilkan di halaman Kuota konsol Google Cloud di samping nama metrik, yang difilter menurut region dan, untuk kuota bidang data, Koleksi.

Menetapkan pemberitahuan kuota

Sebaiknya tetapkan pemberitahuan pada pemanfaatan 80% untuk kuota yang menjadi dasar workload Anda. Untuk mengetahui informasi selengkapnya, buka Menyiapkan pemberitahuan kuota dan Menggunakan metrik kuota dalam kebijakan pemberitahuan.

Kegagalan

Permintaan yang ditolak karena melebihi kuota tidak dihitung dalam kuota itu sendiri.

Permintaan yang gagal karena alasan lain (INVALID_ARGUMENT, NOT_FOUND, dan sebagainya) akan mengurangi kuota kapasitas karena layanan masih harus mengevaluasinya.

vector_schema kegagalan validasi dihitung. Permintaan tersebut ditolak di lapisan API setelah pemeriksaan kuota kapasitas dilakukan.

Melebihi kuota

Saat permintaan dibatasi, API akan menampilkan:

gRPC:   RESOURCE_EXHAUSTED (8)
HTTP:   429 Too Many Requests

Pesan error menyertakan metrik yang terlampaui.

Contoh:

Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.

Jika hal ini terjadi, Anda dapat meminta penambahan kuota.

Klien harus:

  • Coba lagi dengan backoff eksponensial dan jitter untuk error pembatasan kapasitas sementara. Mulai sekitar 1 detik dan backoff hingga sekitar 32 detik.
  • Error Tidak mencoba lagi yang disebabkan oleh kuota alokasi (misalnya, "too many collections"). Hapus resource atau minta penambahan.
  • Sebarkan penulisan di seluruh Koleksi atau region jika satu Koleksi mengalami hotspot pada kuota data_object_writes atau data_object_write_bytes-nya.
  • Pra-pemanasan. Jika Anda tahu bahwa peluncuran akan melebihi batas saat ini, minta peningkatan setidaknya beberapa hari kerja sebelumnya.

Permintaan penambahan kuota (QIR)

Untuk meminta penambahan kuota:

  1. Buka halaman IAM & Admin > Quotas di konsol Google Cloud .
  2. Pilih baris yang ingin Anda tingkatkan.
  3. Klik Edit Kuota, masukkan nilai baru dan justifikasi bisnis singkat, lalu kirimkan. Sertakan:
    • Nama metrik (misalnya, vectorsearch.googleapis.com/search_requests).
    • Region dan (untuk bidang data) ID Koleksi.
    • Throughput target Anda dan deskripsi singkat tentang workload (stabil versus melonjak, QPS puncak yang diharapkan, ukuran set data yang diharapkan, dan sebagainya).

Permintaan akan diteruskan ke tim Agent Retrieval untuk ditinjau. Sebagian besar peningkatan hingga 2x lipat dari default akan disetujui secara otomatis. Peningkatan yang lebih besar mungkin memerlukan peninjauan tambahan.

Lihat Juga