Google Cloud menggunakan kuota untuk membantu menjaga keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.
Sistem Kuota Cloud melakukan hal berikut:
- Memantau pemakaian Google Cloud produk dan layanan
- Membatasi pemakaian resource tersebut
- Menyediakan cara untuk meminta perubahan pada nilai kuota dan mengotomatiskan penyesuaian kuota
Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.
Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.
Di Agent Retrieval (sebelumnya Penelusuran Vektor 2.0), kuota diterapkan untuk melindungi layanan, memastikan pembagian kapasitas yang adil antar-project, dan memberi Anda performa serta biaya yang lebih dapat diprediksi. Kuota dilacak secara independen menurut region. Misalnya, penggunaan di
us-central tidak memengaruhi kuota Anda di europe-west4.
Metrik
Semua nama metrik diawali dengan vectorsearch.googleapis.com/.
Kuota kapasitas (permintaan/menit dan byte/menit)
Untuk kuota kapasitas data, kuota dievaluasi per menit dan berlaku per project dan per region (atau multi-region), dan secara opsional per Koleksi.
Setiap panggilan API yang diterima akan menambah penghitung sebesar satu permintaan
(atau N byte untuk kuota byte). Penghitung dihitung per menit kalender
dan menggunakan evaluasi jendela geser (tidak ada reset permanen pada :00).
Anda dapat terus menjalankan kueri hingga batasnya tanpa melihat efek "pengisian ulang".
Jika penghitung melebihi batasnya, permintaan tambahan akan menampilkan
RESOURCE_EXHAUSTED (HTTP 429) dengan reason="RATE_LIMIT_EXCEEDED" dan
nama metrik yang tepat di kolom quota_metric.
Kuota kapasitas bidang kontrol
Kuota berikut berlaku untuk siklus proses resource, serta operasi baca dan daftar pada Koleksi dan indeks untuk project dan region tertentu.
Cakupan: per project, per region
Unit: 1/min
Batas: permintaan per menit.
| Metrik | Jumlah |
|---|---|
collection_management_requests
|
collections.createcollections.updatecollections.delete |
collection_read_requests |
collections.get |
collection_list_requests |
collections.list |
index_management_requests
|
indexes.createindexes.updateindexes.delete |
index_read_requests |
indexes.get |
index_list_requests |
indexes.list |
Permintaan operasi yang berjalan lama (LRO)
Kuota berikut berlaku untuk operasi baca, daftar, batalkan, dan hapus yang berjalan lama untuk project dan region tertentu.
Cakupan: per project, per region
Unit: 1/min
Batas: permintaan per menit.
| Metrik | Jumlah |
|---|---|
lro_requests
|
operations.getoperations.listoperations.canceloperations.delete |
Kuota kapasitas bidang data
Kuota berikut berlaku untuk Objek Data, kueri, dan traffic penelusuran untuk project, region, dan koleksi tertentu.
Catatan: Kuota permintaan penelusuran (search_requests) digunakan untuk penelusuran teks dan penelusuran semantik.
Cakupan: per project, per region, per Koleksi
Unit: 1/min
Batas: permintaan per menit, per Koleksi
| Metrik | Jumlah |
|---|---|
data_object_writes
|
dataObjects.createdataObjects.updatedataObjects.delete Setiap Objek Data yang disertakan dalam batchCreatebatchUpdatebatchDelete |
data_object_writes_us
|
Sama seperti data_object_writes, tetapi untuk
multi-region us. |
data_object_reads |
dataObjects.get |
data_object_reads_us
|
Sama seperti data_object_reads, tetapi untuk
multi-region us. |
query_requests |
dataObjects.query (kueri filter khusus metadata) |
query_requests_us
|
Sama seperti query_requests, tetapi untuk
multi-region us. |
search_requests |
dataObjects.search saat menjalankan ANN padat atau sparse. |
search_requests_us
|
Sama seperti search_requests, tetapi untuk
multi-region us. |
knn_search_requests |
dataObjects.search saat menjalankan penelusuran KNN yang lengkap. |
batch_search_requests_us
|
Sama seperti batch_search_requests, tetapi untuk
multi-region us. |
batch_search_requests |
dataObjects.batchSearch (satu permintaan, terlepas dari sub-penelusuran) |
batch_search_requests_us
|
Sama seperti batch_search_requests, tetapi untuk
multi-region us. |
Kuota throughput bidang data
Kuota berikut berlaku untuk byte yang ditulis per menit untuk project, region, dan Koleksi tertentu.
Cakupan: per project, per region, per Koleksi
Unit: 1/min
Batas: permintaan per menit, per Koleksi
| Metrik | Jumlah |
|---|---|
data_object_write_bytes
|
Jumlah data yang diserialisasi dan byte vektor yang ditulis oleh semua panggilancreate, update, delete, batchCreate, batchUpdate, danbatchDelete untuk Koleksi, Objek Data, dan indeks. |
data_object_write_bytes_us
|
Sama seperti data_object_write_bytes, tetapi untuk
multi-region us.. |
Operasi batch
batchCreate, batchUpdate, batchDelete dataObjects: setiap Objek Data individual dalam permintaan dihitung sebagai satu penulisan terhadapdata_object_writesdan menyumbangkan ukuran serialnya dalam byte kedata_object_write_bytes.batchSearch dataObjects: dihitung sebagai satu permintaan terhadapbatch_search_requests, terlepas dari jumlah sub-penelusuran yang dipaketkan. Penelusuran batch menyebabkan kuota sub-penelusuran juga dihitung.
Kuota alokasi (jumlah saat ini)
Kuota alokasi adalah jumlah saat ini.
Penghitung adalah jumlah langsung resource atau operasi yang sedang berlangsung yang dimiliki oleh project.
Jumlahnya meningkat saat pembuatan resource atau awal operasi dan menurun saat penghapusan atau penyelesaian operasi.
Saat batas tercapai, panggilan pembuatan berikutnya akan menampilkan RESOURCE_EXHAUSTED.
Hapus resource yang ada atau tunggu hingga LRO selesai untuk mengosongkan kuota.
Kuota alokasi bidang kontrol
Kuota berikut berlaku untuk jumlah resource atau operasi yang sedang berjalan yang mungkin dimiliki project untuk project dan region tertentu, termasuk hal berikut:
- Koleksi
- Indeks
- Operasi pembuatan, impor, dan ekspor serentak pada Koleksi, Objek Data, dan indeks
Cakupan: per project, per region
Unit: 1
Batas: jumlah absolut (kuota yang tepat)
| Metrik | Jumlah |
|---|---|
collections |
Jumlah Koleksi yang ada dalam project/region. |
collections_us
|
Sama seperti collections, tetapi untuk
multi-region us. |
indexes |
Jumlah indeks (dijumlahkan di semua Koleksi) dalam project/region. |
indexes_us
|
Sama seperti indexes, tetapi untuk
multi-region us. |
concurrent_index_operations |
LRO indeks dalam proses (Buat/Update/Hapus). |
concurrent_index_operations_us
|
Sama seperti concurrent_index_operations, tetapi untuk
multi-region us. |
concurrent_collection_operations |
LRO Koleksi yang sedang berjalan (Buat/Perbarui/Hapus). |
concurrent_collection_operations_us
|
Sama seperti concurrent_collection_operations, tetapi untuk
multi-region us. |
concurrent_data_object_imports |
LRO dataObjects.import yang sedang berjalan. |
concurrent_data_object_imports_us
|
Sama seperti concurrent_data_object_imports, tetapi untuk
multi-region us. |
concurrent_data_object_exports |
LRO dataObjects.export yang sedang berjalan. |
concurrent_data_object_exports_us
|
Sama seperti concurrent_data_object_exports, tetapi untuk
multi-region us. |
Penyematan otomatis
Penyematan otomatis menggunakan Gemini API di Gemini Enterprise Agent Platform
(aiplatform.googleapis.com). Setiap permintaan API mengurangi
search_requests atau data_object_writes dan panggilan penyematan mengurangi
kuota prediksi. Pastikan kedua API memiliki kapasitas.
Contoh Penggunaan
Bagian berikut menjelaskan pengaruh berbagai skenario penggunaan terhadap kuota.
Workload tulis berkelanjutan
Anda menyerap dokumen (data plus vektor padat 768 dimensi, sekitar 4 KB) ke dalam satu Koleksi di us-central1. Dua kuota berlaku secara bersamaan:
data_object_writes (requests per minute, per collection)
data_object_write_bytes (bytes per minute, per collection)
Anda dibatasi oleh batas mana pun yang Anda capai terlebih dahulu. Dengan objek kecil, kuota rasio permintaan biasanya mengikat. Dengan objek besar, kuota byte akan mengikat.
Periksa kedua metrik di konsol Google Cloud untuk mengetahui metrik mana yang paling mendekati batasnya.
Workload yang banyak melakukan penelusuran
Workload inferensi yang mengirim kueri ANN ke satu Koleksi menggunakan search_requests. Jika kueri per detik (QPS) puncak Anda mendekati batas per Koleksi, minta peningkatan atau distribusikan traffic ke beberapa Koleksi di region yang sama.
Banyak Koleksi kecil
Jika Anda berencana membuat lebih banyak Koleksi daripada yang diizinkan oleh batas collections project, minta peningkatan sebelum Anda mulai membuat. Jika tidak, panggilan pembuatan yang melebihi batas akan gagal dengan RESOURCE_EXHAUSTED.
Penelusuran batch
batchSearch yang berisi 10 sub-penelusuran menggunakan tepat satu
batch_search_requests, tetapi setiap sub-penelusuran tetap dihitung berdasarkan
metrik per sub-penelusuran masing-masing hanya di tingkat batch luar.
Rencanakan fan-out batch dengan tepat.
Melihat kuota
Untuk melihat kuota Anda:
- Buka halaman IAM & Admin > Quotas di konsol Google Cloud .
- Filter untuk layanan
Vector Search API. - Gunakan kolom Dimensions (e.g. location) untuk memfilter berdasarkan region dan berdasarkan Collection untuk kuota bidang data.
Batas efektif saat ini untuk setiap metrik ditampilkan di halaman Kuota konsol Google Cloud di samping nama metrik, yang difilter menurut region dan, untuk kuota bidang data, Koleksi.
Menetapkan pemberitahuan kuota
Sebaiknya tetapkan pemberitahuan pada pemanfaatan 80% untuk kuota yang menjadi dasar workload Anda. Untuk mengetahui informasi selengkapnya, buka Menyiapkan pemberitahuan kuota dan Menggunakan metrik kuota dalam kebijakan pemberitahuan.
Kegagalan
Permintaan yang ditolak karena melebihi kuota tidak dihitung dalam kuota itu sendiri.
Permintaan yang gagal karena alasan lain (INVALID_ARGUMENT, NOT_FOUND, dan sebagainya)
akan mengurangi kuota kapasitas karena layanan masih harus mengevaluasinya.
vector_schema kegagalan validasi dihitung. Permintaan tersebut ditolak di lapisan API setelah pemeriksaan kuota kapasitas dilakukan.
Melebihi kuota
Saat permintaan dibatasi, API akan menampilkan:
gRPC: RESOURCE_EXHAUSTED (8)
HTTP: 429 Too Many Requests
Pesan error menyertakan metrik yang terlampaui.
Contoh:
Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.
Jika hal ini terjadi, Anda dapat meminta penambahan kuota.
Perilaku klien yang direkomendasikan
Klien harus:
- Coba lagi dengan backoff eksponensial dan jitter untuk error pembatasan kapasitas sementara. Mulai sekitar 1 detik dan backoff hingga sekitar 32 detik.
- Error Tidak mencoba lagi yang disebabkan oleh kuota alokasi (misalnya,
"too many collections"). Hapus resource atau minta penambahan. - Sebarkan penulisan di seluruh Koleksi atau region jika satu Koleksi
mengalami hotspot pada kuota
data_object_writesataudata_object_write_bytes-nya. - Pra-pemanasan. Jika Anda tahu bahwa peluncuran akan melebihi batas saat ini, minta peningkatan setidaknya beberapa hari kerja sebelumnya.
Permintaan penambahan kuota (QIR)
Untuk meminta penambahan kuota:
- Buka halaman IAM & Admin > Quotas di konsol Google Cloud .
- Pilih baris yang ingin Anda tingkatkan.
- Klik Edit Kuota, masukkan nilai baru dan justifikasi bisnis singkat,
lalu kirimkan. Sertakan:
- Nama metrik (misalnya,
vectorsearch.googleapis.com/search_requests). - Region dan (untuk bidang data) ID Koleksi.
- Throughput target Anda dan deskripsi singkat tentang workload (stabil versus melonjak, QPS puncak yang diharapkan, ukuran set data yang diharapkan, dan sebagainya).
- Nama metrik (misalnya,
Permintaan akan diteruskan ke tim Agent Retrieval untuk ditinjau. Sebagian besar peningkatan hingga 2x lipat dari default akan disetujui secara otomatis. Peningkatan yang lebih besar mungkin memerlukan peninjauan tambahan.
Lihat Juga
- Koleksi
- Objek Data
- Indeks
- Dokumentasi Cloud Quotas
- Menyiapkan peringatan kuota dan pemantauan
- Membuat diagram dan memantau metrik kuota