Keterbatasan kuota dan sistem AI Generatif di Platform Agen

Dokumen ini mencantumkan kuota dan batas sistem yang berlaku untuk model AI Generatif di Agent Platform.

  • Kuota memiliki nilai default, tetapi biasanya Anda dapat meminta penyesuaian.
  • Batas sistem adalah nilai tetap yang tidak dapat diubah.

Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.

Sistem Kuota Cloud melakukan hal berikut:

Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.

Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.

Ada juga batas sistem pada resource Agent Platform. Batas sistem tidak dapat diubah.

Ada juga batasan pada resource Gemini Enterprise Agent Platform. Batas sistem tidak dapat diubah.

Kuota model yang disesuaikan

Inferensi model yang disesuaikan menggunakan kuota yang sama dengan model dasar. Tidak ada kuota terpisah untuk inferensi model yang di-tune.

Batas penyematan

Permintaan untuk gemini-embedding-001 dan gemini-embedding-2 tunduk pada kuota global.
Model dasar Kuota Metrik
base_model: gemini-embedding 100.000.000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding 100.000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2 200.000.000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2 60.000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

Permintaan untuk gemini-embedding-001 menggunakan predict API juga tunduk pada kuota berikut:

Model dasar Kuota Metrik
base_model: T/A 30.000 aiplatform.googleapis.com/online_prediction_requests

Kuota Agent Runtime

Kuota berikut berlaku untuk Agent Runtime untuk project tertentu di setiap region:
Deskripsi Kuota Metrik
Membuat, menghapus, atau memperbarui resource Agent Runtime per menit 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
Membuat, menghapus, atau memperbarui sesi Agent Runtime per menit 100 aiplatform.googleapis.com/session_write_requests
Mendapatkan, mencantumkan, atau mengambil sesi Agent Runtime per menit 10000 aiplatform.googleapis.com/session_read_requests
Query atau StreamQuery Agent Runtime per menit 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Menambahkan peristiwa ke sesi Agent Runtime per menit 300 aiplatform.googleapis.com/session_event_append_requests
Jumlah maksimum resource Agent Runtime 100 aiplatform.googleapis.com/reasoning_engine_service_entities
Membuat, menghapus, atau memperbarui resource memori Agent Runtime per menit 100 aiplatform.googleapis.com/memory_bank_write_requests
Mendapatkan, mencantumkan, atau mengambil dari Bank Memori Agent Runtime per menit 300 aiplatform.googleapis.com/memory_bank_read_requests
Permintaan eksekusi per menit di lingkungan sandbox (Eksekusi Kode) 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
Entitas lingkungan sandbox (Eksekusi Kode) per wilayah 1000 aiplatform.googleapis.com/sandbox_environment_entities
Permintaan tulis per menit lingkungan sandbox (Eksekusi Kode) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
Permintaan postingan A2A Agent seperti sendMessage dan cancelTask per menit 60 aiplatform.googleapis.com/a2a_agent_post_requests
Permintaan get Agen A2A seperti getTask dan getCard per menit 600 aiplatform.googleapis.com/a2a_agent_get_requests
Koneksi dua arah live serentak menggunakan API BidiStreamQuery per menit 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

Kuota input multimodal

Kuota berikut berlaku untuk input multimodal untuk permintaan generateContent dan streamGenerateContent untuk project tertentu di setiap region. Setiap kuota diterapkan per model dasar dan resolusi. Batas yang sama berlaku untuk permintaan yang ditayangkan oleh endpoint global, menggunakan metrik ..._global yang sesuai.
Deskripsi Kuota Metrik
Permintaan pembuatan konten dengan input gambar per menit per model dasar dan resolusi 34.000.000 aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
Permintaan pembuatan konten dengan input video per menit per model dasar dan resolusi 192.000.000 aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
Menghasilkan permintaan konten dengan input audio per menit per model dasar dan resolusi 11.000.000 aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
Membuat permintaan konten dengan input dokumen per menit per model dasar dan resolusi 1.200.000 aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

Untuk meminta batas yang lebih tinggi untuk kuota ini, hubungi tim akun Google Cloud Anda; kuota ini tidak dapat ditingkatkan dari konsol Google Cloud .

Kuota media generatif

Untuk melihat dan mengedit kuota media generatif di konsol Google Cloud , lakukan tindakan berikut:

  1. Pastikan Anda telah mengaktifkan Agent Platform API untuk project Anda. Jika API tidak diaktifkan, kuota Agent Platform tidak akan ditampilkan.

  2. Buka halaman Quotas and System Limits.

    Buka Quotas and System Limits

  3. Di kotak teks Filter, masukkan kueri berikut:

    Metric: METRIC_NAME
    Dimensions (e.g. location): MODEL_NAME

    Ganti kode berikut:

    • METRIC_NAME: Nama metrik yang akan dicari, salah satu dari berikut:
      • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
      • Veo: long_running_online_prediction_requests_per_base_model
      • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
    • MODEL_NAME: Nama model yang Anda gunakan.
  4. Untuk menyesuaikan kuota, klik Lainnya, lalu pilih Edit kuota.
  5. Masukkan nilai kuota baru di panel, lalu klik Submit request.

Inferensi batch

Kuota dan batas untuk tugas inferensi batch sama di semua region.

Batas tugas inferensi batch serentak untuk model Gemini

Tidak ada batas kuota yang telah ditentukan sebelumnya pada inferensi batch untuk model Gemini. Sebagai gantinya, layanan batch menyediakan akses ke kumpulan besar resource bersama, yang dialokasikan secara dinamis berdasarkan ketersediaan dan permintaan model secara real-time di semua pelanggan untuk model tersebut. Jika lebih banyak pelanggan yang aktif dan memenuhi kapasitas model, permintaan batch Anda mungkin dimasukkan dalam antrean untuk kapasitas.

Kuota tugas inferensi batch serentak untuk model non-Gemini

Tabel berikut mencantumkan kuota untuk jumlah tugas inferensi batch serentak, yang tidak berlaku untuk model Gemini:
Kuota Nilai
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 4
Jika jumlah tugas yang dikirimkan melebihi kuota yang dialokasikan, tugas akan ditempatkan dalam antrean dan diproses saat kapasitas kuota tersedia.

Melihat dan mengedit kuota di konsol Google Cloud

Untuk melihat dan mengedit kuota di konsol Google Cloud , lakukan hal berikut:
  1. Buka halaman Quotas and System Limits.

    2. Buka Quotas and System Limits

  2. Untuk menyesuaikan kuota, salin dan tempel properti aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs di Filter. Tekan Enter.
  3. Klik tiga titik di akhir baris, lalu pilih Edit kuota.
  4. Masukkan nilai kuota baru di panel, lalu klik Submit request.

Kuota Kebijakan Tata Kelola Semantik

Kuota berikut berlaku untuk Kebijakan Tata Kelola Semantik untuk project tertentu di setiap region:
Deskripsi Kuota Metrik
Mendapatkan atau mencantumkan resource Kebijakan tata kelola semantik per menit 600 aiplatform.googleapis.com/semantic_governance/policy_read_requests
Membuat, memperbarui, atau menghapus resource Kebijakan tata kelola semantik per menit 60 aiplatform.googleapis.com/semantic_governance/policy_write_requests
Mendapatkan resource mesin kebijakan tata kelola semantik per menit 600 aiplatform.googleapis.com/semantic_governance/engine_read_requests
Memperbarui atau membatalkan penyediaan resource mesin kebijakan Tata kelola semantik per menit 60 aiplatform.googleapis.com/semantic_governance/engine_write_requests
Jumlah resource Kebijakan tata kelola semantik per project per lokasi. 1.000 aiplatform.googleapis.com/semantic_governance/policy_count

Melihat dan mengedit kuota di konsol Google Cloud

Untuk melihat dan mengedit kuota di konsol Google Cloud , lakukan hal berikut:
  1. Buka halaman Quotas and System Limits.

    2. Buka Quotas and System Limits

  2. Untuk menyesuaikan kuota, salin dan tempel properti aiplatform.googleapis.com/semantic_governance/policy_write_requests di Filter. Tekan Enter.
  3. Klik tiga titik di akhir baris, lalu pilih Edit kuota.
  4. Masukkan nilai kuota baru di panel, lalu klik Submit request.

Mesin RAG di Gemini Enterprise Agent Platform

Agar setiap layanan dapat melakukan Retrieval-Augmented Generation (RAG) menggunakan RAG Engine, kuota berikut berlaku, dengan kuota diukur sebagai permintaan per menit (RPM).
Layanan Kuota Metrik
API pengelolaan data Mesin RAG 60 RPM VertexRagDataService requests per minute per region
RetrievalContexts API 600 RPM VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko 1.500 RPM Online prediction requests per base model per minute per region per base_model

Filter tambahan yang dapat Anda tentukan adalah base_model: textembedding-gecko
Batasan berikut berlaku:
Layanan Batas Metrik
Permintaan ImportRagFiles serentak 3 RPM VertexRagService concurrent import requests per region
Jumlah maksimum file per permintaan ImportRagFiles 10.000 VertexRagService import rag files requests per region

Layanan evaluasi AI generatif

Layanan evaluasi AI generatif menggunakan Gemini 2.5 Flash sebagai model penilai default untuk metrik berbasis model. Satu permintaan evaluasi untuk metrik berbasis model dapat menghasilkan beberapa permintaan pokok ke layanan evaluasi AI generatif. Penggunaan setiap model dihitung di tingkat organisasi, yang berarti bahwa setiap permintaan yang ditujukan ke model penilaian untuk inferensi model dan evaluasi berbasis model berkontribusi pada penggunaan model. Kouta untuk layanan evaluasi AI generatif dan model hakim yang mendasarinya ditampilkan dalam tabel berikut:
Minta kuota Kuota default
Permintaan layanan evaluasi AI generatif per menit 1.000 permintaan per project per region
Throughput Gemini Bergantung pada model dan opsi penggunaan
Menjalankan evaluasi serentak 20 operasi evaluasi serentak per project per region

Jika Anda menerima error terkait kuota saat menggunakan layanan evaluasi AI generatif, Anda mungkin perlu mengajukan permintaan penambahan kuota. Lihat Melihat dan mengelola kuota untuk mengetahui informasi selengkapnya.

Batas Nilai
Waktu tunggu permintaan layanan evaluasi AI generatif habis 60 detik

Saat menggunakan layanan evaluasi AI generatif untuk pertama kalinya dalam project baru, Anda mungkin mengalami penundaan penyiapan awal hingga dua menit. Jika permintaan pertama Anda gagal, tunggu beberapa menit lalu coba lagi. Permintaan evaluasi berikutnya biasanya selesai dalam waktu 60 detik.

Jumlah maksimum token input dan output untuk metrik berbasis model bergantung pada model yang digunakan sebagai model penilai. Lihat Model Google untuk mengetahui daftar model.

Kuota Gemini Enterprise Agent Platform Pipelines

Setiap tugas penyesuaian menggunakan Gemini Enterprise Agent Platform Pipelines. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas Pipeline Platform Agen.

Langkah berikutnya

Ringkasan

Pelajari Standard PayGo, opsi penggunaan Agent Platform yang memungkinkan Anda hanya membayar resource yang Anda gunakan, tanpa memerlukan komitmen keuangan di muka.

Resource

Kuota dan batas sistem yang terkait dengan Agent Platform, tidak termasuk kuota dan batas sistem khusus produk.

Ringkasan

Pelajari cara Google Cloud membatasi jumlah resource yang dapat digunakan project Google Cloud Anda, dan cara kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan.