Quote e limiti di sistema dell'AI generativa su Agent Platform

Questo documento elenca le quote e i limiti di sistema che si applicano ai modelli di AI generativa su Agent Platform.

  • Le quote hanno valori predefiniti, ma in genere puoi richiedere degli adeguamenti.
  • I limiti di sistema sono valori fissi che non possono essere modificati.

Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.

Il sistema delle quote di Cloud esegue le seguenti operazioni:

Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.

In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.

Per saperne di più, consulta Panoramica delle quote di Cloud.

Esistono anche limiti di sistema per le risorse Agent Platform. I limiti di sistema non possono essere modificati.

Esistono anche limiti per le risorse di Gemini Enterprise Agent Platform. I limiti di sistema non possono essere modificati.

Quote per i modelli ottimizzati

L'inferenza del modello ottimizzato condivide la stessa quota del modello di base. Non esiste una quota separata per l'inferenza del modello ottimizzato.

Limiti di embedding

Le richieste per gemini-embedding-001 e gemini-embedding-2 sono soggette a quote globali.
Modello di base Quota Metrica
base_model: gemini-embedding 100.000.000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding 100.000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2 200.000.000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2 60.000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

Le richieste per gemini-embedding-001 che utilizzano l'API predict sono soggette anche alle seguenti quote:

Modello di base Quota Metrica
base_model: N/A 30.000 aiplatform.googleapis.com/online_prediction_requests

Quote di Agent Runtime

Le seguenti quote si applicano ad Agent Runtime per un determinato progetto in ogni regione:
Descrizione Quota Metrica
Crea, elimina o aggiorna le risorse di Agent Runtime al minuto 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
Crea, elimina o aggiorna le sessioni di Agent Runtime al minuto 100 aiplatform.googleapis.com/session_write_requests
Ottieni, elenca o recupera le sessioni di Agent Runtime al minuto 10000 aiplatform.googleapis.com/session_read_requests
Query o StreamQuery Agent Runtime al minuto 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Aggiungi evento alle sessioni al minuto di Agent Runtime 300 aiplatform.googleapis.com/session_event_append_requests
Numero massimo di risorse Agent Runtime 100 aiplatform.googleapis.com/reasoning_engine_service_entities
Crea, elimina o aggiorna le risorse di memoria di Agent Runtime al minuto 100 aiplatform.googleapis.com/memory_bank_write_requests
Get, list, or retrieve from Agent Runtime Memory Bank per minute 300 aiplatform.googleapis.com/memory_bank_read_requests
Richieste di esecuzione al minuto nell'ambiente sandbox (esecuzione di codice) 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
Entità dell'ambiente sandbox (esecuzione di codice) per regione 1000 aiplatform.googleapis.com/sandbox_environment_entities
Richieste di scrittura al minuto nell'ambiente sandbox (esecuzione di codice) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
Richieste POST dell'agente A2A come sendMessage e cancelTask al minuto 60 aiplatform.googleapis.com/a2a_agent_post_requests
Gli agenti A2A ricevono richieste come getTask e getCard al minuto 600 aiplatform.googleapis.com/a2a_agent_get_requests
Connessioni bidirezionali attive simultanee che utilizzano l'API BidiStreamQuery al minuto 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

Quote di input multimodale

Le seguenti quote si applicano all'input multimodale per le richieste generateContent e streamGenerateContent per un determinato progetto in ogni regione. Ogni quota viene applicata per modello di base e risoluzione. Gli stessi limiti si applicano alle richieste gestite dall'endpoint globale, utilizzando la metrica ..._global corrispondente.
Descrizione Quota Metrica
Richieste di generazione di contenuti con input di immagini al minuto per modello di base e risoluzione 34.000.000 aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
Richieste di generazione di contenuti con input video al minuto per modello di base e risoluzione 192.000.000 aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
Richieste di generazione di contenuti con input audio al minuto per modello di base e risoluzione 11.000.000 aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
Richieste di generazione di contenuti con input di documenti al minuto per modello di base e risoluzione 1.200.000 aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

Per richiedere un limite più elevato per queste quote, contatta il team dedicato al tuo account Google Cloud ; non è possibile aumentarle dalla console Google Cloud .

Quote per i media generativi

Per visualizzare e modificare le quote dei media generativi nella console Google Cloud , segui questi passaggi:

  1. Assicurati di aver abilitato l'API Agent Platform per il tuo progetto. Se l'API non è abilitata, le quote della piattaforma dell'agente non verranno visualizzate.

  2. Vai alla pagina Quote e limiti di sistema.

    Vai a Quote e limiti di sistema

  3. Nella casella di testo Filtro, inserisci le seguenti query:

    Metric: METRIC_NAME
    Dimensions (e.g. location): MODEL_NAME

    Sostituisci quanto segue:

    • METRIC_NAME: il nome della metrica da cercare, uno dei seguenti:
      • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
      • Veo: long_running_online_prediction_requests_per_base_model
      • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
    • MODEL_NAME: il nome del modello che stai utilizzando.
  4. Per modificare la quota, fai clic su Altro e poi seleziona Modifica quota.
  5. Inserisci un nuovo valore di quota nel riquadro e fai clic su Invia richiesta.

Inferenza batch

Le quote e i limiti per i job di inferenza batch sono gli stessi in tutte le regioni.

Limiti dei job di inferenza batch simultanei per i modelli Gemini

Non esistono limiti di quota predefiniti per l'inferenza batch per i modelli Gemini. Invece, il servizio batch fornisce l'accesso a un ampio pool di risorse condivise, allocate dinamicamente in base alla disponibilità in tempo reale del modello e alla domanda di tutti i clienti per quel modello. Quando più clienti sono attivi e saturano la capacità del modello, le tue richieste batch potrebbero essere messe in coda per la capacità.

Quote di job di inferenza batch simultanei per modelli non Gemini

La tabella seguente elenca le quote per il numero di job di inferenza batch simultanei, che non si applicano ai modelli Gemini:
Quota Valore
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 4
Se il numero di attività inviate supera la quota di allocazione, le attività vengono inserite in una coda ed elaborate quando la capacità della quota diventa disponibile.

Visualizza e modifica le quote nella console Google Cloud

Per visualizzare e modificare le quote nella console Google Cloud , segui questi passaggi:
  1. Vai alla pagina Quote e limiti di sistema.

    2. Vai a Quote e limiti di sistema

  2. Per modificare la quota, copia e incolla la proprietà aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs nel Filtro. Premi Invio.
  3. Fai clic sui tre puntini alla fine della riga e seleziona Modifica quota.
  4. Inserisci un nuovo valore di quota nel riquadro e fai clic su Invia richiesta.

Quote delle norme di governance semantica

Le seguenti quote si applicano alle norme di governance semantica per un determinato progetto in ogni regione:
Descrizione Quota Metrica
Risorse per ottenere o elencare le norme di governance semantica al minuto 600 aiplatform.googleapis.com/semantic_governance/policy_read_requests
Crea, aggiorna o elimina le norme di governance semantica al minuto 60 aiplatform.googleapis.com/semantic_governance/policy_write_requests
Ottieni risorse del motore delle policy di governance semantica al minuto 600 aiplatform.googleapis.com/semantic_governance/engine_read_requests
Aggiorna o esegui il deprovisioning delle risorse del Policy Engine delle norme di governance semantica al minuto 60 aiplatform.googleapis.com/semantic_governance/engine_write_requests
Numero di risorse delle norme di governance semantica per progetto per località. 1000 aiplatform.googleapis.com/semantic_governance/policy_count

Visualizza e modifica le quote nella console Google Cloud

Per visualizzare e modificare le quote nella console Google Cloud , segui questi passaggi:
  1. Vai alla pagina Quote e limiti di sistema.

    2. Vai a Quote e limiti di sistema

  2. Per modificare la quota, copia e incolla la proprietà aiplatform.googleapis.com/semantic_governance/policy_write_requests nel Filtro. Premi Invio.
  3. Fai clic sui tre puntini alla fine della riga e seleziona Modifica quota.
  4. Inserisci un nuovo valore di quota nel riquadro e fai clic su Invia richiesta.

RAG Engine su Gemini Enterprise Agent Platform

Per ogni servizio che esegue la Retrieval Augmented Generation (RAG) utilizzando RAG Engine, si applicano le seguenti quote, misurate in richieste al minuto (RPM).
Servizio Quota Metrica
API di gestione dei dati di RAG Engine 60 RPM VertexRagDataService requests per minute per region
RetrievalContexts API 600 RPM VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko 1500 RPM Online prediction requests per base model per minute per region per base_model

Un altro filtro che puoi specificare è base_model: textembedding-gecko
I limiti sono i seguenti:
Servizio Limite Metrica
Richieste ImportRagFiles in parallelo 3 RPM VertexRagService concurrent import requests per region
Numero massimo di file per richiesta ImportRagFiles 10.000 VertexRagService import rag files requests per region

Gen AI evaluation service

Il servizio di valutazione dell'AI generativa utilizza Gemini 2.5 Flash come modello di valutazione predefinito per le metriche basate su modelli. Una singola richiesta di valutazione per una metrica basata su modello potrebbe comportare più richieste sottostanti al servizio di valutazione dell'AI generativa. Il consumo di ogni modello viene calcolato a livello di organizzazione, il che significa che tutte le richieste indirizzate al modello di valutazione per l'inferenza del modello e la valutazione basata sul modello contribuiscono al consumo del modello. Le quote per il servizio di valutazione dell'AI generativa e il modello di valutazione sottostante sono mostrate nella tabella seguente:
Richiedi quota Quota predefinita
Richieste al minuto del servizio di valutazione dell'AI generativa 1000 richieste per progetto per regione
Throughput di Gemini Dipende dal modello e dall'opzione di consumo
Esecuzioni di valutazione simultanee 20 esecuzioni di valutazione simultanee per progetto per regione

Se ricevi un errore relativo alle quote durante l'utilizzo del servizio di valutazione dell'AI generativa, potresti dover presentare una richiesta di aumento della quota. Per saperne di più, consulta Visualizza e gestisci le quote.

Limite Valore
Timeout della richiesta del servizio di valutazione dell'AI generativa 60 secondi

Quando utilizzi il servizio di valutazione dell'AI generativa per la prima volta in un nuovo progetto, potresti riscontrare un ritardo di configurazione iniziale fino a due minuti. Se la prima richiesta non va a buon fine, attendi qualche minuto e riprova. Le richieste di valutazione successive vengono in genere completate entro 60 secondi.

I token di input e output massimi per le metriche basate su modelli dipendono dal modello utilizzato come modello di valutazione. Consulta Modelli Google per un elenco dei modelli.

Quote delle pipeline di Gemini Enterprise Agent Platform

Ogni job di ottimizzazione utilizza le pipeline di Gemini Enterprise Agent Platform. Per saperne di più, consulta Quote e limiti di Agent Platform Pipelines.

Passaggi successivi

Panoramica

Scopri di più su PayGo standard, un'opzione di consumo di Agent Platform che ti consente di pagare solo per le risorse che utilizzi, senza richiedere impegni finanziari iniziali.

Risorsa

Quote e limiti di sistema relativi ad Agent Platform, esclusi quelli specifici dei prodotti.

Panoramica

Scopri in che modo Google Cloud limita la quantità di una risorsa che il tuo progetto Google Cloud può utilizzare e come le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete.