Quote e limiti di sistema

Customer Experience Agent Studio utilizza quote e limiti di sistema per mantenere un'allocazione equa delle risorse, prevenire i sovraccarichi del servizio e aiutarti a gestire l'utilizzo delle risorse.

Le quote e i limiti di sistema sono simili, ma differiscono nei seguenti modi:

  • Le quote hanno valori predefiniti, ma in genere puoi richiedere degli adeguamenti.
  • I limiti di sistema sono valori fissi che non possono essere modificati.

Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.

Il sistema delle quote di Cloud esegue le seguenti operazioni:

Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.

In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.

Per saperne di più, consulta Panoramica delle quote di Cloud.

Cose importanti da sapere

  • Mappatura delle quote multiregionali: i deployment multiregionali e global applicano le quote in una singola regione mappata. Seleziona sempre la singola regione mappata quando visualizzi l'utilizzo o richiedi un aggiustamento.
  • Pooling di progetti e base_model: le quote si applicano per progetto Google Cloude regione mappata. Anche le quote dei modelli di runtime vengono monitorate per base_model: tutti gli agenti, i guardrail o gli strumenti nello stesso progetto e nella stessa regione che condividono un pool di modelli vengono raggruppati in una riga base_model.
  • Le quote di token regolano la capacità, non la fatturazione: le quote di token LLM RunSession sono solo guardrail di throughput. I prezzi delle sessioni di CX Agent Studio includono l'utilizzo dei token dell'agente e del guardrail sottostanti e l'aumento della quota di token ces.googleapis.com non aggiunge addebiti per token. Per i dettagli sulla fatturazione, consulta Prezzi di CX Agent Studio.
  • Tempi di risposta e avvisi: i piccoli aggiustamenti delle quote vengono spesso approvati automaticamente, mentre i grandi aumenti della produzione richiedono una revisione della capacità e devono essere richiesti con largo anticipo rispetto ai test di carico o al lancio. Configura gli avvisi di utilizzo della quota (ad esempio, al 80% di utilizzo) per rilevare tempestivamente la crescita del traffico.

Termini chiave

  • App (applicazione agente): il container di primo livello creato quando fai clic su Crea agente nella console CX Agent Studio (Crea un'applicazione agente; projects/*/locations/*/apps/* nell'API). Un'app contiene l'agente principale, i sub-agenti, gli strumenti, i guardrail, le valutazioni e le versioni.
  • RunSession e StreamRunSession: metodi dell'API di runtime che elaborano le richieste passo passo, in genere utilizzati per chat di testo e web.
  • BidiRunSession: metodo API di runtime che apre uno stream bidirezionale persistente, in genere utilizzato per chiamate vocali live e audio in tempo reale.
  • base_model: la dimensione della quota che identifica l'ID del modello di base o composito specifico che gestisce un agente, un guardrail o uno strumento generativo integrato.

Mappatura delle quote multiregionali

Quando esegui il deployment di un'app in una multi-regione o chiami l'endpoint global, CX Agent Studio monitora le quote nelle seguenti singole regioni:

Posizione dell'applicazione Quota mappata region
us (Stati Uniti, multiregione) us-central1
eu (UE multiregionale) europe-west4
global endpoint us-central1

Quote delle sessioni di runtime

Le seguenti quote regolabili regolano le conversazioni in tempo reale con i clienti tramite chat e voce.

Quota Predefinito Tipo e ambito Metrica e comportamento
RunSession token LLM al minuto 120.000 Quota di frequenza (per progetto, region, base_model; si reimposta ogni minuto)

ces.googleapis.com/run_session_llm_token_consumption

Si applica sia alla chat (RunSession, StreamRunSession) sia alla voce (BidiRunSession). Le sessioni di chat non hanno una quota di frequenza delle sessioni o di contemporaneità separata. Se superato, i nuovi turni non vanno a buon fine con 429 RESOURCE_EXHAUSTED. Consulta Come vengono conteggiati i token e le quote di base_model.

Operazioni BidiRunSession simultanee ogni 30 minuti 15 Quota contemporanea (per progetto, region, base_model)

ces.googleapis.com/concurrent_bidi_run_session_operations

Numero massimo di sessioni di streaming vocale o bidirezionale attive contemporaneamente. Ogni stream aperto occupa uno slot e lo rilascia al momento della disconnessione (30 minuti è la finestra massima di assegnazione dello slot). Se questo limite viene superato, i nuovi stream non vanno a buon fine e viene visualizzato l'errore 429 RESOURCE_EXHAUSTED.

Come vengono conteggiati i token e le quote di base_model

Un singolo turno di conversazione può attivare più chiamate LLM quando un agente richiama strumenti o trasferisce a un sub-agente e un'app può consumare la quota su più righe base_model contemporaneamente.

Conteggiati ai fini del limite di RunSession token LLM al minuto (in pool per base_model):

  • Agente principale, sub-agenti e strumenti degli agenti: token di input e output in ogni chiamata LLM in un turno, fatturati al modello configurato di ogni agente. I modelli vocali compositi fatturano solo l'ID base_model composito anziché i modelli vocali o i sottomodelli sottostanti.
  • Guardrail basati su LLM: Prompt Guard, Regole in linguaggio naturale e l'azione di attivazione Genera una risposta, fatturati a un Gemini base_model leggero predefinito separato (a meno che non siano bloccati tramite l'API modelSettings.model su una policy di guardrail).
  • Strumenti generativi integrati: riscrittura o riassunto delle query del datastore e grounding della Ricerca Google, fatturati in base alla base_model sottostante.

Non conteggiati ai fini dei RunSession token LLM al minuto:

  • Misure di protezione deterministiche e di supervisione: Lista bloccata, Regole del codice, classificatori di Sicurezza predefiniti e Agenti supervisori (anteprima), a meno che non siano configurati per attivare Genera una risposta.
  • Valutazioni integrate (RunEvaluation, anteprima): applica solo Concurrent RunEvaluation operations (gli script di test personalizzati che chiamano RunSession o BidiRunSession direttamente vengono conteggiati come sessioni live).
  • Funzionalità integrate di riconoscimento vocale ed esecuzione di codice: funzionalità integrate di conversione da Speech-to-Text, Text-to-Speech ed esecuzione di strumenti o callback Python.

Identifica e ridimensiona base_model righe

I modelli ausiliari predefiniti si evolvono nel tempo e alcuni nomi di modelli della console vengono mappati agli ID base_model con versione. Conferma le righe attive in un progetto non di produzione prima del lancio:

  1. Esegui sessioni di test rappresentative con gli agenti, i guardrail e gli strumenti abilitati.
  2. Dopo qualche minuto, apri IAM e amministrazione > Quote e limiti di sistema filtrati per Metric:ces.googleapis.com/run_session_llm_token_consumption (o controlla serviceruntime.googleapis.com/quota/rate/net_usage su ces.googleapis.com/Location in Cloud Monitoring) per visualizzare ogni riga base_model attiva e i relativi TPM osservati per sessione.
  3. Richiedi aggiustamenti per gli stessi ID base_model (anche nelle righe di utilizzo 0) nella regione mappata del progetto di produzione.

Ad esempio, un'app vocale in us che utilizza AGENT_MODEL e guardrail basati su LLM su GUARDRAIL_MODEL modifica tre righe in us-central1:

Quota Dimensioni target Come scegliere la taglia
Operazioni BidiRunSession simultanee region=us-central1, base_model=AGENT_MODEL Picco di chiamate vocali simultanee più margine di sicurezza
RunSession token LLM al minuto region=us-central1, base_model=AGENT_MODEL Sessioni di picco moltiplicate per il numero di TPM AGENT_MODEL osservato per sessione di test, più l'headroom
RunSession token LLM al minuto region=us-central1, base_model=GUARDRAIL_MODEL Sessioni di picco moltiplicate per il numero di TPM GUARDRAIL_MODEL osservato per sessione di test, più l'headroom

Quote di gestione, creazione e valutazione

Le seguenti quote regolabili regolano l'amministrazione delle app, la CI/CD, gli assistenti di authoring di Studio AI, i test degli strumenti autonomi e le valutazioni. Nessuna di queste quote limita il traffico delle sessioni dei clienti attivi.

Quota Predefinito Tipo e ambito Metrica e note
App per progetto per regione 1000 Allocazione (per progetto, region) ces.googleapis.com/apps: applicazioni degli agenti di primo livello (container App); ripristinate quando un'app viene eliminata.
Richieste API al minuto 10.800 Tariffa (per progetto) api-requests: copre le RPC di gestione, strumenti e valutazione; esclude le sessioni di runtime.
Operazioni di mutazione dell'app al minuto 200 Tariffa (per progetto, region) ces.googleapis.com/app_mutation_operations: azioni di scrittura che creano, modificano, eliminano, eseguono il deployment, importano (ImportApp) o sincronizzano un'app o i relativi agenti, strumenti, guardrail o valutazioni. Le importazioni collettive e la sincronizzazione Git vengono conteggiate come 1 operazione per chiamata.
Operazioni di lettura dell'app al minuto 600 Tariffa (per progetto, region) ces.googleapis.com/app_read_operations: azioni di lettura che visualizzano, elencano o esportano (ExportApp) un'app o i relativi agenti, strumenti, guardrail o valutazioni. Le esportazioni collettive vengono conteggiate come 1 operazione per chiamata.
Operazioni generative dell'app al minuto (anteprima) 100 Tariffa (per progetto, region) ces.googleapis.com/app_generative_operations: azioni di authoring assistite dall'AI nella console o nell'API, come la generazione di istruzioni, strumenti fittizi, scenari di test o correzioni di qualità.
ExecuteTool richieste al minuto 240 Tariffa (per progetto, region) ces.googleapis.com/execute_tool_requests: solo chiamate ToolService autonome (ad esempio, facendo clic su Strumento di test nella console; esclude le chiamate allo strumento all'interno delle sessioni).
RetrieveTools richieste al minuto 120 Tariffa (per progetto, region) ces.googleapis.com/retrieve_tools_requests: solo chiamate ToolService autonome.
RetrieveToolSchema richieste al minuto 120 Tariffa (per progetto, region) ces.googleapis.com/retrieve_tool_schema_requests: solo chiamate ToolService autonome.
Operazioni RunEvaluation simultanee per 10 minuti (anteprima) 20 Contemporanee (per progetto, region) ces.googleapis.com/concurrent_run_evaluation_operations - Esecuzioni di valutazione attive simultanee (liberate al completamento).

Limiti del sistema

CX Agent Studio applica i seguenti limiti di sistema fissi (non modificabili):

Limite di sistema Valore
Numero massimo di agenti per app (agente principale più sub-agenti) 100
Numero massimo di strumenti per app 200
Numero massimo di strumenti per agente 100
Numero massimo di set di strumenti per app (integrazioni OpenAPI, MCP o connettore multi-operazione) 100
Numero massimo di guardrail per app 100
Numero massimo di esempi few-shot per app 1000
Numero massimo di variabili per app 100
Numero massimo di valutazioni per app (anteprima) 1000
Numero massimo di set di dati di valutazione per app (anteprima) 100
Numero massimo di turni per valutazione (anteprima) 100
Numero massimo di callback per agente 50
Numero massimo di versioni dell'app immutabili per app 200
Dimensione massima della risorsa App serializzata 10 MiB
Numero massimo di chiamate LLM (passaggi di strumento o trasferimento) per turno 10
Scadenza RPC unaria RunSession (timeout predefinito dello strumento sincrono: 30 s) 60 secondi
Durata massima dello stream BidiRunSession 60 minuti
Timeout di inattività dei messaggi client BidiRunSession 30 secondi

L'inferenza del modello dell'agente, Speech-to-Text integrato, Text-to-Speech integrato, i giudici RunEvaluation e l'esecuzione di Python non consumano quote in altre API nel tuo progetto Google Cloud . Quando l'agente si integra con i seguenti servizi, controlla le relative quote separatamente:

Servizio integrato Quando le quote vengono applicate al tuo progetto
Gateway omnicanale e Dialogflow Routing nativo di canali e telefonia (Omnichannel Gateway) o routing tramite integrazioni di telefonia Dialogflow
Agent Search Esecuzione di query o riepilogo degli strumenti del datastore
Vertex AI e Vertex AI RAG Engine Utilizzando gli strumenti della Ricerca Google integrati (aiplatform.googleapis.com) o collegando un corpus esistente agli strumenti di Ricerca file
Integration Connectors e Cloud Run Richiamo di strumenti connettore o strumenti webhook Cloud Run
Model Armor e Sensitive Data Protection Scansione delle richieste del server MCP di CX Agent Studio o applicazione di modelli di oscuramento

Richiedi un aggiustamento delle quote

Per modificare la maggior parte delle quote, utilizza la console Google Cloud . Per ulteriori informazioni, consulta Richiedi un aggiustamento delle quote.

Nella console Google Cloud , filtra per Service:Gemini Enterprise for Customer Experience API, la tua singola regione mappata e il runtime di destinazione Metric: (ces.googleapis.com/run_session_llm_token_consumption o ces.googleapis.com/concurrent_bidi_run_session_operations). Includi la concorrenza di picco e i TPM osservati per sessione nella descrizione della richiesta.

Per i comandi della CLI, gli avvisi e la diagnosi degli errori, consulta Gestisci le quote utilizzando gcloud CLI, Configura gli avvisi e il monitoraggio delle quote e Risolvi gli errori relativi alle quote.