Customer Experience Agent Studio utilizza quote e limiti di sistema per mantenere un'allocazione equa delle risorse, prevenire i sovraccarichi del servizio e aiutarti a gestire l'utilizzo delle risorse.
Le quote e i limiti di sistema sono simili, ma differiscono nei seguenti modi:
- Le quote hanno valori predefiniti, ma in genere puoi richiedere degli adeguamenti.
- I limiti di sistema sono valori fissi che non possono essere modificati.
Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.
Il sistema delle quote di Cloud esegue le seguenti operazioni:
- Monitora il tuo consumo di Google Cloud prodotti e servizi
- Limita il consumo di queste risorse
- Fornisce un modo per richiedere modifiche al valore della quota e automatizzare gli aggiustamenti della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.
Per saperne di più, consulta Panoramica delle quote di Cloud.
Cose importanti da sapere
- Mappatura delle quote multiregionali: i deployment multiregionali e
globalapplicano le quote in una singola regione mappata. Seleziona sempre la singola regione mappata quando visualizzi l'utilizzo o richiedi un aggiustamento. - Pooling di progetti e
base_model: le quote si applicano per progetto Google Cloude regione mappata. Anche le quote dei modelli di runtime vengono monitorate perbase_model: tutti gli agenti, i guardrail o gli strumenti nello stesso progetto e nella stessa regione che condividono un pool di modelli vengono raggruppati in una rigabase_model. - Le quote di token regolano la capacità, non la fatturazione: le quote di token LLM
RunSessionsono solo guardrail di throughput. I prezzi delle sessioni di CX Agent Studio includono l'utilizzo dei token dell'agente e del guardrail sottostanti e l'aumento della quota di tokences.googleapis.comnon aggiunge addebiti per token. Per i dettagli sulla fatturazione, consulta Prezzi di CX Agent Studio. - Tempi di risposta e avvisi: i piccoli aggiustamenti delle quote vengono spesso approvati automaticamente, mentre i grandi aumenti della produzione richiedono una revisione della capacità e devono essere richiesti con largo anticipo rispetto ai test di carico o al lancio. Configura gli avvisi di utilizzo della quota (ad esempio, al
80%di utilizzo) per rilevare tempestivamente la crescita del traffico.
Termini chiave
- App (applicazione agente): il container di primo livello creato quando fai clic su Crea agente nella console CX Agent Studio (Crea un'applicazione agente;
projects/*/locations/*/apps/*nell'API). Un'app contiene l'agente principale, i sub-agenti, gli strumenti, i guardrail, le valutazioni e le versioni. RunSessioneStreamRunSession: metodi dell'API di runtime che elaborano le richieste passo passo, in genere utilizzati per chat di testo e web.BidiRunSession: metodo API di runtime che apre uno stream bidirezionale persistente, in genere utilizzato per chiamate vocali live e audio in tempo reale.base_model: la dimensione della quota che identifica l'ID del modello di base o composito specifico che gestisce un agente, un guardrail o uno strumento generativo integrato.
Mappatura delle quote multiregionali
Quando esegui il deployment di un'app in una multi-regione o chiami l'endpoint global, CX Agent Studio monitora le quote nelle seguenti singole regioni:
| Posizione dell'applicazione | Quota mappata region |
|---|---|
us (Stati Uniti, multiregione) |
us-central1 |
eu (UE multiregionale) |
europe-west4 |
global endpoint |
us-central1 |
Quote delle sessioni di runtime
Le seguenti quote regolabili regolano le conversazioni in tempo reale con i clienti tramite chat e voce.
| Quota | Predefinito | Tipo e ambito | Metrica e comportamento |
|---|---|---|---|
RunSession token LLM al minuto |
120.000 | Quota di frequenza (per progetto, region,
base_model; si reimposta ogni minuto) |
Si applica sia alla chat ( |
Operazioni BidiRunSession simultanee ogni 30 minuti |
15 | Quota contemporanea (per progetto, region,
base_model) |
Numero massimo di sessioni di streaming vocale o bidirezionale attive contemporaneamente. Ogni stream aperto occupa uno slot e lo rilascia al momento della disconnessione (30 minuti è la finestra massima di assegnazione dello slot). Se questo limite viene superato, i nuovi stream non vanno a buon fine e viene visualizzato l'errore |
Come vengono conteggiati i token e le quote di base_model
Un singolo turno di conversazione può attivare più chiamate LLM quando un agente richiama
strumenti o trasferisce a un sub-agente e un'app può consumare la quota su
più righe base_model contemporaneamente.
Conteggiati ai fini del limite di RunSession token LLM al minuto (in pool per base_model):
- Agente principale, sub-agenti e strumenti degli agenti: token di input e output in ogni chiamata LLM in un turno, fatturati al modello configurato di ogni agente. I modelli vocali compositi fatturano solo l'ID
base_modelcomposito anziché i modelli vocali o i sottomodelli sottostanti. - Guardrail basati su LLM: Prompt Guard, Regole in linguaggio naturale e l'azione di attivazione Genera una risposta, fatturati a un Gemini
base_modelleggero predefinito separato (a meno che non siano bloccati tramite l'APImodelSettings.modelsu una policy di guardrail). - Strumenti generativi integrati:
riscrittura o riassunto delle query del datastore e
grounding della Ricerca Google,
fatturati in base alla
base_modelsottostante.
Non conteggiati ai fini dei RunSession token LLM al minuto:
- Misure di protezione deterministiche e di supervisione: Lista bloccata, Regole del codice, classificatori di Sicurezza predefiniti e Agenti supervisori (anteprima), a meno che non siano configurati per attivare Genera una risposta.
- Valutazioni integrate (
RunEvaluation, anteprima): applica soloConcurrent RunEvaluation operations(gli script di test personalizzati che chiamanoRunSessionoBidiRunSessiondirettamente vengono conteggiati come sessioni live). - Funzionalità integrate di riconoscimento vocale ed esecuzione di codice: funzionalità integrate di conversione da Speech-to-Text, Text-to-Speech ed esecuzione di strumenti o callback Python.
Identifica e ridimensiona base_model righe
I modelli ausiliari predefiniti si evolvono nel tempo e alcuni nomi di modelli della console vengono mappati agli ID base_model con versione. Conferma le righe attive in un progetto non di produzione prima del lancio:
- Esegui sessioni di test rappresentative con gli agenti, i guardrail e gli strumenti abilitati.
- Dopo qualche minuto, apri IAM e amministrazione > Quote e limiti di sistema filtrati per
Metric:ces.googleapis.com/run_session_llm_token_consumption(o controllaserviceruntime.googleapis.com/quota/rate/net_usagesuces.googleapis.com/Locationin Cloud Monitoring) per visualizzare ogni rigabase_modelattiva e i relativi TPM osservati per sessione. - Richiedi aggiustamenti per gli stessi ID
base_model(anche nelle righe di utilizzo0) nella regione mappata del progetto di produzione.
Ad esempio, un'app vocale in us che utilizza AGENT_MODEL e guardrail basati su LLM su GUARDRAIL_MODEL modifica tre righe in us-central1:
| Quota | Dimensioni target | Come scegliere la taglia |
|---|---|---|
Operazioni BidiRunSession simultanee |
region=us-central1,
base_model=AGENT_MODEL |
Picco di chiamate vocali simultanee più margine di sicurezza |
RunSession token LLM al minuto |
region=us-central1,
base_model=AGENT_MODEL |
Sessioni di picco moltiplicate per il numero di TPM AGENT_MODEL osservato per sessione di test, più l'headroom |
RunSession token LLM al minuto |
region=us-central1,
base_model=GUARDRAIL_MODEL |
Sessioni di picco moltiplicate per il numero di TPM GUARDRAIL_MODEL osservato per sessione di test, più l'headroom |
Quote di gestione, creazione e valutazione
Le seguenti quote regolabili regolano l'amministrazione delle app, la CI/CD, gli assistenti di authoring di Studio AI, i test degli strumenti autonomi e le valutazioni. Nessuna di queste quote limita il traffico delle sessioni dei clienti attivi.
| Quota | Predefinito | Tipo e ambito | Metrica e note |
|---|---|---|---|
| App per progetto per regione | 1000 | Allocazione (per progetto, region) |
ces.googleapis.com/apps: applicazioni degli agenti di primo livello
(container App); ripristinate quando un'app viene eliminata. |
| Richieste API al minuto | 10.800 | Tariffa (per progetto) | api-requests: copre le RPC di gestione, strumenti e valutazione; esclude le sessioni di runtime. |
| Operazioni di mutazione dell'app al minuto | 200 | Tariffa (per progetto, region) |
ces.googleapis.com/app_mutation_operations: azioni di scrittura che creano, modificano, eliminano, eseguono il deployment, importano (ImportApp) o sincronizzano un'app o i relativi agenti, strumenti, guardrail o valutazioni. Le importazioni collettive e la sincronizzazione Git vengono conteggiate come 1 operazione per chiamata. |
| Operazioni di lettura dell'app al minuto | 600 | Tariffa (per progetto, region) |
ces.googleapis.com/app_read_operations: azioni di lettura che visualizzano, elencano o esportano (ExportApp) un'app o i relativi agenti, strumenti, guardrail o valutazioni. Le esportazioni collettive vengono conteggiate come 1 operazione per chiamata. |
| Operazioni generative dell'app al minuto (anteprima) | 100 | Tariffa (per progetto, region) |
ces.googleapis.com/app_generative_operations:
azioni di authoring assistite dall'AI nella console o nell'API, come la generazione di istruzioni, strumenti fittizi, scenari di test o correzioni di qualità. |
ExecuteTool richieste al minuto |
240 | Tariffa (per progetto, region) |
ces.googleapis.com/execute_tool_requests: solo chiamate ToolService autonome (ad esempio, facendo clic su Strumento di test nella console; esclude le chiamate allo strumento all'interno delle sessioni). |
RetrieveTools richieste al minuto |
120 | Tariffa (per progetto, region) |
ces.googleapis.com/retrieve_tools_requests: solo chiamate ToolService autonome. |
RetrieveToolSchema richieste al minuto |
120 | Tariffa (per progetto, region) |
ces.googleapis.com/retrieve_tool_schema_requests: solo chiamate ToolService autonome. |
Operazioni RunEvaluation simultanee per 10 minuti (anteprima) |
20 | Contemporanee (per progetto, region) |
ces.googleapis.com/concurrent_run_evaluation_operations
- Esecuzioni di valutazione attive simultanee (liberate al completamento). |
Limiti del sistema
CX Agent Studio applica i seguenti limiti di sistema fissi (non modificabili):
| Limite di sistema | Valore |
|---|---|
| Numero massimo di agenti per app (agente principale più sub-agenti) | 100 |
| Numero massimo di strumenti per app | 200 |
| Numero massimo di strumenti per agente | 100 |
| Numero massimo di set di strumenti per app (integrazioni OpenAPI, MCP o connettore multi-operazione) | 100 |
| Numero massimo di guardrail per app | 100 |
| Numero massimo di esempi few-shot per app | 1000 |
| Numero massimo di variabili per app | 100 |
| Numero massimo di valutazioni per app (anteprima) | 1000 |
| Numero massimo di set di dati di valutazione per app (anteprima) | 100 |
| Numero massimo di turni per valutazione (anteprima) | 100 |
| Numero massimo di callback per agente | 50 |
| Numero massimo di versioni dell'app immutabili per app | 200 |
Dimensione massima della risorsa App serializzata |
10 MiB |
| Numero massimo di chiamate LLM (passaggi di strumento o trasferimento) per turno | 10 |
Scadenza RPC unaria RunSession (timeout predefinito dello strumento sincrono: 30 s) |
60 secondi |
Durata massima dello stream BidiRunSession |
60 minuti |
Timeout di inattività dei messaggi client BidiRunSession |
30 secondi |
Quote di servizi correlati
L'inferenza del modello dell'agente, Speech-to-Text integrato, Text-to-Speech integrato, i giudici RunEvaluation e l'esecuzione di Python non consumano quote in altre API nel tuo progetto Google Cloud . Quando l'agente si integra con i seguenti servizi, controlla le relative quote separatamente:
| Servizio integrato | Quando le quote vengono applicate al tuo progetto |
|---|---|
| Gateway omnicanale e Dialogflow | Routing nativo di canali e telefonia (Omnichannel Gateway) o routing tramite integrazioni di telefonia Dialogflow |
| Agent Search | Esecuzione di query o riepilogo degli strumenti del datastore |
| Vertex AI e Vertex AI RAG Engine | Utilizzando gli strumenti della Ricerca Google integrati (aiplatform.googleapis.com) o collegando un corpus esistente agli strumenti di Ricerca file |
| Integration Connectors e Cloud Run | Richiamo di strumenti connettore o strumenti webhook Cloud Run |
| Model Armor e Sensitive Data Protection | Scansione delle richieste del server MCP di CX Agent Studio o applicazione di modelli di oscuramento |
Richiedi un aggiustamento delle quote
Per modificare la maggior parte delle quote, utilizza la console Google Cloud . Per ulteriori informazioni, consulta Richiedi un aggiustamento delle quote.
Nella console Google Cloud , filtra per
Service:Gemini Enterprise for Customer Experience API, la tua
singola regione mappata e il runtime di destinazione
Metric: (ces.googleapis.com/run_session_llm_token_consumption o
ces.googleapis.com/concurrent_bidi_run_session_operations). Includi la concorrenza di picco
e i TPM osservati per sessione nella descrizione della richiesta.
Per i comandi della CLI, gli avvisi e la diagnosi degli errori, consulta Gestisci le quote utilizzando gcloud CLI, Configura gli avvisi e il monitoraggio delle quote e Risolvi gli errori relativi alle quote.