Customer Experience Agent Studio verwendet Kontingente und Systemlimits, um eine faire Ressourcenverteilung zu gewährleisten, Dienstüberlastungen zu vermeiden und Ihnen bei der Verwaltung der Ressourcennutzung zu helfen.
Kontingente und Systemlimits sind ähnlich, unterscheiden sich aber in folgenden Punkten:
- Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern.
- Systemlimits sind feste Werte, die nicht geändert werden können.
Google Cloud nutzt Kontingente, um für Fairness zu sorgen und Spitzen bei der Ressourcennutzung und ‑verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerGoogle Cloud Ressource Ihr Google Cloud Projekt nutzen kann. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt nebenläufig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derGoogle Cloud Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud Ressourcen.
Das Cloud-Kontingentsystem tut Folgendes:
- Es überwacht Ihren Verbrauch von Google Cloud Produkten und Diensten.
- Es schränkt Ihren Verbrauch dieser Ressourcen ein.
- Es bietet eine Möglichkeit, Änderungen am Kontingentwert zu beantragen und Kontingentanpassungen zu automatisieren.
Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie auszuführen versuchen, schlägt dann fehl.
Kontingente gelten in der Regel auf Google Cloud Projektebene. Die Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf das verfügbare Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.
Weitere Informationen finden Sie unter Cloud-Kontingente – Übersicht.
Wichtige Hinweise
- Multiregionale Kontingentzuordnung: Bei multiregionalen und
global-Bereitstellungen werden Kontingente in einer zugeordneten einzelnen Region erzwungen. Wählen Sie immer die zugeordnete einzelne Region aus, wenn Sie die Nutzung aufrufen oder eine Anpassung anfordern. - Projekt- und
base_model-Pooling: Kontingente gelten pro Google Cloud-Projekt und zugeordneter Region. Kontingente für Laufzeitmodelle werden auch probase_modelerfasst. Alle Agenten, Schutzmaßnahmen oder Tools im selben Projekt und in derselben Region, die ein Modell gemeinsam nutzen, werden in einerbase_model-Zeile zusammengefasst. - Tokenkontingente regeln die Kapazität, nicht die Abrechnung:
RunSession-LLM-Tokenkontingente sind nur Durchsatzbegrenzungen. Die Preise für CX Agent Studio-Sitzungen umfassen die zugrunde liegende Tokennutzung für Agenten und Guardrails. Wenn Sie Ihrces.googleapis.com-Tokenkontingent erhöhen, fallen keine Gebühren pro Token an. Weitere Informationen zur Abrechnung finden Sie unter Preise für CX Agent Studio. - Vorlaufzeiten und Benachrichtigungen: Kleine Kontingentanpassungen werden oft automatisch genehmigt, während große Produktionssteigerungen eine Kapazitätsprüfung erfordern und rechtzeitig vor Lasttests oder der Einführung angefordert werden sollten. Konfigurieren Sie Benachrichtigungen zur Kontingentnutzung (z. B. bei einer Auslastung von
80%), um Traffic-Wachstum frühzeitig zu erkennen.
Wichtige Begriffe
- Anwendung (Agentenanwendung): Der Container auf oberster Ebene, der erstellt wird, wenn Sie in der CX Agent Studio-Konsole auf Agent erstellen klicken (Agentenanwendung erstellen;
projects/*/locations/*/apps/*in der API). Eine Anwendung enthält Ihren Stamm-Agenten, Sub-Agenten, Tools, Schutzmaßnahmen, Bewertungen und Versionen. RunSessionundStreamRunSession: Runtime API-Methoden, die turn-by-turn-Anfragen verarbeiten, die normalerweise für Text- und Webchats verwendet werden.BidiRunSession: Runtime API-Methode, die einen persistenten bidirektionalen Stream öffnet, der normalerweise für Live-Sprachanrufe und Echtzeit-Audio verwendet wird.base_model: Die Kontingentdimension, die die spezifische ID des Foundation- oder zusammengesetzten Modells identifiziert, das einen Agenten, eine Guardrail oder ein integriertes generatives Tool bereitstellt.
Multiregionale Kontingentzuordnung
Wenn Sie eine Anwendung in einer Multiregion bereitstellen oder den Endpunkt global aufrufen, erfasst CX Agent Studio Kontingente in den folgenden einzelnen Regionen:
| Anwendungsstandort | Zugeordnetes Kontingent region |
|---|---|
us (USA, mehrere Regionen) |
us-central1 |
eu (EU, multiregional) |
europe-west4 |
global Endpunkt |
us-central1 |
Kontingente für Laufzeitsitzungen
Die folgenden anpassbaren Kontingente gelten für Live-Kundengespräche per Chat und Sprache.
| Kontingent | Standard | Typ und Umfang | Messwert und Verhalten |
|---|---|---|---|
RunSession LLM-Tokens pro Minute |
120.000 | Ratenkontingent (pro Projekt, region, base_model; wird jede Minute zurückgesetzt) |
Gilt sowohl für Chat ( |
Gleichzeitige BidiRunSession-Vorgänge pro 30 Minuten |
15 | Gleichzeitiges Kontingent (pro Projekt, region, base_model) |
Maximale Anzahl gleichzeitiger aktiver Sprach- oder bidirektionaler Streamingsitzungen. Jeder offene Stream belegt einen Slot und gibt ihn bei der Trennung frei (30 Minuten ist das maximale Slot-Lease-Fenster). Wenn dieses Limit überschritten wird, schlagen neue Streams mit |
So werden Tokens und base_model-Kontingente gezählt
Ein einzelner Gesprächsbeitrag kann mehrere LLM-Aufrufe auslösen, wenn ein KI-Agent Tools aufruft oder an einen Sub-Agenten übergibt. Eine einzelne Anwendung kann gleichzeitig Kontingente über mehrere base_model-Zeilen hinweg verbrauchen.
Anrechnung auf RunSession LLM-Tokens pro Minute (zusammengefasst nach base_model):
- Root-Agent, Sub-Agenten und Agenten-Tools: Eingabe- und Ausgabe-Tokens für jeden LLM-Aufruf in einer Runde, die dem konfigurierten Modell des jeweiligen Agenten in Rechnung gestellt werden. Bei zusammengesetzten Sprachmodellen wird nur die zusammengesetzte
base_model-ID in Rechnung gestellt, nicht die zugrunde liegenden Sprach- oder Untermodelle. - LLM-basierte Schutzmaßnahmen: Prompt Guard, Regeln in natürlicher Sprache und die Triggeraktion Antwort generieren, die über ein separates, einfaches Gemini-
base_modelabgerechnet werden (sofern nicht über die API-modelSettings.modelin einer Schutzmaßnahmenrichtlinie angepinnt). - Integrierte generative Tools:
Datenspeicher-Abfrageumschreibung oder ‑zusammenfassung und Google Suche-Fundierung, die über die zugrunde liegende
base_modelabgerechnet werden.
Nicht auf RunSession LLM-Tokens pro Minute angerechnet:
- Deterministische und Supervisor-Schutzmaßnahmen: Sperrliste, Code-Regeln, Standard-Sicherheitsklassifikatoren und Supervisor-Agenten (Vorabversion), sofern nicht so konfiguriert, dass Antwort generieren ausgelöst wird.
- Integrierte Bewertungen (
RunEvaluation, Vorabversion): Erzwingt nurConcurrent RunEvaluation operations(benutzerdefinierte Testskripts, dieRunSessionoderBidiRunSessiondirekt aufrufen, werden als Live-Sitzungen gezählt). - Integrierte Sprach- und Code-Ausführung: Integrierte Speech-to-Text-, Text-to-Speech- und Python-Tool- oder Callback-Ausführung.
base_model Zeilen identifizieren und Größe anpassen
Die standardmäßigen Hilfsmodelle werden im Laufe der Zeit weiterentwickelt und einige Modellnamen in der Console sind versionierten base_model-IDs zugeordnet. Bestätigen Sie Ihre aktiven Zeilen vor der Einführung in einem Nicht-Produktionsprojekt:
- Führen Sie repräsentative Testsitzungen mit aktivierten KI-Agenten, Schutzmaßnahmen und Tools durch.
- Öffnen Sie nach einigen Minuten IAM und Verwaltung > Kontingente und Systemlimits, gefiltert nach
Metric:ces.googleapis.com/run_session_llm_token_consumption(oder prüfen Sieserviceruntime.googleapis.com/quota/rate/net_usageaufces.googleapis.com/Locationin Cloud Monitoring), um jede aktivebase_model-Zeile und die beobachteten TPM pro Sitzung zu sehen. - Fordern Sie Anpassungen für dieselben
base_model-IDs (auch in Zeilen mit0-Nutzung) in der zugeordneten Region Ihres Produktionsprojekts an.
Beispiel: Eine Sprach-App in us, die AGENT_MODEL und LLM-basierte Guardrails in GUARDRAIL_MODEL verwendet, passt drei Zeilen in us-central1 an:
| Kontingent | Zieldimensionen | Größe bestimmen |
|---|---|---|
Gleichzeitige BidiRunSession-Vorgänge |
region=us-central1,
base_model=AGENT_MODEL |
Spitzenwert gleichzeitiger Sprachanrufe plus Reserve |
RunSession LLM-Tokens pro Minute |
region=us-central1,
base_model=AGENT_MODEL |
Spitzensitzungen multipliziert mit den beobachteten AGENT_MODEL TPM pro Testsitzung, plus Spielraum |
RunSession LLM-Tokens pro Minute |
region=us-central1,
base_model=GUARDRAIL_MODEL |
Spitzensitzungen multipliziert mit den beobachteten GUARDRAIL_MODEL TPM pro Testsitzung, plus Spielraum |
Kontingente für Verwaltung, Erstellung und Bewertung
Die folgenden anpassbaren Kontingente gelten für die Anwendungsverwaltung, CI/CD, Studio AI-Erstellungshilfen, eigenständige Tooltests und Bewertungen. Keines dieser Kontingente schränkt den Traffic von Live-Kundensitzungen ein.
| Kontingent | Standard | Typ und Umfang | Messwert und Hinweise |
|---|---|---|---|
| Anwendungen pro Projekt und Region | 1.000 | Zuweisung (pro Projekt, region) |
ces.googleapis.com/apps: Agent-Anwendungen auf oberster Ebene (App-Container); werden wiederhergestellt, wenn eine Anwendung gelöscht wird. |
| API-Anfragen pro Minute | 10.800 | Rate (pro Projekt) | api-requests: Deckt Verwaltungs-, Tool- und Bewertungs-RPCs ab; schließt Laufzeitsitzungen aus. |
| App-Mutationsvorgänge pro Minute | 200 | Rate (pro Projekt, region) |
ces.googleapis.com/app_mutation_operations: Schreibaktionen, mit denen eine Anwendung oder ihre Agents, Tools, Guardrails oder Bewertungen erstellt, bearbeitet, gelöscht, bereitgestellt, importiert (ImportApp) oder synchronisiert werden. Bulk-Importe und Git-Synchronisierungen zählen als ein Vorgang pro Aufruf. |
| App-Lesevorgänge pro Minute | 600 | Rate (pro Projekt, region) |
ces.googleapis.com/app_read_operations: Leseaktionen, mit denen eine Anwendung oder ihre Agents, Tools, Guardrails oder Bewertungen angezeigt, aufgelistet oder exportiert (ExportApp) werden. Bulk-Exporte zählen als ein Vorgang pro Aufruf. |
| Generative Vorgänge der Anwendung pro Minute (Vorabversion) | 100 | Rate (pro Projekt, region) |
ces.googleapis.com/app_generative_operations: KI-gestützte Erstellungsaktionen in der Console oder API, z. B. das Generieren von Anleitungen, Mock-Tools, Testszenarien oder Qualitätskorrekturen. |
ExecuteTool Anfragen pro Minute |
240 | Rate (pro Projekt, region) |
ces.googleapis.com/execute_tool_requests: Nur eigenständige ToolService-Aufrufe (z. B. durch Klicken auf Tool testen in der Console; ausgenommen sind Tools, die innerhalb von Sitzungen aufgerufen werden). |
RetrieveTools Anfragen pro Minute |
120 | Rate (pro Projekt, region) |
ces.googleapis.com/retrieve_tools_requests: Nur eigenständige ToolService-Aufrufe. |
RetrieveToolSchema Anfragen pro Minute |
120 | Rate (pro Projekt, region) |
ces.googleapis.com/retrieve_tool_schema_requests: Nur eigenständige ToolService-Aufrufe. |
Gleichzeitige RunEvaluation-Vorgänge pro 10 Minuten (Vorschau) |
20 | Gleichzeitig (pro Projekt, region) |
ces.googleapis.com/concurrent_run_evaluation_operations
– Gleichzeitige aktive Bewertungsausführungen (werden nach Abschluss freigegeben). |
Systemlimits
In CX Agent Studio gelten die folgenden festen Systemlimits (nicht anpassbar):
| Systemlimit | Wert |
|---|---|
| Maximale Anzahl von KI-Agenten pro Anwendung (Root-Agent plus Sub-Agenten) | 100 |
| Maximale Anzahl von Tools pro Anwendung | 200 |
| Maximale Anzahl von Tools pro KI-Agenten | 100 |
| Maximale Anzahl von Toolsets pro Anwendung (OpenAPI-, MCP- oder Connector-Integrationen mit mehreren Vorgängen) | 100 |
| Maximale Anzahl von Guardrails pro Anwendung | 100 |
| Maximale Anzahl von Few-Shot-Beispielen pro Anwendung | 1.000 |
| Maximale Anzahl von Variablen pro Anwendung | 100 |
| Maximale Anzahl von Bewertungen pro Anwendung (Vorabversion) | 1.000 |
| Maximale Anzahl von Bewertungs-Datasets pro Anwendung (Vorabversion) | 100 |
| Maximale Anzahl von Turns pro Bewertung (Vorabversion) | 100 |
| Maximale Anzahl von Callbacks pro Agent | 50 |
| Maximale Anzahl unveränderlicher Anwendungsversionen pro Anwendung | 200 |
Maximale serialisierte App-Ressourcengröße |
10 MiB |
| Maximale Anzahl von LLM-Aufrufen (Tool- oder Übertragungsschritte) pro Runde | 10 |
Unärer RunSession-RPC-Frist (Standardzeitlimit für synchrones Tool: 30 Sekunden) |
60 Sekunden |
Maximale Streamdauer von BidiRunSession |
60 Minuten |
Zeitüberschreitung bei Inaktivität für BidiRunSession-Clientnachrichten |
30 Sekunden |
Zugehörige Dienstkontingente
Die Modellinferenz des Agenten, die integrierte Speech-to-Text- und Text-to-Speech-Funktion, die RunEvaluation-Beurteiler und die Python-Ausführung verbrauchen keine Kontingente in anderen APIs in Ihrem Google Cloud -Projekt. Wenn Ihr Agent in die folgenden Dienste eingebunden ist, prüfen Sie deren Kontingente separat:
| Integrierter Dienst | Wann Kontingente in Ihrem Projekt gelten |
|---|---|
| Omni-Channel-Gateway und Dialogflow | Natives Kanal- und Telefonie-Routing (Omni-Channel-Gateway) oder Routing über Dialogflow-Telefonie-Integrationen |
| Agent Search | Datenspeichertools abfragen oder zusammenfassen |
| Vertex AI und Vertex AI-RAG-Engine | Verwendung integrierter Google-Suchtools (aiplatform.googleapis.com) oder Verknüpfung eines vorhandenen Korpus mit File Search-Tools |
| Integration Connectors und Cloud Run | Aufrufen von Connector-Tools oder Cloud Run-Webhook-Tools |
| Model Armor und Sensitive Data Protection | Anfragen an den MCP-Server von CX Agent Studio scannen oder Redaktion-Vorlagen anwenden |
Kontingentanpassung anfordern
Die meisten Kontingente können Sie in der Google Cloud Console anpassen. Weitere Informationen finden Sie unter Kontingentanpassung anfordern.
Filtern Sie in der Google Cloud Console nach Service:Gemini Enterprise for Customer Experience API, Ihrer zugeordneten einzelnen Region und der Ziellaufzeit Metric: (ces.googleapis.com/run_session_llm_token_consumption oder ces.googleapis.com/concurrent_bidi_run_session_operations). Geben Sie in der Anfragebeschreibung Ihre maximale Nebenläufigkeit und die beobachteten TPM pro Sitzung an.
Informationen zu CLI-Befehlen, Benachrichtigungen und Fehlerdiagnosen finden Sie unter Kontingente mit der gcloud CLI verwalten, Kontingentbenachrichtigungen und ‑monitoring einrichten und Kontingentfehler beheben.