Kontingente und Systemlimits

Customer Experience Agent Studio verwendet Kontingente und Systemlimits, um eine faire Ressourcenverteilung zu gewährleisten, Dienstüberlastungen zu vermeiden und Ihnen bei der Verwaltung der Ressourcennutzung zu helfen.

Kontingente und Systemlimits sind ähnlich, unterscheiden sich aber in folgenden Punkten:

  • Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern.
  • Systemlimits sind feste Werte, die nicht geändert werden können.

Google Cloud nutzt Kontingente, um für Fairness zu sorgen und Spitzen bei der Ressourcennutzung und ‑verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerGoogle Cloud Ressource Ihr Google Cloud Projekt nutzen kann. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt nebenläufig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derGoogle Cloud Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud Ressourcen.

Das Cloud-Kontingentsystem tut Folgendes:

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie auszuführen versuchen, schlägt dann fehl.

Kontingente gelten in der Regel auf Google Cloud Projektebene. Die Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf das verfügbare Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Weitere Informationen finden Sie unter Cloud-Kontingente – Übersicht.

Wichtige Hinweise

  • Multiregionale Kontingentzuordnung: Bei multiregionalen und global-Bereitstellungen werden Kontingente in einer zugeordneten einzelnen Region erzwungen. Wählen Sie immer die zugeordnete einzelne Region aus, wenn Sie die Nutzung aufrufen oder eine Anpassung anfordern.
  • Projekt- und base_model-Pooling: Kontingente gelten pro Google Cloud-Projekt und zugeordneter Region. Kontingente für Laufzeitmodelle werden auch pro base_model erfasst. Alle Agenten, Schutzmaßnahmen oder Tools im selben Projekt und in derselben Region, die ein Modell gemeinsam nutzen, werden in einer base_model-Zeile zusammengefasst.
  • Tokenkontingente regeln die Kapazität, nicht die Abrechnung: RunSession-LLM-Tokenkontingente sind nur Durchsatzbegrenzungen. Die Preise für CX Agent Studio-Sitzungen umfassen die zugrunde liegende Tokennutzung für Agenten und Guardrails. Wenn Sie Ihr ces.googleapis.com-Tokenkontingent erhöhen, fallen keine Gebühren pro Token an. Weitere Informationen zur Abrechnung finden Sie unter Preise für CX Agent Studio.
  • Vorlaufzeiten und Benachrichtigungen: Kleine Kontingentanpassungen werden oft automatisch genehmigt, während große Produktionssteigerungen eine Kapazitätsprüfung erfordern und rechtzeitig vor Lasttests oder der Einführung angefordert werden sollten. Konfigurieren Sie Benachrichtigungen zur Kontingentnutzung (z. B. bei einer Auslastung von 80%), um Traffic-Wachstum frühzeitig zu erkennen.

Wichtige Begriffe

  • Anwendung (Agentenanwendung): Der Container auf oberster Ebene, der erstellt wird, wenn Sie in der CX Agent Studio-Konsole auf Agent erstellen klicken (Agentenanwendung erstellen; projects/*/locations/*/apps/* in der API). Eine Anwendung enthält Ihren Stamm-Agenten, Sub-Agenten, Tools, Schutzmaßnahmen, Bewertungen und Versionen.
  • RunSession und StreamRunSession: Runtime API-Methoden, die turn-by-turn-Anfragen verarbeiten, die normalerweise für Text- und Webchats verwendet werden.
  • BidiRunSession: Runtime API-Methode, die einen persistenten bidirektionalen Stream öffnet, der normalerweise für Live-Sprachanrufe und Echtzeit-Audio verwendet wird.
  • base_model: Die Kontingentdimension, die die spezifische ID des Foundation- oder zusammengesetzten Modells identifiziert, das einen Agenten, eine Guardrail oder ein integriertes generatives Tool bereitstellt.

Multiregionale Kontingentzuordnung

Wenn Sie eine Anwendung in einer Multiregion bereitstellen oder den Endpunkt global aufrufen, erfasst CX Agent Studio Kontingente in den folgenden einzelnen Regionen:

Anwendungsstandort Zugeordnetes Kontingent region
us (USA, mehrere Regionen) us-central1
eu (EU, multiregional) europe-west4
global Endpunkt us-central1

Kontingente für Laufzeitsitzungen

Die folgenden anpassbaren Kontingente gelten für Live-Kundengespräche per Chat und Sprache.

Kontingent Standard Typ und Umfang Messwert und Verhalten
RunSession LLM-Tokens pro Minute 120.000 Ratenkontingent (pro Projekt, region, base_model; wird jede Minute zurückgesetzt)

ces.googleapis.com/run_session_llm_token_consumption

Gilt sowohl für Chat (RunSession, StreamRunSession) als auch für Sprache (BidiRunSession). Für Chatsitzungen gibt es kein separates Kontingent für die Sitzungsrate oder die Nebenläufigkeit. Wenn das Limit überschritten wird, schlagen neue Turns mit 429 RESOURCE_EXHAUSTED fehl. Weitere Informationen finden Sie unter So werden Tokens und base_model-Kontingente gezählt.

Gleichzeitige BidiRunSession-Vorgänge pro 30 Minuten 15 Gleichzeitiges Kontingent (pro Projekt, region, base_model)

ces.googleapis.com/concurrent_bidi_run_session_operations

Maximale Anzahl gleichzeitiger aktiver Sprach- oder bidirektionaler Streamingsitzungen. Jeder offene Stream belegt einen Slot und gibt ihn bei der Trennung frei (30 Minuten ist das maximale Slot-Lease-Fenster). Wenn dieses Limit überschritten wird, schlagen neue Streams mit 429 RESOURCE_EXHAUSTED fehl.

So werden Tokens und base_model-Kontingente gezählt

Ein einzelner Gesprächsbeitrag kann mehrere LLM-Aufrufe auslösen, wenn ein KI-Agent Tools aufruft oder an einen Sub-Agenten übergibt. Eine einzelne Anwendung kann gleichzeitig Kontingente über mehrere base_model-Zeilen hinweg verbrauchen.

Anrechnung auf RunSession LLM-Tokens pro Minute (zusammengefasst nach base_model):

  • Root-Agent, Sub-Agenten und Agenten-Tools: Eingabe- und Ausgabe-Tokens für jeden LLM-Aufruf in einer Runde, die dem konfigurierten Modell des jeweiligen Agenten in Rechnung gestellt werden. Bei zusammengesetzten Sprachmodellen wird nur die zusammengesetzte base_model-ID in Rechnung gestellt, nicht die zugrunde liegenden Sprach- oder Untermodelle.
  • LLM-basierte Schutzmaßnahmen: Prompt Guard, Regeln in natürlicher Sprache und die Triggeraktion Antwort generieren, die über ein separates, einfaches Gemini-base_model abgerechnet werden (sofern nicht über die API-modelSettings.model in einer Schutzmaßnahmenrichtlinie angepinnt).
  • Integrierte generative Tools: Datenspeicher-Abfrageumschreibung oder ‑zusammenfassung und Google Suche-Fundierung, die über die zugrunde liegende base_model abgerechnet werden.

Nicht auf RunSession LLM-Tokens pro Minute angerechnet:

  • Deterministische und Supervisor-Schutzmaßnahmen: Sperrliste, Code-Regeln, Standard-Sicherheitsklassifikatoren und Supervisor-Agenten (Vorabversion), sofern nicht so konfiguriert, dass Antwort generieren ausgelöst wird.
  • Integrierte Bewertungen (RunEvaluation, Vorabversion): Erzwingt nur Concurrent RunEvaluation operations (benutzerdefinierte Testskripts, die RunSession oder BidiRunSession direkt aufrufen, werden als Live-Sitzungen gezählt).
  • Integrierte Sprach- und Code-Ausführung: Integrierte Speech-to-Text-, Text-to-Speech- und Python-Tool- oder Callback-Ausführung.

base_model Zeilen identifizieren und Größe anpassen

Die standardmäßigen Hilfsmodelle werden im Laufe der Zeit weiterentwickelt und einige Modellnamen in der Console sind versionierten base_model-IDs zugeordnet. Bestätigen Sie Ihre aktiven Zeilen vor der Einführung in einem Nicht-Produktionsprojekt:

  1. Führen Sie repräsentative Testsitzungen mit aktivierten KI-Agenten, Schutzmaßnahmen und Tools durch.
  2. Öffnen Sie nach einigen Minuten IAM und Verwaltung > Kontingente und Systemlimits, gefiltert nach Metric:ces.googleapis.com/run_session_llm_token_consumption (oder prüfen Sie serviceruntime.googleapis.com/quota/rate/net_usage auf ces.googleapis.com/Location in Cloud Monitoring), um jede aktive base_model-Zeile und die beobachteten TPM pro Sitzung zu sehen.
  3. Fordern Sie Anpassungen für dieselben base_model-IDs (auch in Zeilen mit 0-Nutzung) in der zugeordneten Region Ihres Produktionsprojekts an.

Beispiel: Eine Sprach-App in us, die AGENT_MODEL und LLM-basierte Guardrails in GUARDRAIL_MODEL verwendet, passt drei Zeilen in us-central1 an:

Kontingent Zieldimensionen Größe bestimmen
Gleichzeitige BidiRunSession-Vorgänge region=us-central1, base_model=AGENT_MODEL Spitzenwert gleichzeitiger Sprachanrufe plus Reserve
RunSession LLM-Tokens pro Minute region=us-central1, base_model=AGENT_MODEL Spitzensitzungen multipliziert mit den beobachteten AGENT_MODEL TPM pro Testsitzung, plus Spielraum
RunSession LLM-Tokens pro Minute region=us-central1, base_model=GUARDRAIL_MODEL Spitzensitzungen multipliziert mit den beobachteten GUARDRAIL_MODEL TPM pro Testsitzung, plus Spielraum

Kontingente für Verwaltung, Erstellung und Bewertung

Die folgenden anpassbaren Kontingente gelten für die Anwendungsverwaltung, CI/CD, Studio AI-Erstellungshilfen, eigenständige Tooltests und Bewertungen. Keines dieser Kontingente schränkt den Traffic von Live-Kundensitzungen ein.

Kontingent Standard Typ und Umfang Messwert und Hinweise
Anwendungen pro Projekt und Region 1.000 Zuweisung (pro Projekt, region) ces.googleapis.com/apps: Agent-Anwendungen auf oberster Ebene (App-Container); werden wiederhergestellt, wenn eine Anwendung gelöscht wird.
API-Anfragen pro Minute 10.800 Rate (pro Projekt) api-requests: Deckt Verwaltungs-, Tool- und Bewertungs-RPCs ab; schließt Laufzeitsitzungen aus.
App-Mutationsvorgänge pro Minute 200 Rate (pro Projekt, region) ces.googleapis.com/app_mutation_operations: Schreibaktionen, mit denen eine Anwendung oder ihre Agents, Tools, Guardrails oder Bewertungen erstellt, bearbeitet, gelöscht, bereitgestellt, importiert (ImportApp) oder synchronisiert werden. Bulk-Importe und Git-Synchronisierungen zählen als ein Vorgang pro Aufruf.
App-Lesevorgänge pro Minute 600 Rate (pro Projekt, region) ces.googleapis.com/app_read_operations: Leseaktionen, mit denen eine Anwendung oder ihre Agents, Tools, Guardrails oder Bewertungen angezeigt, aufgelistet oder exportiert (ExportApp) werden. Bulk-Exporte zählen als ein Vorgang pro Aufruf.
Generative Vorgänge der Anwendung pro Minute (Vorabversion) 100 Rate (pro Projekt, region) ces.googleapis.com/app_generative_operations: KI-gestützte Erstellungsaktionen in der Console oder API, z. B. das Generieren von Anleitungen, Mock-Tools, Testszenarien oder Qualitätskorrekturen.
ExecuteTool Anfragen pro Minute 240 Rate (pro Projekt, region) ces.googleapis.com/execute_tool_requests: Nur eigenständige ToolService-Aufrufe (z. B. durch Klicken auf Tool testen in der Console; ausgenommen sind Tools, die innerhalb von Sitzungen aufgerufen werden).
RetrieveTools Anfragen pro Minute 120 Rate (pro Projekt, region) ces.googleapis.com/retrieve_tools_requests: Nur eigenständige ToolService-Aufrufe.
RetrieveToolSchema Anfragen pro Minute 120 Rate (pro Projekt, region) ces.googleapis.com/retrieve_tool_schema_requests: Nur eigenständige ToolService-Aufrufe.
Gleichzeitige RunEvaluation-Vorgänge pro 10 Minuten (Vorschau) 20 Gleichzeitig (pro Projekt, region) ces.googleapis.com/concurrent_run_evaluation_operations – Gleichzeitige aktive Bewertungsausführungen (werden nach Abschluss freigegeben).

Systemlimits

In CX Agent Studio gelten die folgenden festen Systemlimits (nicht anpassbar):

Systemlimit Wert
Maximale Anzahl von KI-Agenten pro Anwendung (Root-Agent plus Sub-Agenten) 100
Maximale Anzahl von Tools pro Anwendung 200
Maximale Anzahl von Tools pro KI-Agenten 100
Maximale Anzahl von Toolsets pro Anwendung (OpenAPI-, MCP- oder Connector-Integrationen mit mehreren Vorgängen) 100
Maximale Anzahl von Guardrails pro Anwendung 100
Maximale Anzahl von Few-Shot-Beispielen pro Anwendung 1.000
Maximale Anzahl von Variablen pro Anwendung 100
Maximale Anzahl von Bewertungen pro Anwendung (Vorabversion) 1.000
Maximale Anzahl von Bewertungs-Datasets pro Anwendung (Vorabversion) 100
Maximale Anzahl von Turns pro Bewertung (Vorabversion) 100
Maximale Anzahl von Callbacks pro Agent 50
Maximale Anzahl unveränderlicher Anwendungsversionen pro Anwendung 200
Maximale serialisierte App-Ressourcengröße 10 MiB
Maximale Anzahl von LLM-Aufrufen (Tool- oder Übertragungsschritte) pro Runde 10
Unärer RunSession-RPC-Frist (Standardzeitlimit für synchrones Tool: 30 Sekunden) 60 Sekunden
Maximale Streamdauer von BidiRunSession 60 Minuten
Zeitüberschreitung bei Inaktivität für BidiRunSession-Clientnachrichten 30 Sekunden

Die Modellinferenz des Agenten, die integrierte Speech-to-Text- und Text-to-Speech-Funktion, die RunEvaluation-Beurteiler und die Python-Ausführung verbrauchen keine Kontingente in anderen APIs in Ihrem Google Cloud -Projekt. Wenn Ihr Agent in die folgenden Dienste eingebunden ist, prüfen Sie deren Kontingente separat:

Integrierter Dienst Wann Kontingente in Ihrem Projekt gelten
Omni-Channel-Gateway und Dialogflow Natives Kanal- und Telefonie-Routing (Omni-Channel-Gateway) oder Routing über Dialogflow-Telefonie-Integrationen
Agent Search Datenspeichertools abfragen oder zusammenfassen
Vertex AI und Vertex AI-RAG-Engine Verwendung integrierter Google-Suchtools (aiplatform.googleapis.com) oder Verknüpfung eines vorhandenen Korpus mit File Search-Tools
Integration Connectors und Cloud Run Aufrufen von Connector-Tools oder Cloud Run-Webhook-Tools
Model Armor und Sensitive Data Protection Anfragen an den MCP-Server von CX Agent Studio scannen oder Redaktion-Vorlagen anwenden

Kontingentanpassung anfordern

Die meisten Kontingente können Sie in der Google Cloud Console anpassen. Weitere Informationen finden Sie unter Kontingentanpassung anfordern.

Filtern Sie in der Google Cloud Console nach Service:Gemini Enterprise for Customer Experience API, Ihrer zugeordneten einzelnen Region und der Ziellaufzeit Metric: (ces.googleapis.com/run_session_llm_token_consumption oder ces.googleapis.com/concurrent_bidi_run_session_operations). Geben Sie in der Anfragebeschreibung Ihre maximale Nebenläufigkeit und die beobachteten TPM pro Sitzung an.

Informationen zu CLI-Befehlen, Benachrichtigungen und Fehlerdiagnosen finden Sie unter Kontingente mit der gcloud CLI verwalten, Kontingentbenachrichtigungen und ‑monitoring einrichten und Kontingentfehler beheben.