Kontingente und Systemlimits für generative KI in Agent Platform

In diesem Dokument sind die Kontingente und Systemlimits für generative KI-Modelle auf der Agent Platform aufgeführt.

  • Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern.
  • Systemlimits sind feste Werte, die nicht geändert werden können.

Google Cloud nutzt Kontingente, um für Fairness zu sorgen und Spitzen bei der Ressourcennutzung und ‑verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerGoogle Cloud Ressource Ihr Google Cloud Projekt nutzen kann. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt nebenläufig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derGoogle Cloud Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud Ressourcen.

Das Cloud-Kontingentsystem tut Folgendes:

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie auszuführen versuchen, schlägt dann fehl.

Kontingente gelten in der Regel auf Google Cloud Projektebene. Die Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf das verfügbare Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Weitere Informationen finden Sie unter Cloud-Kontingente – Übersicht.

Für Agent Platform-Ressourcen gelten außerdem Systemlimits. Systemlimits können nicht geändert werden.

Für Gemini Enterprise Agent Platform-Ressourcen gelten außerdem Limits. Systemlimits können nicht geändert werden.

Kontingente für abgestimmte Modelle

Für die Inferenzausführung mit einem abgestimmten Modell wird dasselbe Kontingent wie für das Basismodell verwendet. Für die Inferenz mit abgestimmten Modellen gibt es kein separates Kontingent.

Einschränkungen beim Einbetten

Anfragen für gemini-embedding-001 und gemini-embedding-2 unterliegen globalen Kontingenten.
Basismodell Kontingent Messwert
base_model: gemini-embedding 100.000.000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding 100.000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2 200.000.000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2 60.000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

Für Anfragen für gemini-embedding-001 über die predict API gelten auch die folgenden Kontingente:

Basismodell Kontingent Messwert
base_model: N/A 30.000 aiplatform.googleapis.com/online_prediction_requests

Kontingente für Agent Runtime

Die folgenden Kontingente gelten für die Agent-Laufzeit für ein bestimmtes Projekt in jeder Region:
Beschreibung Kontingent Messwert
Agent Runtime-Ressourcen pro Minute erstellen, löschen oder aktualisieren 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
Agent Runtime-Sitzungen pro Minute erstellen, löschen oder aktualisieren 100 aiplatform.googleapis.com/session_write_requests
Agent Runtime-Sitzungen pro Minute abrufen, auflisten oder abrufen 10000 aiplatform.googleapis.com/session_read_requests
Query oder StreamQuery Agent Runtime pro Minute 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Ereignis an Agent Runtime-Sitzungen pro Minute anhängen 300 aiplatform.googleapis.com/session_event_append_requests
Maximale Anzahl von Agent Runtime-Ressourcen 100 aiplatform.googleapis.com/reasoning_engine_service_entities
Agent Runtime-Speicherressourcen pro Minute erstellen, löschen oder aktualisieren 100 aiplatform.googleapis.com/memory_bank_write_requests
Pro Minute auf die Memory Bank von Agent Runtime zugreifen, sie auflisten oder daraus abrufen 300 aiplatform.googleapis.com/memory_bank_read_requests
Sandbox-Umgebung (Codeausführung): „execute“-Anfragen pro Minute 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
Sandbox-Umgebung (Code-Ausführung) – Einheiten pro Region 1000 aiplatform.googleapis.com/sandbox_environment_entities
Schreibanfragen pro Minute für die Sandbox-Umgebung (Codeausführung) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
A2A-Agent-POST-Anfragen wie sendMessage und cancelTask pro Minute 60 aiplatform.googleapis.com/a2a_agent_post_requests
A2A-Agent-Get-Anfragen wie getTask und getCard pro Minute 600 aiplatform.googleapis.com/a2a_agent_get_requests
Gleichzeitige bidirektionale Live-Verbindungen über die BidiStreamQuery API pro Minute 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

Kontingente für multimodale Eingaben

Die folgenden Kontingente gelten für multimodale Eingaben für generateContent- und streamGenerateContent-Anfragen für ein bestimmtes Projekt in jeder Region. Jedes Kontingent wird pro Basismodell und Auflösung durchgesetzt. Für Anfragen, die über den globalen Endpunkt bereitgestellt werden, gelten dieselben Limits. Dabei wird der entsprechende ..._global-Messwert verwendet.
Beschreibung Kontingent Messwert
Anfragen zum Generieren von Inhalten mit Bildeingabe pro Minute pro Basismodell und Auflösung 34.000.000 aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
Anfragen zum Generieren von Inhalten mit Videoeingabe pro Minute pro Basismodell und Auflösung 192.000.000 aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
Inhaltsanfragen mit Audioeingabe pro Minute pro Basismodell und Auflösung generieren 11.000.000 aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
Anfragen zum Generieren von Inhalten mit Dokumenteingabe pro Minute pro Basismodell und Auflösung 1.200.000 aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

Wenn Sie ein höheres Limit für diese Kontingente anfordern möchten, wenden Sie sich an Ihr Google Cloud-Kontoteam. Die Limits können nicht über die Google Cloud -Konsole erhöht werden.

Kontingente für generative Medien

So rufen Sie Kontingente für generative Medien in der Google Cloud Console auf und bearbeiten sie:

  1. Achten Sie darauf, dass Sie die Agent Platform API für Ihr Projekt aktiviert haben. Wenn die API nicht aktiviert ist, werden die Kontingente der Agent Platform nicht angezeigt.

  2. Rufen Sie die Seite Kontingente und Systemlimits auf.

    Zur Seite „Kontingente und Systemlimits“

  3. Geben Sie im Textfeld Filter die folgenden Abfragen ein:

    Metric: METRIC_NAME
    Dimensions (e.g. location): MODEL_NAME

    Ersetzen Sie Folgendes:

    • METRIC_NAME: Der Name des zu suchenden Messwerts. Mögliche Werte:
      • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
      • Veo: long_running_online_prediction_requests_per_base_model
      • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
    • MODEL_NAME: Der Name des Modells, das Sie verwenden.
  4. Wenn Sie das Kontingent anpassen möchten, klicken Sie auf  Mehr und wählen Sie dann Kontingent bearbeiten aus.
  5. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

Batchinferenz

Die Kontingente und Limits für Batchinferenzjobs sind in allen Regionen gleich.

Gleichzeitige Batchinferenzjob-Limits für Gemini-Modelle

Für die Batchinferenz für Gemini-Modelle gibt es keine vordefinierten Kontingentlimits. Stattdessen bietet der Batch-Dienst Zugriff auf einen großen, gemeinsam genutzten Ressourcenpool, der dynamisch zugewiesen wird, basierend auf der Echtzeitverfügbarkeit des Modells und der Nachfrage aller Kunden nach diesem Modell. Wenn mehr Kunden aktiv sind und die Kapazität des Modells ausgeschöpft ist, werden Ihre Batchanfragen möglicherweise in die Warteschlange gestellt.

Kontingente für gleichzeitige Batchinferenzjobs für andere Modelle als Gemini

In der folgenden Tabelle sind die Kontingente für die Anzahl der gleichzeitigen Batchinferenzjobs aufgeführt, die nicht für Gemini-Modelle gelten:
Kontingent Wert
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 4
Wenn die Anzahl der eingereichten Aufgaben das zugewiesene Kontingent überschreitet, werden die Aufgaben in eine Warteschlange gestellt und verarbeitet, sobald Kontingentkapazität verfügbar ist.

Kontingente in der Google Cloud Console ansehen und bearbeiten

So rufen Sie die Kontingente in der Google Cloud Console auf und bearbeiten sie:
  1. Rufen Sie die Seite Kontingente und Systemlimits auf.

    2. Zur Seite „Kontingente und Systemlimits“

  2. Wenn Sie das Kontingent anpassen möchten, kopieren Sie die Property aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs und fügen Sie sie in den Filter ein. Drücken Sie die Eingabetaste.
  3. Klicken Sie auf das Dreipunkt-Menü am Ende der Zeile und wählen Sie Kontingent bearbeiten aus.
  4. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

Kontingente für Richtlinien für die semantische Governance

Die folgenden Kontingente gelten für die Semantic Governance Policy für ein bestimmtes Projekt in jeder Region:
Beschreibung Kontingent Messwert
Ressourcen für die Richtlinie für semantische Governance pro Minute abrufen oder auflisten 600 aiplatform.googleapis.com/semantic_governance/policy_read_requests
Ressourcen für Richtlinien für semantische Governance pro Minute erstellen, aktualisieren oder löschen 60 aiplatform.googleapis.com/semantic_governance/policy_write_requests
Ressourcen der Richtlinien-Engine für semantische Governance pro Minute abrufen 600 aiplatform.googleapis.com/semantic_governance/engine_read_requests
Ressourcen der Richtlinien-Engine für semantische Governance pro Minute aktualisieren oder bereitstellen 60 aiplatform.googleapis.com/semantic_governance/engine_write_requests
Anzahl der Ressourcen für semantische Governance-Richtlinien pro Projekt und Standort. 1.000 aiplatform.googleapis.com/semantic_governance/policy_count

Kontingente in der Google Cloud Console ansehen und bearbeiten

So rufen Sie die Kontingente in der Google Cloud Console auf und bearbeiten sie:
  1. Rufen Sie die Seite Kontingente und Systemlimits auf.

    2. Zur Seite „Kontingente und Systemlimits“

  2. Wenn Sie das Kontingent anpassen möchten, kopieren Sie die Property aiplatform.googleapis.com/semantic_governance/policy_write_requests und fügen Sie sie in den Filter ein. Drücken Sie die Eingabetaste.
  3. Klicken Sie auf das Dreipunkt-Menü am Ende der Zeile und wählen Sie Kontingent bearbeiten aus.
  4. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

RAG Engine auf der Gemini Enterprise Agent Platform

Für jeden Dienst, der Retrieval-Augmented Generation (RAG) mit RAG Engine ausführt, gelten die folgenden Kontingente, wobei das Kontingent als Anfragen pro Minute (Requests per Minute, RPM) gemessen wird.
Dienst Kontingent Messwert
RAG Engine-APIs für die Datenverwaltung 60 U/min VertexRagDataService requests per minute per region
RetrievalContexts API 600 RPM VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko 1.500 RPM Online prediction requests per base model per minute per region per base_model

Ein weiterer Filter, den Sie angeben können, ist base_model: textembedding-gecko
.
Die folgenden Begrenzungen gelten:
Dienst Limit Messwert
Gleichzeitige ImportRagFiles-Anfragen 3 RPM VertexRagService concurrent import requests per region
Maximale Anzahl von Dateien pro ImportRagFiles-Anfrage 10.000 VertexRagService import rag files requests per region

Gen AI Evaluation Service

Der Gen AI Evaluation Service verwendet Gemini 2.5 Flash als Standardmodell für modellbasierte Messwerte. Eine einzelne Bewertungsanfrage für einen modellbasierten Messwert kann zu mehreren zugrunde liegenden Anfragen an den Gen AI Evaluation Service führen. Der Verbrauch jedes Modells wird auf Organisationsebene berechnet. Das bedeutet, dass alle Anfragen, die zur Modellinferenz und zur modellbasierten Bewertung an das Modell „judge“ gerichtet werden, zum Verbrauch des Modells beitragen. Kontingente für den Gen AI Evaluation Service und das zugrunde liegende Judge-Modell sind in der folgenden Tabelle aufgeführt:
Kontingent anfordern Standardkontingent
Gen AI Evaluation Service-Anfragen pro Minute 1.000 Anfragen pro Projekt und Region
Gemini-Durchsatz Abhängig vom Modell und der Verbrauchsoption
Gleichzeitige Bewertungsausführungen 20 gleichzeitige Bewertungsdurchläufe pro Projekt und Region

Wenn Sie bei der Verwendung des Gen AI Evaluation Service einen Fehler im Zusammenhang mit Kontingenten erhalten, müssen Sie möglicherweise eine Anfrage zur Kontingenterhöhung einreichen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.

Limit Wert
Zeitlimit für Anfragen an den Gen AI Evaluation Service 60 Sekunden

Wenn Sie den Gen AI Evaluation Service zum ersten Mal in einem neuen Projekt verwenden, kann es bei der Ersteinrichtung zu einer Verzögerung von bis zu zwei Minuten kommen. Wenn Ihre erste Anfrage fehlschlägt, warten Sie einige Minuten und versuchen Sie es dann noch einmal. Nachfolgende Anfragen zur Auswertung werden in der Regel innerhalb von 60 Sekunden abgeschlossen.

Die maximalen Eingabe- und Ausgabetokens für modellbasierte Messwerte hängen vom Modell ab, das als Judge-Modell verwendet wird. Eine Liste der Modelle finden Sie unter Google-Modelle.

Kontingente für Pipelines der Gemini Enterprise Agent Platform

Jeder Abstimmungsjob verwendet Gemini Enterprise Agent Platform-Pipelines. Weitere Informationen finden Sie unter Kontingente und Limits für Agent Platform Pipelines.

Nächste Schritte

Übersicht

Standard-PayGo ist eine Nutzungsoption für die Agent Platform, bei der Sie nur für die Ressourcen bezahlen, die Sie verbrauchen, ohne dass finanzielle Vorabzusicherungen erforderlich sind.

Ressource

Kontingente und Systemlimits für die Agent Platform, ausgenommen produktspezifische Kontingente und Systemlimits.

Übersicht

Hier erfahren Sie, wie Google Cloud einschränkt, wie viel von einer Ressource Ihr Google Cloud-Projekt nutzen kann, und wie Kontingente für eine Reihe von Ressourcentypen gelten, einschließlich Hardware, Software und Netzwerkkomponenten.