Auf dieser Seite finden Sie eine Liste der Kontingente nach Region und Modell. Außerdem wird beschrieben, wie Sie Ihre Kontingente in der Google Cloud Console aufrufen und bearbeiten.
Kontingente für abgestimmte Modelle
Für die Inferenzausführung mit einem abgestimmten Modell gilt dasselbe Kontingent wie für das Basismodell. Für die Inferenz mit abgestimmten Modellen gibt es kein separates Kontingent.
Einschränkungen beim Einbetten
Anfragen fürgemini-embedding-001 unterliegen regionalen Kontingenten, während Anfragen für gemini-embedding-2 globalen Kontingenten unterliegen.
| Basismodell | Kontingent | Messwert |
|---|---|---|
| base_model: gemini-embedding | 100.000.000 | aiplatform.googleapis.com/embed_content_input_tokens_per_minute_per_base_model |
| base_model: gemini-embedding-2 | 200.000.000 | aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model |
| base_model: gemini-embedding-2 | 60.000 | aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model |
Für Anfragen für gemini-embedding-001 über die predict API gelten auch die folgenden Kontingente:
| Basismodell | Kontingent | Messwert |
|---|---|---|
| base_model: gemini-embedding | 100.000 | aiplatform.googleapis.com/online_prediction_requests_per_base_model |
| base_model: N/A | 30.000 | aiplatform.googleapis.com/online_prediction_requests |
Kontingente für Agent Runtime
Die folgenden Kontingente gelten für die Agent-Laufzeit für ein bestimmtes Projekt in jeder Region:| Beschreibung | Kontingent | Messwert |
|---|---|---|
| Agent Runtime-Ressourcen pro Minute erstellen, löschen oder aktualisieren | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
| Agent Runtime-Sitzungen pro Minute erstellen, löschen oder aktualisieren | 100 | aiplatform.googleapis.com/session_write_requests |
| Agent Runtime-Sitzungen pro Minute abrufen, auflisten oder abrufen | 10000 | aiplatform.googleapis.com/session_read_requests |
Query oder StreamQuery Agent Runtime pro Minute
|
90 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
| Angehängtes Ereignis an Agent Runtime-Sitzungen pro Minute | 300 | aiplatform.googleapis.com/session_event_append_requests |
| Maximale Anzahl von Agent Runtime-Ressourcen | 100 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| Agent Runtime-Speicherressourcen pro Minute erstellen, löschen oder aktualisieren | 100 | aiplatform.googleapis.com/memory_bank_write_requests |
| Abrufen, Auflisten oder Abrufen aus der Memory Bank der Agent Runtime pro Minute | 300 | aiplatform.googleapis.com/memory_bank_read_requests |
| Sandbox-Umgebung (Codeausführung): „execute“-Anfragen pro Minute | 1000 | aiplatform.googleapis.com/sandbox_environment_execute_requests |
| Sandbox-Umgebung (Codeausführung) – Einheiten pro Region | 1000 | aiplatform.googleapis.com/sandbox_environment_entities |
| Schreibanfragen pro Minute für die Sandbox-Umgebung (Codeausführung) | 500 | aiplatform.googleapis.com/sandbox_environment_write_requests |
A2A-Agent-Post-Anfragen wie sendMessage und cancelTask pro Minute
|
60 | aiplatform.googleapis.com/a2a_agent_post_requests |
A2A-Agent-Get-Anfragen wie getTask und getCard pro Minute
|
600 | aiplatform.googleapis.com/a2a_agent_get_requests |
Gleichzeitige bidirektionale Live-Verbindungen mit der BidiStreamQuery API pro Minute
|
10 |
aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests
|
Kontingente für multimodale Eingaben
Die folgenden Kontingente gelten für multimodale Eingaben fürgenerateContent- und streamGenerateContent-Anfragen für ein bestimmtes Projekt in jeder Region. Jedes Kontingent wird pro Basismodell und Auflösung durchgesetzt. Für Anfragen, die über den globalen Endpunkt bereitgestellt werden, gelten dieselben Limits. Dabei wird der entsprechende ..._global-Messwert verwendet.
| Beschreibung | Kontingent | Messwert |
|---|---|---|
| Anfragen zum Generieren von Inhalten mit Bildeingabe pro Minute pro Basismodell und Auflösung | 34.000.000 | aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution |
| Anfragen zum Generieren von Inhalten mit Videoeingabe pro Minute, Basismodell und Auflösung | 192.000.000 | aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution |
| Anfragen zum Generieren von Inhalten mit Audioeingabe pro Minute pro Basismodell und Auflösung | 11.000.000 | aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution |
| Anfragen zum Generieren von Inhalten mit Dokumenteingabe pro Minute, Basismodell und Auflösung | 1.200.000 | aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution |
Wenn Sie ein höheres Limit für diese Kontingente beantragen möchten, wenden Sie sich an Ihr Google Cloud-Accountteam. Diese Kontingente können nicht über die Google Cloud -Konsole erhöht werden.
Batchinferenz
Die Kontingente und Limits für Batchinferenzjobs sind in allen Regionen gleich.Gleichzeitige Batchinferenzjob-Limits für Gemini-Modelle
Für die Batchinferenz für Gemini-Modelle gibt es keine vordefinierten Kontingentlimits. Stattdessen bietet der Batch-Dienst Zugriff auf einen großen, gemeinsamen Ressourcenpool, der dynamisch zugewiesen wird, basierend auf der Echtzeitverfügbarkeit des Modells und der Nachfrage aller Kunden nach diesem Modell. Wenn mehr Kunden aktiv sind und die Kapazität des Modells ausgeschöpft ist, werden Ihre Batchanfragen möglicherweise in die Warteschlange gestellt.Kontingente für gleichzeitige Batchinferenzjobs für andere Modelle als Gemini
In der folgenden Tabelle sind die Kontingente für die Anzahl der gleichzeitigen Batch-Inferenzjobs aufgeführt, die nicht für Gemini-Modelle gelten:| Kontingent | Wert |
|---|---|
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs |
4 |
Kontingente in der Google Cloud Console ansehen und bearbeiten
So rufen Sie die Kontingente in der Google Cloud Console auf und bearbeiten sie:- Rufen Sie die Seite Kontingente und Systemlimits auf.
- Um das Kontingent anzupassen, kopieren Sie das Attribut
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobsund fügen Sie es in den Filter ein. Drücken Sie die Eingabetaste. - Klicken Sie auf das Dreipunkt-Menü am Ende der Zeile und wählen Sie Kontingent bearbeiten aus.
- Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.
Zur Seite „Kontingente und Systemlimits“
Kontingente für Richtlinien für die semantische Governance
Für die Semantic Governance Policy gelten die folgenden Kontingente für ein bestimmtes Projekt in jeder Region:| Beschreibung | Kontingent | Messwert |
|---|---|---|
| Semantische Governance-Richtlinienressourcen pro Minute abrufen oder auflisten | 600 | aiplatform.googleapis.com/semantic_governance/policy_read_requests |
| Ressourcen für Richtlinien für semantische Governance pro Minute erstellen, aktualisieren oder löschen | 60 | aiplatform.googleapis.com/semantic_governance/policy_write_requests |
| Ressourcen der Richtlinien-Engine für semantische Governance pro Minute abrufen | 600 | aiplatform.googleapis.com/semantic_governance/engine_read_requests |
| Ressourcen der Richtlinien-Engine für semantische Governance pro Minute aktualisieren oder bereitstellen | 60 | aiplatform.googleapis.com/semantic_governance/engine_write_requests |
| Anzahl der Richtlinienressourcen für semantische Governance pro Projekt und Standort. | 1.000 | aiplatform.googleapis.com/semantic_governance/policy_count |
Kontingente in der Google Cloud Console ansehen und bearbeiten
So rufen Sie die Kontingente in der Google Cloud Console auf und bearbeiten sie:- Rufen Sie die Seite Kontingente und Systemlimits auf.
- Um das Kontingent anzupassen, kopieren Sie das Attribut
aiplatform.googleapis.com/semantic_governance/policy_write_requestsund fügen Sie es in den Filter ein. Drücken Sie die Eingabetaste. - Klicken Sie auf das Dreipunkt-Menü am Ende der Zeile und wählen Sie Kontingent bearbeiten aus.
- Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.
Zur Seite „Kontingente und Systemlimits“
RAG Engine auf der Gemini Enterprise Agent Platform
Für jeden Dienst, der RAG (Retrieval-Augmented Generation) mit RAG Engine ausführt, gelten die folgenden Kontingente, wobei das Kontingent als Anfragen pro Minute (RPM) gemessen wird.| Dienst | Kontingent | Messwert |
|---|---|---|
| RAG Engine-APIs für die Datenverwaltung | 60 U/min | VertexRagDataService requests per minute per region |
RetrievalContexts API |
600 U/min | VertexRagService retrieve requests per minute per region |
base_model: textembedding-gecko |
1.500 RPM | Online prediction requests per base model per minute per region per base_modelEin weiterer Filter, den Sie angeben können, ist base_model: textembedding-gecko. |
| Dienst | Limit | Messwert |
|---|---|---|
Gleichzeitige ImportRagFiles-Anfragen |
3 RPM | VertexRagService concurrent import requests per region |
Maximale Anzahl von Dateien pro ImportRagFiles-Anfrage |
10.000 | VertexRagService import rag files requests per region |
Gen AI Evaluation Service
Der Gen AI Evaluation Service verwendet Gemini 2.5 Flash als Standardmodell für modellbasierte Messwerte. Eine einzelne Bewertungsanfrage für einen modellbasierten Messwert kann zu mehreren zugrunde liegenden Anfragen an den Gen AI Evaluation Service führen. Der Verbrauch jedes Modells wird auf Organisationsebene berechnet. Das bedeutet, dass alle Anfragen, die zur Modellinferenz und zur modellbasierten Bewertung an das Judge-Modell gerichtet werden, zum Verbrauch des Modells beitragen. Kontingente für den Gen AI Evaluation Service und das zugrunde liegende Judge-Modell sind in der folgenden Tabelle aufgeführt:| Kontingent anfordern | Standardkontingent |
|---|---|
| Gen AI Evaluation Service-Anfragen pro Minute | 1.000 Anfragen pro Projekt und Region |
| Gemini-Durchsatz | Abhängig vom Modell und der Verbrauchsoption |
| Gleichzeitige Bewertungsausführungen | 20 gleichzeitige Bewertungsdurchläufe pro Projekt und Region |
Wenn Sie bei der Verwendung des Gen AI Evaluation Service einen Fehler im Zusammenhang mit Kontingenten erhalten, müssen Sie möglicherweise eine Kontingenterhöhung beantragen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.
| Limit | Wert |
|---|---|
| Zeitlimit für Anfragen an den Gen AI Evaluation Service | 60 Sekunden |
Wenn Sie den Gen AI Evaluation Service zum ersten Mal in einem neuen Projekt verwenden, kann es zu einer anfänglichen Einrichtungsverzögerung von bis zu zwei Minuten kommen. Wenn Ihre erste Anfrage fehlschlägt, warten Sie einige Minuten und versuchen Sie es dann noch einmal. Nachfolgende Bewertungsanfragen werden in der Regel innerhalb von 60 Sekunden abgeschlossen.
Die maximalen Eingabe- und Ausgabetokens für modellbasierte Messwerte hängen vom Modell ab, das als Judge-Modell verwendet wird. Eine Liste der Modelle finden Sie unter Google-Modelle.
Kontingente für Pipelines der Gemini Enterprise Agent Platform
Jeder Abstimmungsjob verwendet Gemini Enterprise Agent Platform Pipelines. Weitere Informationen finden Sie unter Kontingente und Limits für Agent Platform Pipelines.
Nächste Schritte
Standard-Pay-as-you-go
Mit Standard PayGo, einer Verbrauchsoption für die Agent Platform, zahlen Sie nur für die Ressourcen, die Sie verbrauchen, ohne dass finanzielle Vorabverpflichtungen erforderlich sind.
Kontingente und Systemlimits der Agent Platform
Kontingente und Systemlimits in Bezug auf die Agent Platform, ausgenommen produktspezifische Kontingente und Systemlimits.
Google Cloud-Kontingente
Hier erfahren Sie, wie Google Cloud einschränkt, wie viel von einer Ressource Ihr Google Cloud-Projekt nutzen kann, und wie Kontingente für eine Reihe von Ressourcentypen gelten, einschließlich Hardware, Software und Netzwerkkomponenten.