Gemini Enterprise Agent Platform utilizza quote e limiti di sistema per mantenere un'allocazione equa delle risorse, prevenire i sovraccarichi del servizio e aiutarti a gestire l'utilizzo delle risorse.
Le quote e i limiti di sistema sono simili, ma differiscono nei seguenti modi:
- Le quote hanno valori predefiniti, ma in genere puoi richiedere degli adeguamenti.
- I limiti di sistema sono valori fissi che non possono essere modificati.
Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.
Il sistema delle quote di Cloud esegue le seguenti operazioni:
- Monitora il tuo consumo di Google Cloud prodotti e servizi
- Limita il consumo di queste risorse
- Fornisce un modo per richiedere modifiche al valore della quota e automatizzare gli aggiustamenti della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.
Per saperne di più, consulta Panoramica delle quote di Cloud.
Quote
Le seguenti quote si applicano agli agenti di cui è stato eseguito il deployment su Agent Platform per un determinato progetto in ogni regione:
| Descrizione | Quota | Metrica |
|---|---|---|
| Crea, elimina o aggiorna le risorse di Agent Platform al minuto | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
| Crea, elimina o aggiorna le risorse non regionali (globali o multiregionali) di Agent Platform al minuto | 10 | aiplatform.googleapis.com/non_regional_reasoning_engine_service_write_requests |
| Crea, elimina o aggiorna le sessioni di Agent Platform al minuto | 100 | aiplatform.googleapis.com/session_write_requests |
Query o StreamQuery Agent Platform al minuto |
90 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
| Aggiungi evento alle sessioni al minuto di Agent Platform | 300 | aiplatform.googleapis.com/session_event_append_requests |
| Crea, elimina o aggiorna le sessioni non regionali (globali o multiregionali) di Agent Platform al minuto | 100 | aiplatform.googleapis.com/non_regional_session_write_requests |
| Aggiungi evento alle sessioni non regionali (globali o multiregionali) di Agent Platform al minuto | 300 | aiplatform.googleapis.com/non_regional_session_event_append_requests |
| Numero massimo di risorse di Agent Platform | 100 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| Numero massimo di risorse non regionali (globali o multiregionali) di Agent Platform | 100 | aiplatform.googleapis.com/non_regional_reasoning_engine_service_entities |
| Crea, elimina o aggiorna le risorse di memoria di Agent Platform al minuto | 100 | aiplatform.googleapis.com/memory_bank_write_requests |
| Get, list, or retrieve from Agent Platform Memory Bank per minute | 300 | aiplatform.googleapis.com/memory_bank_read_requests |
| Crea, elimina o aggiorna le risorse di memoria non regionali (globali o multiregionali) di Agent Platform al minuto | 100 | aiplatform.googleapis.com/non_regional_memory_bank_write_requests |
| Ottieni, elenca o recupera da Agent Platform Memory Bank non regionale (globale o multiregionale) al minuto | 300 | aiplatform.googleapis.com/non_regional_memory_bank_read_requests |
| Richieste di esecuzione al minuto dell'ambiente sandbox (esecuzione di codice) | 1000 | aiplatform.googleapis.com/sandbox_environment_execute_requests |
| Entità dell'ambiente sandbox (esecuzione di codice) per regione | 1000 | aiplatform.googleapis.com/sandbox_environment_entities |
| Richieste di scrittura al minuto nell'ambiente sandbox (esecuzione di codice) | 500 | aiplatform.googleapis.com/sandbox_environment_write_requests |
Richieste POST dell'agente A2A come sendMessage e cancelTask al minuto |
60 | aiplatform.googleapis.com/a2a_agent_post_requests |
Gli agenti A2A ricevono richieste come getTask e getCard al minuto |
600 | aiplatform.googleapis.com/a2a_agent_get_requests |
Connessioni bidirezionali live simultanee che utilizzano l'API BidiStreamQuery al minuto |
10 | aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests |
| Numero massimo di revisioni per progetto per regione | 6000 | aiplatform.googleapis.com/agent_engine_revisions_per_project_per_region |
| Numero massimo di revisioni per agente | 950 | aiplatform.googleapis.com/agent_engine_revisions_per_agent |
Gestione delle quote per i carichi di produzione
Man mano che il traffico aumenta, è probabile che tu debba richiedere un aumento delle quote specifiche dell'API Agent Platform per evitare errori 429 Resource Exhausted. Puoi configurare il runtime e aumentare le quote in modo proattivo per mantenere l'istanza di Agent Runtime reattiva, scalabile e affidabile in base al carico di produzione.
Per informazioni su come ottimizzare e scalare le prestazioni di Agent Runtime, consulta Ottimizza e scala le prestazioni di Agent Runtime.
Per stimare i requisiti di quota di picco, segui questi passaggi:
Definisci le variabili:
U: picco di spettatori simultanei (ad esempio, 250).X: richieste medie per utente al minuto (ad esempio 2).Y: eventi di sessione medi generati per richiesta (ad esempio, 12 per una catena complessa che prevede più chiamate allo strumento).
Calcola il carico di picco:
Calcola il picco di query al minuto (QPM): U * X
Calcola gli eventi di sessione di picco al minuto: QPM di picco * Y
Richiedi una quota con un buffer: quando richiedi un aumento della quota, aggiungi un buffer (ad esempio, il 50%) oltre al picco calcolato per gestire i picchi imprevisti.
La tabella seguente mostra i calcoli per le quote principali relative alle prestazioni per Agent Platform, utilizzando le variabili di esempio peak concurrent users=250, average requests per user per minute=2 e average session events generated
per request=12:
| Nome quota | Descrizione della quota | Calcolo di base (picco) | Valore consigliato (con buffer del 50%) |
|---|---|---|---|
Query Agent Engine al minuto (aiplatform.googleapis.com/reasoning_engine_service_query_requests) |
Il numero totale di chiamate query o stream_query che l'agente può ricevere al minuto. |
250 users * 2 req/min = 500 QPM |
500 * 1.5 = 750 |
Aggiungi eventi di sessione al minuto (aiplatform.googleapis.com/session_event_append_requests) |
Il numero di turni o eventi in tutte le sessioni in corso. Una singola query può generare più eventi di sessione in una catena, ad esempio:
|
500 QPM * 12 events/req = 6,000 |
6,000 * 1.5 = 9,000 |
Scritture di sessione al minuto (aiplatform.googleapis.com/session_write_requests) |
La frequenza di creazione o aggiornamento delle risorse di sessione. In genere, questo valore è inferiore o uguale alla frequenza delle query. | In genere <= QPM di picco (500) |
In genere <= quota di query (750) |
Richiedi un aggiustamento delle quote
Per modificare la maggior parte delle quote, utilizza la console Google Cloud . Per ulteriori informazioni, consulta Richiedi un aggiustamento delle quote.
Quote della modalità express di Agent Platform
Gli utenti della modalità Express del Livello senza costi di Agent Platform hanno le seguenti quote per i servizi Agent Platform senza costi. Per saperne di più sul Livello senza costi e sulla modalità Express, consulta la panoramica di Agent Platform in modalità Express.
Le seguenti quote si applicano agli agenti di cui è stato eseguito il deployment su Agent Platform per un determinato progetto in modalità express in ogni regione:
| Descrizione | Quota | Metrica |
|---|---|---|
| Numero massimo di risorse di Agent Platform | 10 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| Crea, elimina o aggiorna le risorse di Agent Platform al minuto | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
Query o StreamQuery Agent Platform al minuto |
10 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
Connessioni bidirezionali live simultanee che utilizzano l'API BidiStreamQuery al minuto |
1 | aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests |
| Crea, elimina o aggiorna le sessioni di Agent Platform al minuto | 10 | aiplatform.googleapis.com/session_write_requests |
| Aggiungi evento alle sessioni al minuto di Agent Platform | 30 | aiplatform.googleapis.com/session_event_append_requests |
| Crea, elimina o aggiorna le risorse di memoria di Agent Platform al minuto | 10 | aiplatform.googleapis.com/memory_bank_write_requests |
| Recupera, elenca o ottieni da Memory Bank al minuto | 10 | aiplatform.googleapis.com/memory_bank_read_requests |