Quotas et limites du système pour les agents dans Agent Platform

Ce document liste les quotas et limites système qui s'appliquent à Gemini Enterprise Agent Platform.

  • Les quotas ont des valeurs par défaut, mais vous pouvez généralement demander des ajustements.
  • Les limites système sont des valeurs fixes qui ne peuvent pas être modifiées.

Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceGoogle Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud .

Le système Cloud Quotas permet d'effectuer les opérations suivantes :

Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.

Les quotas s'appliquent généralement au niveau du projet Google Cloud . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.

Pour en savoir plus, consultez la présentation des quotas Cloud.

Quotas

Les quotas suivants s'appliquent aux agents déployés sur Agent Platform pour un projet donné dans chaque région :

Description Quota Métrique
Créer, supprimer ou mettre à jour des ressources Agent Platform par minute 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
Créer, supprimer ou mettre à jour des ressources Agent Platform non régionales (mondiales ou multirégionales) par minute 10 aiplatform.googleapis.com/non_regional_reasoning_engine_service_write_requests
Créer, supprimer ou mettre à jour des sessions Agent Platform par minute 100 aiplatform.googleapis.com/session_write_requests
Query ou StreamQuery Agent Platform par minute 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Ajouter un événement aux sessions Agent Platform par minute 300 aiplatform.googleapis.com/session_event_append_requests
Créer, supprimer ou mettre à jour des sessions Agent Platform non régionales (mondiales ou multirégionales) par minute 100 aiplatform.googleapis.com/non_regional_session_write_requests
Ajouter un événement aux sessions Agent Platform non régionales (mondiales ou multirégionales) par minute 300 aiplatform.googleapis.com/non_regional_session_event_append_requests
Nombre maximal de ressources Agent Platform 100 aiplatform.googleapis.com/reasoning_engine_service_entities
Nombre maximal de ressources Agent Platform non régionales (mondiales ou multirégionales) 100 aiplatform.googleapis.com/non_regional_reasoning_engine_service_entities
Créer, supprimer ou mettre à jour des ressources de mémoire Agent Platform par minute 100 aiplatform.googleapis.com/memory_bank_write_requests
Obtenir, lister ou récupérer des données depuis Agent Platform Memory Bank par minute 300 aiplatform.googleapis.com/memory_bank_read_requests
Créer, supprimer ou mettre à jour des ressources de mémoire Agent Platform non régionales (globales ou multirégionales) par minute 100 aiplatform.googleapis.com/non_regional_memory_bank_write_requests
Obtenir, lister ou récupérer des données depuis Agent Platform Memory Bank non régional (global ou multirégional) par minute 300 aiplatform.googleapis.com/non_regional_memory_bank_read_requests
Requêtes d'exécution par minute dans l'environnement de bac à sable (exécution de code) 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
Entités de l'environnement de bac à sable (exécution de code) par région 1000 aiplatform.googleapis.com/sandbox_environment_entities
Requêtes d'écriture par minute dans l'environnement de bac à sable (exécution de code) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
Requêtes de publication d'agent A2A telles que sendMessage et cancelTask par minute 60 aiplatform.googleapis.com/a2a_agent_post_requests
Requêtes GET de l'agent A2A telles que getTask et getCard par minute 600 aiplatform.googleapis.com/a2a_agent_get_requests
Connexions bidirectionnelles simultanées en direct à l'aide de l'API BidiStreamQuery par minute 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests
Nombre maximal de révisions par projet et par région 6 000 aiplatform.googleapis.com/agent_engine_revisions_per_project_per_region
Nombre maximal de révisions par agent 950 aiplatform.googleapis.com/agent_engine_revisions_per_agent

Gestion des quotas pour les charges de production

À mesure que votre trafic augmente, vous devrez probablement demander des augmentations pour des quotas spécifiques de l'API Agent Platform afin d'éviter les erreurs 429 Resource Exhausted. Vous pouvez configurer votre environnement d'exécution et augmenter vos quotas de manière proactive pour que votre instance Agent Runtime reste réactive, évolutive et fiable sous charge de production.

Pour savoir comment optimiser et faire évoluer les performances d'Agent Runtime, consultez Optimiser et faire évoluer les performances d'Agent Runtime.

Pour estimer vos besoins en quota maximal, procédez comme suit :

  1. Définissez vos variables :

    • U : nombre maximal d'utilisateurs simultanés (par exemple, 250).

    • X : nombre moyen de requêtes par utilisateur et par minute (par exemple, 2).

    • Y : nombre moyen d'événements de session générés par requête (par exemple, 12 pour une chaîne complexe impliquant plusieurs appels d'outils).

  2. Calculez votre charge maximale :

    • Calculez votre nombre maximal de requêtes par minute (RPM) : U * X

    • Calculez le nombre maximal d'événements de session par minute : QPM maximal * Y

  3. Demandez un quota avec une marge : lorsque vous demandez une augmentation de quota, ajoutez une marge (par exemple, 50%) en plus du pic calculé pour gérer les pics inattendus.

Le tableau suivant présente les calculs des principaux quotas liés aux performances pour Agent Platform, à l'aide des exemples de variables peak concurrent users=250, average requests per user per minute=2 et average session events generated per request=12 :

Nom du quota Description du quota Calcul de base (pic) Valeur recommandée (avec une marge de 50 %)
Nombre de requêtes Agent Engine par minute (aiplatform.googleapis.com/reasoning_engine_service_query_requests) Nombre total d'appels query ou stream_query que votre agent peut recevoir par minute. 250 users * 2 req/min = 500 QPM 500 * 1.5 = 750
Ajouter des événements de session par minute (aiplatform.googleapis.com/session_event_append_requests)

Nombre de tours ou d'événements dans toutes les sessions en cours. Une seule requête peut générer plusieurs événements de session dans une chaîne, par exemple :

  1. Appeler le LLM.
  2. Réponse du LLM : utiliser l'outil.
  3. Exécutez l'outil.
  4. Appelez le LLM avec la réponse de l'outil.
  5. Le LLM fournit la réponse finale.
500 QPM * 12 events/req = 6,000 6,000 * 1.5 = 9,000
Écritures de session par minute (aiplatform.googleapis.com/session_write_requests) Taux de création ou de mise à jour des ressources de session. Elle est généralement inférieure ou égale au taux de requêtes. Généralement <= QPM maximal (500) Généralement <= quota de requêtes (750)

Demander un ajustement de quota

Pour ajuster la plupart des quotas, utilisez la console Google Cloud . Pour en savoir plus, consultez Demander un ajustement de quota.

Quotas du mode Agent Platform Express

Les utilisateurs du mode Express du niveau sans frais d'Agent Platform disposent des quotas suivants pour les services Agent Platform sans frais. Pour en savoir plus sur le niveau sans frais et le mode Express, consultez la présentation d'Agent Platform en mode Express.

Les quotas suivants s'appliquent aux agents déployés sur Agent Platform pour un projet en mode express donné dans chaque région :

Description Quota Métrique
Nombre maximal de ressources Agent Platform 10 aiplatform.googleapis.com/reasoning_engine_service_entities
Créer, supprimer ou mettre à jour des ressources Agent Platform par minute 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
Query ou StreamQuery Agent Platform par minute 10 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Connexions bidirectionnelles simultanées en direct à l'aide de l'API BidiStreamQuery par minute 1 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests
Créer, supprimer ou mettre à jour des sessions Agent Platform par minute 10 aiplatform.googleapis.com/session_write_requests
Ajouter un événement aux sessions Agent Platform par minute 30 aiplatform.googleapis.com/session_event_append_requests
Créer, supprimer ou mettre à jour des ressources de mémoire Agent Platform par minute 10 aiplatform.googleapis.com/memory_bank_write_requests
Obtenir, lister ou récupérer des éléments de la banque de mémoire par minute 10 aiplatform.googleapis.com/memory_bank_read_requests