A Gemini Enterprise Agent Platform usa cotas e limites do sistema para manter uma alocação justa de recursos, evitar sobrecargas de serviço e ajudar você a gerenciar o uso de recursos.
As cotas e os limites do sistema são semelhantes, mas diferem das seguintes maneiras:
- As cotas têm valores definidos por padrão, mas geralmente é possível solicitar ajustes.
- Os limites do sistema são valores que não podem ser alterados.
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Saiba mais em Visão geral das cotas do Cloud.
Cotas
As cotas a seguir se aplicam aos agentes implantados na Plataforma de Agentes para um determinado projeto em cada região:
| Descrição | Cota | Métrica |
|---|---|---|
| Criar, excluir ou atualizar recursos da Agent Platform por minuto | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
| Criar, excluir ou atualizar recursos não regionais (globais ou multirregionais) da Agent Platform por minuto | 10 | aiplatform.googleapis.com/non_regional_reasoning_engine_service_write_requests |
| Criar, excluir ou atualizar sessões da Agent Platform por minuto | 100 | aiplatform.googleapis.com/session_write_requests |
Query ou StreamQuery da plataforma de agentes por minuto |
90 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
| Anexar evento às sessões da Plataforma de Agentes por minuto | 300 | aiplatform.googleapis.com/session_event_append_requests |
| Criar, excluir ou atualizar sessões não regionais (globais ou multirregionais) da Agent Platform por minuto | 100 | aiplatform.googleapis.com/non_regional_session_write_requests |
| Anexar evento a sessões não regionais (globais ou multirregionais) da Agent Platform por minuto | 300 | aiplatform.googleapis.com/non_regional_session_event_append_requests |
| Número máximo de recursos da Agent Platform | 100 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| Número máximo de recursos não regionais (globais ou multirregionais) da Agent Platform | 100 | aiplatform.googleapis.com/non_regional_reasoning_engine_service_entities |
| Criar, excluir ou atualizar recursos de memória da Agent Platform por minuto | 100 | aiplatform.googleapis.com/memory_bank_write_requests |
| Receber, listar ou recuperar do Memory Bank da Plataforma de Agentes por minuto | 300 | aiplatform.googleapis.com/memory_bank_read_requests |
| Criar, excluir ou atualizar recursos de memória não regionais (globais ou multirregionais) da Agent Platform por minuto | 100 | aiplatform.googleapis.com/non_regional_memory_bank_write_requests |
| Receber, listar ou recuperar do Memory Bank da Plataforma de Agentes não regional (global ou multirregional) por minuto | 300 | aiplatform.googleapis.com/non_regional_memory_bank_read_requests |
| Solicitações de execução por minuto no ambiente de sandbox (execução de código) | 1000 | aiplatform.googleapis.com/sandbox_environment_execute_requests |
| Entidades de ambiente de sandbox (execução de código) por região | 1000 | aiplatform.googleapis.com/sandbox_environment_entities |
| Solicitações de gravação por minuto no ambiente de sandbox (execução de código) | 500 | aiplatform.googleapis.com/sandbox_environment_write_requests |
Solicitações POST do agente A2A, como sendMessage e cancelTask por minuto |
60 | aiplatform.googleapis.com/a2a_agent_post_requests |
Solicitações GET do agente A2A, como getTask e getCard por minuto |
600 | aiplatform.googleapis.com/a2a_agent_get_requests |
Conexões bidirecionais simultâneas em tempo real usando a API BidiStreamQuery por minuto |
10 | aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests |
| Máximo de revisões por projeto e por região | 6.000 | aiplatform.googleapis.com/agent_engine_revisions_per_project_per_region |
| Máximo de revisões por agente | 950 | aiplatform.googleapis.com/agent_engine_revisions_per_agent |
Gerenciamento de cotas para cargas de produção
À medida que o tráfego aumenta, talvez seja necessário solicitar aumentos para cotas específicas da API Agent Platform para evitar erros 429 Resource Exhausted. É possível
configurar proativamente o
ambiente de execução
e aumentar as cotas para manter a
instância do Agent Runtime responsiva, escalonável e confiável sob
carga de produção.
Para saber como otimizar e escalonar o desempenho do Agent Runtime, consulte Otimizar e escalonar o desempenho do Agent Runtime.
Siga estas etapas para estimar os requisitos de cota de pico:
Defina as variáveis:
U: pico de usuários simultâneos (por exemplo, 250).X: média de solicitações por usuário por minuto (por exemplo, 2).Y: média de eventos de sessão gerados por solicitação (por exemplo, 12 para uma cadeia complexa que envolve várias chamadas de ferramenta).
Calcule sua carga de pico:
Calcule o pico de consultas por minuto (QPM): U * X
Calcule os eventos de sessão de pico por minuto: QPM de pico * Y
Solicite uma cota com um buffer: ao solicitar um aumento de cota, adicione um buffer (por exemplo, 50%) além do pico calculado para lidar com picos inesperados.
A tabela a seguir mostra os cálculos das principais cotas relacionadas ao desempenho da
plataforma de agentes, usando as variáveis de exemplo de peak concurrent users=250,
average requests per user per minute=2 e average session events generated
per request=12:
| Nome da cota | Descrição da cota | Cálculo de base (pico) | Valor recomendado (com buffer de 50%) |
|---|---|---|---|
Consultar o Agent Engine por minuto (aiplatform.googleapis.com/reasoning_engine_service_query_requests) |
O número total de chamadas query ou stream_query que seu agente pode receber por minuto. |
250 users * 2 req/min = 500 QPM |
500 * 1.5 = 750 |
Adicionar eventos de sessão ao final por minuto (aiplatform.googleapis.com/session_event_append_requests) |
O número de turnos ou eventos em todas as sessões em andamento. Uma única consulta pode gerar vários eventos de sessão em uma cadeia, por exemplo:
|
500 QPM * 12 events/req = 6,000 |
6,000 * 1.5 = 9,000 |
Gravações de sessão por minuto (aiplatform.googleapis.com/session_write_requests) |
A taxa de criação ou atualização de recursos de sessão. Normalmente, esse valor é menor ou igual à taxa de consulta. | Normalmente <= QPM de pico (500) |
Normalmente <= cota de consulta (750) |
Solicitar um ajuste de cota
Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar ajuste de cota.
Cotas do modo expresso da Agent Platform
Os usuários do modo expresso do nível sem custo financeiro da Agent Platform têm as seguintes cotas para os serviços da Agent Platform sem custo financeiro. Consulte a Visão geral da Agent Platform no modo expresso para mais informações sobre o nível sem custo financeiro e o modo expresso.
As cotas a seguir se aplicam aos agentes implantados na Agent Platform para um determinado projeto do modo expresso em cada região:
| Descrição | Cota | Métrica |
|---|---|---|
| Número máximo de recursos da Agent Platform | 10 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| Criar, excluir ou atualizar recursos da Agent Platform por minuto | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
Query ou StreamQuery da plataforma de agentes por minuto |
10 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
Conexões bidirecionais simultâneas em tempo real usando a API BidiStreamQuery por minuto |
1 | aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests |
| Criar, excluir ou atualizar sessões da Agent Platform por minuto | 10 | aiplatform.googleapis.com/session_write_requests |
| Anexar evento às sessões da Plataforma de Agentes por minuto | 30 | aiplatform.googleapis.com/session_event_append_requests |
| Criar, excluir ou atualizar recursos de memória da Agent Platform por minuto | 10 | aiplatform.googleapis.com/memory_bank_write_requests |
| Receber, listar ou recuperar do banco de memória por minuto | 10 | aiplatform.googleapis.com/memory_bank_read_requests |