Capacidade de Processamento Provisionada para a API Gemini Live

Nesta seção, explicamos como a Capacidade de Processamento Provisionada funciona com a API Gemini Live para contagem de tokens e aplicação de cotas.

A API Gemini Live permite interações multimodais de baixa latência usando a memória da sessão para reter o contexto entre os turnos. Para mais recursos e limites de sessão, consulte a referência da API Gemini Live.

Cada sessão precisa ser dedicada inteiramente à Capacidade de Processamento Provisionada ou ao PayGo. O transbordamento no meio da sessão não é aceito. Se você exceder sua cota de Capacidade de Processamento Provisionada durante uma sessão ativa, o sistema vai permitir um aumento temporário para evitar erros, registrando o excedente na sua cota geral. Para evitar picos de uso inesperados, compre GSUs suficientes para atender ao pico de demanda.

O spillover é compatível entre sessões. Ao iniciar uma sessão, o sistema avalia o cabeçalho da solicitação e verifica a disponibilidade da cota de capacidade de processamento provisionada. Se a cota for insuficiente, a nova sessão será definida como PayGo por padrão.

Como a memória de sessão transfere as saídas de turnos anteriores como entradas para solicitações subsequentes, a Capacidade de Processamento Provisionada calcula a cota com base nos novos tokens recebidos e nos tokens de sessão acumulados. Como resultado, o total de tokens processados por solicitação vai aumentar à medida que a sessão avança, até que o limite predefinido seja atingido. O estado da sessão, incluindo a memória, fica disponível enquanto a sessão estiver ativa.

Considere os tokens de memória de sessão ao estimar a capacidade de processamento provisionada necessária. Os tokens de avatar de vídeo de saída não estão incluídos na memória da sessão. Os padrões históricos de tráfego do PayGo podem servir como uma referência útil para calcular suas necessidades de GSU.

As janelas de aplicação de cotas variam de acordo com o número de GSUs que você compra para o modelo e estão sujeitas a mudanças.

API Gemini 3.8 Live

Janelas de aplicação de cota

Confira a seguir as janelas de aplicação de cotas para diferentes tamanhos de GSU para o modelo da API Gemini 3.8 Live:

  • 1 a 9 GSUs: 45 segundos
  • Mais de 10 GSUs: 5 segundos

Os valores listados são independentes da latência da solicitação. O tempo para processar sua solicitação não é o mesmo que o período de aplicação da cota. É necessário comprar pelo menos 10 GSUs para que a Capacidade de Processamento Provisionada possa processar as solicitações relacionadas ao avatar de vídeo desse modelo. Se menos de 10 GSUs forem compradas, toda a sessão baseada em avatar de vídeo será transferida para o PayGo.

As janelas de aplicação são maiores em quantidades menores de GSU para garantir que solicitações menores sejam processadas com sucesso dentro da janela. À medida que o número de GSUs de um modelo aumenta, não é necessário aumentar o tempo de janela para processar uma solicitação. Se você precisar processar saídas com mais frequência usando a Capacidade de Processamento Provisionada, recomendamos aumentar a quantidade de GSUs compradas e verificar a janela de restrição correspondente. As janelas de aplicação dependem de algoritmos de back-end e estão sujeitas a alterações.

Como estimar os requisitos de GSU

Vamos analisar um exemplo de carga de trabalho em potencial e entender como a ferramenta de estimativa fornece uma recomendação para esse modelo, que também informa como as solicitações são processadas e as taxas de burndown são aplicadas. Um usuário planeja usar a API Gemini Live para um chatbot em que são esperadas 10 sessões simultâneas, com duração de 5 minutos (300 segundos). Há uma expectativa de 30 turnos de conversa por sessão, e o usuário especifica uma janela de contexto de sessão máxima de 6.000 tokens de gatilho. O formato das solicitações é capturado abaixo:

Campo Valor de exemplo
Número esperado de sessões simultâneas 10
Duração esperada (segundos) 300
Número médio de turnos por sessão 30
Tamanho máximo de contexto (tokens de gatilho) 6.000
Média de tokens de texto de entrada por turno 20
Média de tokens de áudio de entrada por turno 200
Média de tokens de imagem/vídeo de entrada por turno 50
Média de tokens de texto de saída por turno 100
Média de tokens de áudio de saída por turno 200
O avatar de vídeo de saída está ativado? Sim

Tokens de entrada por turno:

Calcule o produto da soma das modalidades de entrada e as respectivas taxas de burndown:

  • Média de tokens de texto de entrada por turno * Taxa de burndown de texto de entrada = 20 * 1 = 20

  • Média de tokens de áudio de entrada por turno * Taxa de consumo de áudio de entrada = 200 * 4 = 800

  • Média de tokens de imagem/vídeo de entrada por turno * Taxa de burndown de imagem de entrada = 50 * 1,4 = 70

Total de tokens de entrada ajustados por burndown por turno = 20 + 800 + 70 = 890

Tokens de saída por turno:

Calcule a soma dos produtos das modalidades de saída e as respectivas taxas de burndown. Os tokens de avatar de vídeo de saída representam um valor fixo de 6.192 tokens por 25 tokens de áudio:

  • Média de tokens de texto de saída por turno * Taxa de burndown de texto de saída = 100 * 6 = 600

  • Média de tokens de áudio por turno * Taxa de consumo de áudio de saída = 200 * 16 = 3.200

  • O avatar de vídeo de saída está ativado? Sim, então multiplique a saída do token de áudio por (6.192/25) e aplique a taxa de consumo do token de avatar de vídeo de saída: 200 * (6.192/25) * 1,4 = 69.350

Total de tokens de saída ajustados por burndown por turno = 600 + 3.200 + 69.350 = 73.150

Tokens da janela de contexto por turno:

A janela de contexto acumula tokens de entrada e saída brutos (exceto tokens de avatar de vídeo de saída) em cada turno até atingir o tamanho máximo da janela de contexto e parar de aumentar. Os tokens são contabilizados no limite da janela de contexto como tokens brutos (sem aplicar taxas de burndown). No entanto, quando a janela de contexto é inserida nas solicitações de entrada do próximo turno como memória de sessão, os tokens na janela de contexto precisam aplicar as taxas de burndown de entrada correspondentes com base na modalidade.

Some o total de tokens brutos em cada sessão sem considerar as taxas de consumo.

  • Média de tokens de texto de entrada por turno + média de tokens de áudio de entrada por turno + média de tokens de imagem/vídeo de entrada por turno + média de tokens de texto de saída por turno + média de tokens de áudio de saída por turno = 20 + 200 + 50 + 100 + 200 = 570

Em seguida, calcule a proporção de cada contagem de tokens brutos em relação ao total. Podemos ignorar os tokens de saída do avatar de vídeo como parte do cálculo da janela de contexto.

  • Proporção de texto de entrada = 20/570 = 0,035
  • Proporção de áudio de entrada = 200/570 = 0,351
  • Proporção de imagem/vídeo de entrada = 50/570 = 0,088
  • Proporção de texto de saída = 100/570 = 0,175
  • Proporção de áudio de saída = 200/570 = 0,351

Em seguida, calcule a soma dos produtos das proporções, o tamanho máximo do contexto e as taxas de burndown como se fossem todas modalidades de entrada.

  • Proporção do texto de entrada * tamanho máximo do contexto * burndown do texto de entrada = 0,035 * 6.000 * 1 = 210

  • Proporção de áudio de entrada * tamanho máximo do contexto * burndown de áudio de entrada = 0,351 * 6.000 * 4 = 8.424

  • Proporção de imagem/vídeo de entrada * tamanho máximo do contexto * burndown de imagem/vídeo de entrada = 0,088 * 6.000 * 1,4 = 739

  • Proporção do texto de saída * tamanho máximo do contexto * burndown do texto de entrada = 0,175 * 6.000 * 1 = 1.050

  • Proporção de áudio de saída * tamanho máximo do contexto * burndown de áudio de entrada = 0,351 * 6.000 * 4 = 8.424

No limite máximo da janela de contexto de 6.000 tokens brutos, o total de tokens da janela de contexto ajustados para burndown processados por turno é 210 + 8.424 + 739 + 1.050 + 8.424 = 18.847.

Cálculo de GSU:

(tokens de entrada por turno + tokens de saída por turno + tokens de janela de contexto por turno) * número médio de turnos por sessão * número esperado de sessões simultâneas * (1/duração esperada) * (1 GSU / 1.350 TPS) = (890 + 73.150 + 18.847) * 30 * 10 * (1/300) * (1/1.350) = 68,8, arredondado para cima dá 69 GSUs.

Processamento de solicitação

Vamos analisar um exemplo de como as solicitações são processadas em relação à Capacidade de Processamento Provisionada para esse modelo. Vamos supor que haja três solicitações.

Detalhes da solicitação nº 1: entrada de áudio e vídeo, saída de áudio

  • Duração: 10 segundos
  • Tokens enviados (áudio): 10 segundos x 25 tokens/segundo = 250 tokens
  • Tokens enviados (vídeo): 10 segundos x 258 tokens/quadro por segundo = 2.580 tokens
  • Tokens de áudio de saída recebidos com base na natureza da solicitação: 100 tokens
  • Memória de sessão atualizada = 250 + 2.580 + 100 = 2.930 tokens

Detalhes da solicitação 2: áudio de entrada com memória de sessão, áudio de saída

  • Duração: 40 segundos
  • Tokens enviados (áudio): 40 segundos x 25 tokens/segundo = 1.000 tokens
  • Memória da sessão após a Solicitação 1 = 2.930 tokens
  • Total de tokens de entrada enviados: tokens enviados nesta solicitação + memória de sessão da Solicitação 1 = 1.000 + 2.930 = 3.930 tokens
  • Tokens de áudio de saída recebidos com base na natureza da solicitação: 200 tokens
  • Memória de sessão atualizada = 3.930 + 200 = 4.130 tokens

Detalhes da solicitação 3: entrada de áudio e vídeo com memória de sessão, saída de vídeo e áudio de avatar

  • Duração: 10 segundos
  • Tokens enviados (áudio): 10 segundos x 25 tokens/segundo = 250 tokens
  • Tokens enviados (vídeo): 10 segundos x 258 tokens/quadro por segundo = 2.580 tokens
  • Memória da sessão após a Solicitação 2 = 4.130 tokens
  • Total de tokens de entrada enviados: tokens enviados nesta solicitação + memória de sessão da Solicitação 2 = 250 + 2.580 + 4.130 = 6.960 tokens
  • Tokens de avatar de vídeo de saída recebidos com base na natureza da solicitação: 61.920 tokens
  • Tokens de áudio de saída recebidos com base na natureza da solicitação: 250 tokens
  • Memória de sessão atualizada = 6.960 + 250 = 7.210 tokens

Noções básicas sobre tokens processados

  • A solicitação 1 processa apenas os tokens de entrada e saída da solicitação em andamento, já que não há outros tokens na memória da sessão. Todos os tokens processados agora compõem a memória da sessão.

  • A Solicitação 2 processa os tokens de entrada e saída da solicitação em andamento, além de incluir a memória da sessão da Solicitação 1. Todos os tokens de memória de sessão aplicam a taxa de consumo de um token de entrada correspondente.

  • A Solicitação 3 processa os tokens de entrada e saída da solicitação em andamento, além de incluir a memória da sessão da Solicitação 2. Todos os tokens de memória de sessão aplicam a taxa de consumo de um token de entrada correspondente.

Se a Solicitação 3 levou exatamente 1 segundo para ser processada após o envio, os tokens ajustados por burndown aplicados à cota de capacidade de processamento provisionada para esse modelo seriam os seguintes:

  • Tokens de áudio de entrada * taxa de burndown de áudio de entrada = 250 * 4 = 1.000

  • Tokens de vídeo de entrada * taxa de burndown do vídeo de entrada = 2.580 * 1,4 = 3.612

  • Áudio da memória da sessão * taxa de consumo de áudio de entrada = (250 + 100 + 1.000 + 200) * 4 = 6.200

  • Vídeo da memória de sessão * taxa de burndown do vídeo de entrada = 2.580 * 1,4 = 3.612

  • Tokens de avatar de vídeo de saída * taxa de burndown de avatar de vídeo de saída = 61.920 * 1,4 = 86.688

  • Tokens de áudio de saída * taxa de consumo de áudio de saída = 250 * 16 = 4.000

Somando o total,temos 105.112 tokens ajustados para burndown.

Áudio nativo da API Gemini 2.5 Flash Live

Processamento de solicitação

Detalhes da solicitação nº 1: entrada de áudio e vídeo, saída de áudio

  • Duração: 10 segundos
  • Tokens enviados (áudio): 10 segundos x 25 tokens/segundo = 250 tokens
  • Tokens enviados (vídeo): 10 segundos x 258 tokens/quadro por segundo = 2.580 tokens
  • Tokens de áudio de saída recebidos com base na natureza da solicitação: 100 tokens
  • Memória de sessão atualizada = 250 + 2.580 + 100 = 2.930 tokens

Detalhes da solicitação 2: áudio de entrada com memória de sessão, áudio de saída

  • Duração: 40 segundos

  • Tokens enviados (áudio): 40 segundos x 25 tokens/segundo = 1.000 tokens

  • Memória da sessão após a Solicitação 1 = 2.930 tokens

  • Total de tokens de entrada enviados: tokens enviados nesta solicitação + memória de sessão da Solicitação nº 1 = 1.000 + 2.930 = 3.930 tokens

  • Tokens de áudio de saída recebidos com base na natureza da solicitação: 200 tokens

  • Memória de sessão atualizada = 3.930 + 200 = 4.130 tokens

Noções básicas sobre tokens processados

  • A solicitação 1 processa apenas os tokens de entrada e saída da solicitação em andamento, já que não há outros tokens na memória da sessão. Todos os tokens processados agora compõem a memória da sessão.

  • A Solicitação 2 processa os tokens de entrada e saída da solicitação em andamento, além de incluir a memória da sessão da Solicitação 1. Todos os tokens de memória de sessão aplicam a taxa de consumo de um token de entrada correspondente.

Se a Solicitação 2 levou exatamente 1 segundo para ser processada após o envio, os tokens ajustados para burndown aplicados à cota de Capacidade de Processamento Provisionada para esse modelo seriam os seguintes:

  • Tokens de áudio de entrada * taxa de consumo de áudio de entrada = 1.000 * 6 = 6.000
  • Áudio da memória da sessão * taxa de consumo de áudio de entrada = (250 + 100) * 6 = 2.100
  • Vídeo da memória de sessão * taxa de burndown do vídeo de entrada = 2.580 * 6 = 15.480
  • Tokens de áudio de saída * taxa de burndown de áudio de saída = 200 * 24 = 4.800

Somando o total,temos 28.380 tokens ajustados para burndown.

A seguir