En esta sección, se explica cómo funciona la capacidad de procesamiento aprovisionada con la API de Gemini Live para el recuento de tokens y la aplicación de cuotas.
La API de Gemini Live permite interacciones multimodales de baja latencia con memoria de sesión para conservar el contexto en los turnos. Para conocer las capacidades adicionales y los límites de sesión, consulta la referencia de la API de Gemini Live.
Cada sesión debe dedicarse por completo a la Capacidad de procesamiento aprovisionada o al pago por uso. No se admite el derrame a mitad de la sesión. Si superas tu cuota de capacidad de procesamiento aprovisionada durante una sesión activa, el sistema permite un aumento temporal para evitar errores y registra el exceso en tu cuota general. Para evitar aumentos inesperados en el uso, compra suficientes GSU para satisfacer la demanda máxima.
El derrame se admite entre sesiones. Cuando se inicia una sesión, el sistema evalúa el encabezado de la solicitud y verifica la disponibilidad de la cuota de capacidad de procesamiento aprovisionada. Si la cuota es insuficiente, la nueva sesión se establece de forma predeterminada en PayGo.
Dado que la memoria de sesión transfiere los resultados de turnos anteriores como entradas para solicitudes posteriores, la capacidad de procesamiento aprovisionada calcula la cuota en función de los tokens entrantes nuevos y los tokens de sesión acumulados. Como resultado, la cantidad total de tokens procesados por solicitud aumentará a medida que avance la sesión hasta que se alcance el límite predefinido de la sesión. El estado de la sesión, incluida la memoria de la sesión, está disponible mientras la sesión esté activa.
Asegúrate de tener en cuenta los tokens de memoria de sesión cuando calcules la Capacidad de procesamiento aprovisionada requerida. Ten en cuenta que los tokens de avatares de video de salida no se incluyen en la memoria de la sesión. Los patrones históricos de tráfico de PayGo pueden servir como un modelo de referencia útil para calcular tus necesidades de GSU.
Las ventanas de aplicación de la cuota varían según la cantidad de GSU que compres para el modelo y están sujetas a cambios.
API de Gemini 3.8 Live
Períodos de aplicación de cuotas
A continuación, se indican los períodos de aplicación de cuotas para diferentes tamaños de GSU del modelo de API de Gemini 3.8 Live:
- De 1 a 9 GSU: 45 segundos
- Más de 10 GSUs: 5 segundos
Los valores que se indican son independientes de la latencia de la solicitud. El tiempo de procesamiento de tu solicitud no es el mismo que el período de aplicación de la cuota. Ten en cuenta que se debe comprar un mínimo de 10 GSU para que la Capacidad de procesamiento aprovisionada pueda procesar las solicitudes relacionadas con el avatar de video de este modelo. Si se compran menos de 10 GSU, toda la sesión basada en avatares de video se extenderá a PayGo.
Los períodos de aplicación son más largos para cantidades más pequeñas de GSU, lo que garantiza que las solicitudes más pequeñas se procesen correctamente dentro del período. A medida que aumenta la cantidad de GSUs de un modelo, no se requieren tiempos de ventana más largos para procesar una solicitud. Si necesitas procesar resultados con mayor frecuencia usando la capacidad de procesamiento aprovisionada, te recomendamos que aumentes la cantidad de GSU compradas y que verifiques el período de aplicación correspondiente. Los períodos de aplicación dependen de los algoritmos de backend y están sujetos a cambios.
Cómo estimar los requisitos de GSU
Veamos un ejemplo de una posible carga de trabajo y comprendamos cómo la herramienta de estimación proporcionaría una recomendación para este modelo, que también informa cómo se procesan las solicitudes y se aplican las tasas de reducción. Un usuario planea usar la API de Live para un chatbot en el que se esperan 10 sesiones simultáneas y la duración es de 5 minutos (300 segundos). Se esperan 30 turnos de conversación por sesión, y el usuario especifica una ventana de contexto máxima de la sesión de 6,000 tokens de activación. A continuación, se muestra la forma de las solicitudes:
| Campo | Valor de ejemplo |
|---|---|
| Cantidad esperada de sesiones simultáneas | 10 |
| Duración esperada (segundos) | 300 |
| Cantidad promedio de turnos por sesión | 30 |
| Longitud máxima del contexto (tokens de activación) | 6,000 |
| Promedio de tokens de texto de entrada por turno | 20 |
| Promedio de tokens de audio de entrada por turno | 200 |
| Promedio de tokens de imagen/video de entrada por turno | 50 |
| Promedio de tokens de texto de salida por turno | 100 |
| Promedio de tokens de audio de salida por turno | 200 |
| ¿Está habilitado el avatar de video de salida? | Sí |
Tokens de entrada por turno:
Calcula el producto suma de las modalidades de entrada y sus respectivas tasas de reducción:
Tokens de texto de entrada promedio por turno * Tasa de reducción de texto de entrada = 20 * 1 = 20
Tokens de audio de entrada promedio por turno * Tasa de reducción de audio de entrada = 200 * 4 = 800
Tokens de imagen o video de entrada promedio por turno * Tasa de reducción de imágenes de entrada = 50 * 1.4 = 70
Total de tokens de entrada ajustados por reducción por turno = 20 + 800 + 70 = 890
Tokens de salida por turno:
Calcula el producto de la suma de las modalidades de salida y sus respectivas tasas de reducción. Ten en cuenta que los tokens de avatar de video de salida representan 6,192 tokens fijos por cada 25 tokens de audio:
Tokens de texto de salida promedio por turno * Tasa de reducción de texto de salida = 100 * 6 = 600
Tokens de audio promedio por turno * Tasa de reducción de audio de salida = 200 * 16 = 3,200
¿Está habilitado el avatar de video de salida? Sí, por lo que debes multiplicar la salida de tokens de audio por (6,192/25) y aplicar la tasa de reducción de tokens del avatar de video de salida: 200 * (6,192/25) * 1.4 = 69,350
Total de tokens de salida ajustados por el consumo por turno = 600 + 3,200 + 69,350 = 73,150
Tokens de la ventana de contexto por turno:
La ventana de contexto acumula tokens de entrada y salida sin procesar (sin incluir los tokens de avatar de video de salida) en cada turno hasta que alcanza la longitud máxima de la ventana de contexto y deja de aumentar. Los tokens se contabilizan para el límite de la ventana de contexto como tokens sin procesar (sin aplicar tasas de reducción). Sin embargo, cuando la ventana de contexto se ingresa en las solicitudes de entrada del siguiente turno como memoria de sesión, los tokens de la ventana de contexto deben aplicar las tasas de reducción de entrada correspondientes según su modalidad.
Agrega la cantidad total de tokens sin procesar en cada sesión sin tener en cuenta las tasas de reducción.
- Promedio de tokens de texto de entrada por turno + promedio de tokens de audio de entrada por turno + promedio de tokens de imagen o video de entrada por turno + promedio de tokens de texto de salida por turno + promedio de tokens de audio de salida por turno = 20 + 200 + 50 + 100 + 200 = 570
Luego, calcula la proporción de cada recuento de tokens sin procesar en relación con el total. Podemos ignorar los tokens de salida del avatar de video como parte del cálculo de la ventana de contexto.
- Proporción de texto de entrada = 20/570 = 0.035
- Relación de audio de entrada = 200/570 = 0.351
- Relación de imagen o video de entrada = 50/570 = 0.088
- Proporción de texto de salida = 100/570 = 0.175
- Relación de audio de salida = 200/570 = 0.351
Luego, calcula la suma de productos de las proporciones, la longitud de contexto máxima y las tasas de reducción como si fueran todas modalidades de entrada.
Proporción de texto de entrada * longitud de contexto máxima * reducción del texto de entrada = 0.035 * 6,000 * 1 = 210
Relación de audio de entrada * longitud máxima del contexto * reducción del audio de entrada = 0.351 * 6,000 * 4 = 8,424
Relación de imágenes o videos de entrada * longitud máxima del contexto * reducción de imágenes o videos de entrada = 0.088 * 6,000 * 1.4 = 739
Proporción de texto de salida * longitud máxima del contexto * reducción del texto de entrada = 0.175 * 6,000 * 1 = 1,050
Proporción de audio de salida * longitud máxima del contexto * reducción del audio de entrada = 0.351 * 6,000 * 4 = 8,424
En el límite máximo de la ventana de contexto de 6,000 tokens sin procesar, la cantidad total de tokens de la ventana de contexto ajustados por reducción procesados por turno es 210 + 8,424 + 739 + 1,050 + 8,424 = 18,847.
Cálculo de la GSU:
(Tokens de entrada por turno + tokens de salida por turno + tokens de ventana de contexto por turno) * cantidad promedio de turnos por sesión * cantidad esperada de sesiones simultáneas * (1/duración esperada) * (1 GSU / 1,350 TPS) = (890 + 73,150 + 18,847) * 30 * 10 * (1/300) * (1/1,350) = 68.8, que se redondea a 69 GSUs.
Procesamiento de solicitudes
Veamos un ejemplo de cómo se procesan las solicitudes con respecto al rendimiento aprovisionado para este modelo. Supongamos que hay 3 solicitudes.
Detalles de la solicitud 1: Entrada de audio y video, salida de audio
- Duración: 10 segundos
- Tokens enviados (audio): 10 segundos x 25 tokens/segundo = 250 tokens
- Tokens enviados (video): 10 segundos x 258 tokens/fotograma por segundo = 2,580 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 100 tokens
- Memoria de sesión actualizada = 250 + 2,580 + 100 = 2,930 tokens
Detalles de la solicitud 2: Audio de entrada con memoria de sesión y audio de salida
- Duración: 40 segundos
- Tokens enviados (audio): 40 segundos x 25 tokens/segundo = 1,000 tokens
- Memoria de sesión después de la solicitud 1 = 2,930 tokens
- Tokens de entrada totales enviados: Tokens enviados en esta solicitud + memoria de sesión de la solicitud 1 = 1,000 + 2,930 = 3,930 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 200 tokens
- Memoria de sesión actualizada = 3,930 + 200 = 4,130 tokens
Detalles de la solicitud 3: Ingresa audio y video con memoria de sesión, y genera audio y video de avatar
- Duración: 10 segundos
- Tokens enviados (audio): 10 segundos x 25 tokens/segundo = 250 tokens
- Tokens enviados (video): 10 segundos x 258 tokens/fotograma por segundo = 2,580 tokens
- Memoria de sesión después de la solicitud 2 = 4,130 tokens
- Total de tokens de entrada enviados: Tokens enviados en esta solicitud + memoria de sesión de la solicitud núm. 2 = 250 + 2,580 + 4,130 = 6,960 tokens
- Tokens de avatares de video de salida recibidos según la naturaleza de la solicitud: 61,920 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 250 tokens
- Memoria de sesión actualizada = 6,960 + 250 = 7,210 tokens
Información sobre los tokens procesados
La solicitud 1 solo procesa los tokens de entrada y salida de la solicitud en curso, ya que no hay tokens adicionales en la memoria de la sesión. Todos los tokens procesados ahora conforman la memoria de la sesión.
La solicitud núm. 2 procesa los tokens de entrada y salida de la solicitud en curso, y también incluye la memoria de la sesión de la solicitud núm. 1. Todos los tokens de memoria de sesión aplican la tasa de reducción de un token de entrada correspondiente.
La solicitud núm. 3 procesa los tokens de entrada y salida de la solicitud en curso y, además, incluye la memoria de la sesión de la solicitud núm. 2. Todos los tokens de memoria de sesión aplican la tasa de reducción de un token de entrada correspondiente.
Si la solicitud núm. 3 tardó exactamente 1 segundo en procesarse después de enviarse, los tokens ajustados por reducción aplicados a la cuota de capacidad de procesamiento aprovisionada para este modelo serían los siguientes:
Tokens de audio de entrada * tasa de reducción de audio de entrada = 250 * 4 = 1,000
Tokens de video de entrada × tasa de reducción de video de entrada = 2,580 × 1.4 = 3,612
Memoria de la sesión de audio * tasa de reducción de audio de entrada = (250 + 100 + 1,000 + 200) * 4 = 6,200
Video de memoria de sesión * tasa de reducción del video de entrada = 2,580 * 1.4 = 3,612
Tokens de avatar de video de salida * tasa de reducción de avatar de video de salida = 61,920 * 1.4 = 86,688
Tokens de audio de salida * tasa de reducción de audio de salida = 250 * 16 = 4,000
La suma total proporciona 105,112 tokens ajustados por el diagrama de avance.
Audio nativo de la API de Live de Gemini 2.5 Flash
Procesamiento de solicitudes
Detalles de la solicitud 1: Entrada de audio y video, salida de audio
- Duración: 10 segundos
- Tokens enviados (audio): 10 segundos x 25 tokens/segundo = 250 tokens
- Tokens enviados (video): 10 segundos x 258 tokens/fotograma por segundo = 2,580 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 100 tokens
- Memoria de sesión actualizada = 250 + 2,580 + 100 = 2,930 tokens
Detalles de la solicitud 2: Audio de entrada con memoria de sesión y audio de salida
Duración: 40 segundos
Tokens enviados (audio): 40 segundos x 25 tokens/segundo = 1,000 tokens
Memoria de sesión después de la solicitud 1 = 2,930 tokens
Tokens de entrada totales enviados: Tokens enviados en esta solicitud + memoria de sesión de la solicitud núm. 1 = 1,000 + 2,930 = 3,930 tokens
Tokens de audio de salida recibidos según la naturaleza de la solicitud: 200 tokens
Memoria de sesión actualizada = 3,930 + 200 = 4,130 tokens
Información sobre los tokens procesados
La solicitud 1 solo procesa los tokens de entrada y salida de la solicitud en curso, ya que no hay tokens adicionales en la memoria de la sesión. Todos los tokens procesados ahora conforman la memoria de la sesión.
La solicitud núm. 2 procesa los tokens de entrada y salida de la solicitud en curso y, además, incluye la memoria de la sesión de la solicitud núm. 1. Todos los tokens de memoria de sesión aplican la tasa de reducción de un token de entrada correspondiente.
Si la solicitud núm. 2 tardó exactamente 1 segundo en procesarse después de enviarse, los tokens ajustados por reducción aplicados a la cuota de capacidad de procesamiento aprovisionada para este modelo serían los siguientes:
- Tokens de audio de entrada * tasa de reducción de audio de entrada = 1,000 * 6 = 6,000
- Memoria de la sesión de audio * tasa de reducción de audio de entrada = (250 + 100) * 6 = 2,100
- Video de memoria de sesión * tasa de reducción del video de entrada = 2,580 * 6 = 15,480
- Tokens de audio de salida * tasa de reducción de audio de salida = 200 * 24 = 4,800
La suma total proporciona 28,380 tokens ajustados por el diagrama de avance.