En esta sección, se explica cómo funciona la capacidad de procesamiento aprovisionada con la API de Gemini Live para el recuento de tokens y la aplicación de cuotas.
La API de Gemini Live permite interacciones multimodales de baja latencia con la memoria de la sesión para retener el contexto en los turnos. Para conocer las funciones adicionales y los límites de las sesiones, consulta la referencia de la API de Gemini Live.
Cada sesión debe dedicarse por completo a la capacidad de procesamiento aprovisionada o al pago por uso; no se admite el desbordamiento a mitad de la sesión. Si superas tu cuota de capacidad de procesamiento aprovisionada durante una sesión activa, el sistema permite un aumento temporal para evitar errores y registra el excedente en tu cuota general. Para evitar aumentos repentinos de uso inesperados, compra suficientes GSU para satisfacer tu demanda máxima.
Se admite el desbordamiento entre sesiones. Cuando se inicia una sesión, el sistema evalúa el encabezado de la solicitud y verifica la disponibilidad de la cuota de capacidad de procesamiento aprovisionada. Si la cuota es insuficiente, la sesión nueva se establece de forma predeterminada en PayGo.
Debido a que la memoria de sesión transfiere los resultados de los turnos anteriores como entradas para las solicitudes posteriores, la capacidad de procesamiento aprovisionada calcula la cuota en función de los tokens entrantes nuevos y los tokens de sesión acumulados. Como resultado, el total de tokens procesados por solicitud aumentará a medida que avance la sesión hasta que se alcance el límite predefinido de la sesión. El estado de la sesión, incluida la memoria de la sesión, está disponible mientras la sesión esté activa.
Asegúrate de tener en cuenta los tokens de memoria de sesión cuando estimes la capacidad de procesamiento aprovisionada que necesitas. Ten en cuenta que los tokens de avatar de video de salida no se incluyen en la memoria de la sesión. Los patrones de tráfico históricos de PayGo pueden servir como un modelo de referencia útil para calcular tus necesidades de GSU.
Las ventanas de aplicación de cuotas varían según la cantidad de GSU que compres para el modelo y están sujetas a cambios.
API de Gemini 3.8 Live
Ventanas de aplicación de cuotas
A continuación, se indican los períodos de aplicación de cuotas para los diferentes tamaños de GSU del modelo de la API de Gemini 3.8 Live:
- De 1 a 9 GSU: 45 segundos
- Más de 10 GSU: 5 segundos
Los valores que se indican son independientes de la latencia de la solicitud. El tiempo que se tarda en procesar tu solicitud no es el mismo que el de la ventana de aplicación de la cuota. Ten en cuenta que se debe comprar un mínimo de 10 GSU para que la capacidad de procesamiento aprovisionada pueda procesar las solicitudes relacionadas con los avatares de video de este modelo. Si se compran menos de 10 GSU, toda la sesión basada en avatares de video se transferirá a PayGo.
Las ventanas de aplicación de medidas por incumplimiento son más grandes con cantidades de GSU más pequeñas para garantizar que las solicitudes más pequeñas se procesen correctamente dentro de la ventana. A medida que aumenta la cantidad de GSU para un modelo, no se requieren tiempos de ventana más largos para procesar una solicitud. Si necesitas procesar resultados con más frecuencia con la capacidad de procesamiento aprovisionada, te recomendamos que aumentes la cantidad de GSU compradas y verifiques el período de aplicación de medidas por incumplimiento correspondiente. Las ventanas de aplicación de medidas por incumplimiento dependen de los algoritmos de backend y están sujetas a cambios.
Estima los requisitos de GSU
Veamos un ejemplo de una carga de trabajo potencial y comprendamos cómo la herramienta de estimación proporcionaría una recomendación para este modelo, que también informa cómo se procesan las solicitudes y cómo se aplican las tasas de consumo. Un usuario planea usar la API de Gemini Live para un chatbot en el que se esperan 10 sesiones simultáneas, y la duración es de 5 minutos (300 segundos). Se esperan 30 turnos de conversación por sesión, y el usuario especifica una ventana de contexto de sesión máxima de 6,000 tokens de activador. A continuación, se muestra la forma de las solicitudes:
| Campo | Valor de ejemplo |
|---|---|
| Cantidad esperada de sesiones simultáneas | 10 |
| Duración esperada (segundos) | 300 |
| Cantidad promedio de turnos por sesión | 30 |
| Longitud máxima del contexto (tokens de activador) | 6,000 |
| Promedio de tokens de texto de entrada por turno | 20 |
| Promedio de tokens de audio de entrada por turno | 200 |
| Promedio de tokens de imagen/video de entrada por turno | 50 |
| Promedio de tokens de texto de salida por turno | 100 |
| Promedio de tokens de audio de salida por turno | 200 |
| ¿Está habilitado el avatar de video de salida? | Sí |
Tokens de entrada por turno:
Calcula la suma de productos de las modalidades de entrada y sus respectivas tasas de consumo:
Promedio de tokens de texto de entrada por turno * Tasa de consumo de texto de entrada = 20 * 1 = 20
Promedio de tokens de audio de entrada por turno * Tasa de consumo de audio de entrada = 200 * 4 = 800
Promedio de tokens de imagen o video de entrada por turno * Tasa de consumo de imágenes de entrada = 50 * 1.4 = 70
Total de tokens de entrada ajustados por reducción por turno = 20 + 800 + 70 = 890
Tokens de salida por turno:
Calcula la suma de productos de las modalidades de salida y sus respectivas tasas de agotamiento. Ten en cuenta que los tokens de avatar de video de salida representan 6,192 tokens fijos por cada 25 tokens de audio:
Promedio de tokens de texto de salida por turno * Tasa de consumo de texto de salida = 100 * 6 = 600
Promedio de tokens de audio por turno * Tasa de consumo de audio de salida = 200 * 16 = 3,200
¿Está habilitado el avatar de video de salida? Sí, por lo que debes multiplicar la salida de tokens de audio por (6,192/25) y aplicar la tasa de consumo de tokens de avatar de video de salida: 200 * (6,192/25) * 1.4 = 69,350
Total de tokens de salida ajustados por consumo por turno = 600 + 3,200 + 69,350 = 73,150
Tokens de la ventana de contexto por turno:
La ventana de contexto acumula tokens de entrada y salida sin procesar (excepto los tokens de avatar de video de salida) en cada turno hasta que alcanza la longitud máxima de la ventana de contexto y deja de aumentar. Los tokens se cuentan para el límite de la ventana de contexto como tokens sin procesar (sin aplicar tasas de consumo). Sin embargo, cuando la ventana de contexto se ingresa en las solicitudes de entrada del siguiente turno como memoria de sesión, los tokens en la ventana de contexto deben aplicar las tasas de consumo de entrada correspondientes según su modalidad.
Suma el total de tokens sin procesar de cada sesión sin tener en cuenta las tasas de consumo.
- Promedio de tokens de texto de entrada por turno + promedio de tokens de audio de entrada por turno + promedio de tokens de imagen/video de entrada por turno + promedio de tokens de texto de salida por turno + promedio de tokens de audio de salida por turno = 20 + 200 + 50 + 100 + 200 = 570
Luego, calcula la proporción de cada recuento de tokens sin procesar con respecto al total. Podemos ignorar los tokens de salida de avatar de video como parte del cálculo de la ventana de contexto.
- Proporción de texto de entrada = 20/570 = 0.035
- Proporción de audio de entrada = 200/570 = 0.351
- Proporción de imágenes y videos de entrada = 50/570 = 0.088
- Proporción de texto de salida = 100/570 = 0.175
- Proporción de audio de salida = 200/570 = 0.351
Luego, calcula la suma de los productos de las proporciones, la longitud de contexto máxima y las tasas de consumo como si todas fueran modalidades de entrada.
Proporción de texto de entrada * longitud máxima de contexto * reducción de texto de entrada = 0.035 * 6,000 * 1 = 210
Proporción de audio de entrada * longitud de contexto máxima * reducción de audio de entrada = 0.351 * 6,000 * 4 = 8,424
Proporción de imagen o video de entrada * longitud de contexto máxima * reducción de imagen o video de entrada = 0.088 * 6,000 * 1.4 = 739
Proporción de texto de resultado * longitud de contexto máxima * reducción del texto de entrada = 0.175 * 6,000 * 1 = 1,050
Proporción de audio de salida * longitud de contexto máxima * reducción de audio de entrada = 0.351 * 6,000 * 4 = 8,424
En el límite máximo de la ventana de contexto de 6,000 tokens sin procesar, el total de tokens de la ventana de contexto ajustados por agotamiento procesados por turno es 210 + 8,424 + 739 + 1,050 + 8,424 = 18,847.
Cálculo de GSU:
(tokens de entrada por turno + tokens de salida por turno + tokens de ventana de contexto por turno) * promedio de turnos por sesión * cantidad esperada de sesiones simultáneas * (1/duración esperada) * (1 GSU/1,350 TPS) = (890 + 73,150 + 18,847) * 30 * 10 * (1/300) * (1/1,350) = 68.8, redondeado hacia arriba da 69 GSU.
Procesamiento de solicitudes
Veamos un ejemplo de cómo se procesan las solicitudes en relación con la capacidad de procesamiento aprovisionada para este modelo. Supongamos que hay 3 solicitudes.
Detalles de la solicitud n° 1: entrada de audio y video, salida de audio
- Duración: 10 segundos
- Tokens enviados (audio): 10 segundos x 25 tokens/segundo = 250 tokens
- Tokens enviados (video): 10 segundos x 258 tokens/fotograma por segundo = 2,580 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 100 tokens
- Memoria de sesión actualizada = 250 + 2,580 + 100 = 2,930 tokens
Detalles de la solicitud n° 2: audio de entrada con memoria de sesión, audio de salida
- Duración: 40 segundos
- Tokens enviados (audio): 40 segundos x 25 tokens/segundo = 1,000 tokens
- Memoria de la sesión después de la solicitud 1 = 2,930 tokens
- Total de tokens de entrada enviados: tokens enviados en esta solicitud + memoria de sesión de la solicitud n° 1 = 1,000 + 2,930 = 3,930 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 200 tokens
- Memoria de sesión actualizada = 3,930 + 200 = 4,130 tokens
Detalles de la solicitud n° 3: Audio y video de entrada con memoria de sesión, video y audio de avatar de salida
- Duración: 10 segundos
- Tokens enviados (audio): 10 segundos x 25 tokens/segundo = 250 tokens
- Tokens enviados (video): 10 segundos x 258 tokens/fotograma por segundo = 2,580 tokens
- Memoria de la sesión después de la solicitud nº 2 = 4,130 tokens
- Total de tokens de entrada enviados: tokens enviados en esta solicitud + memoria de sesión de la solicitud nº 2 = 250 + 2,580 + 4,130 = 6,960 tokens
- Tokens de avatar de video de salida recibidos según la naturaleza de la solicitud: 61,920 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 250 tokens
- Memoria de la sesión actualizada = 6,960 + 250 = 7,210 tokens
Información sobre los tokens procesados
La solicitud n° 1 procesa solo los tokens de entrada y salida de la solicitud en curso, ya que no hay tokens adicionales en la memoria de la sesión. Todos los tokens procesados ahora conforman la memoria de la sesión.
La solicitud n° 2 procesa los tokens de entrada y salida de la solicitud en curso y, además, incluye la memoria de la sesión de la solicitud n° 1. Todos los tokens de memoria de sesión aplican la tasa de consumo de un token de entrada correspondiente.
La solicitud n° 3 procesa los tokens de entrada y salida de la solicitud en curso y, al mismo tiempo, incluye la memoria de la sesión de la solicitud n° 2. Todos los tokens de memoria de sesión aplican la tasa de consumo de un token de entrada correspondiente.
Si la solicitud n° 3 tardó exactamente 1 segundo en procesarse después de enviarse, los tokens ajustados por reducción aplicados a la cuota de capacidad de procesamiento aprovisionada para este modelo serían los siguientes:
Tokens de audio de entrada * tasa de consumo de audio de entrada = 250 * 4 = 1,000
Tokens de video de entrada * tasa de consumo de video de entrada = 2,580 * 1.4 = 3,612
Audio de la memoria de la sesión * tasa de consumo de audio de entrada = (250 + 100 + 1,000 + 200) * 4 = 6,200
Video de memoria de sesión × tasa de consumo de video de entrada = 2,580 × 1.4 = 3,612
Tokens de avatar de video de salida * tasa de consumo de avatar de video de salida = 61,920 * 1.4 = 86,688
Tokens de audio de salida * tasa de consumo de audio de salida = 250 * 16 = 4,000
Si se suma el total, se obtienen 105,112 tokens ajustados por reducción.
Audio nativo de la API de Gemini 2.5 Flash Live
Procesamiento de solicitudes
Detalles de la solicitud n° 1: entrada de audio y video, salida de audio
- Duración: 10 segundos
- Tokens enviados (audio): 10 segundos x 25 tokens/segundo = 250 tokens
- Tokens enviados (video): 10 segundos x 258 tokens/fotograma por segundo = 2,580 tokens
- Tokens de audio de salida recibidos según la naturaleza de la solicitud: 100 tokens
- Memoria de sesión actualizada = 250 + 2,580 + 100 = 2,930 tokens
Detalles de la solicitud n° 2: audio de entrada con memoria de sesión, audio de salida
Duración: 40 segundos
Tokens enviados (audio): 40 segundos x 25 tokens/segundo = 1,000 tokens
Memoria de la sesión después de la solicitud 1 = 2,930 tokens
Total de tokens de entrada enviados: tokens enviados en esta solicitud + memoria de sesión de la solicitud n° 1 = 1,000 + 2,930 = 3,930 tokens
Tokens de audio de salida recibidos según la naturaleza de la solicitud: 200 tokens
Memoria de sesión actualizada = 3,930 + 200 = 4,130 tokens
Información sobre los tokens procesados
La solicitud n° 1 procesa solo los tokens de entrada y salida de la solicitud en curso, ya que no hay tokens adicionales en la memoria de la sesión. Todos los tokens procesados ahora conforman la memoria de la sesión.
La solicitud n° 2 procesa los tokens de entrada y salida de la solicitud en curso y, además, incluye la memoria de la sesión de la solicitud n° 1. Todos los tokens de memoria de sesión aplican la tasa de consumo de un token de entrada correspondiente.
Si la solicitud n° 2 tardó exactamente 1 segundo en procesarse después de enviarse, los tokens ajustados por reducción aplicados a la cuota de capacidad de procesamiento aprovisionada para este modelo serían los siguientes:
- Tokens de audio de entrada * tasa de consumo de audio de entrada = 1,000 * 6 = 6,000
- Audio de la memoria de la sesión * tasa de consumo de audio de entrada = (250 + 100) * 6 = 2,100
- Video de memoria de sesión * tasa de consumo de video de entrada = 2,580 * 6 = 15,480
- Tokens de audio de salida * tasa de consumo de audio de salida = 200 * 24 = 4,800
Si se suma el total, se obtienen 28,380 tokens ajustados por reducción.