Gemini Enterprise Agent Platform ofrece varias opciones para obtener y usar recursos de procesamiento cuando se usan modelos generativos. Estas opciones de consumo están diseñadas para satisfacer las necesidades de cualquier carga de trabajo, desde la creación de prototipos iniciales hasta las implementaciones de producción. Seleccionar la opción correcta es fundamental para equilibrar el rendimiento, la confiabilidad y el costo.
En esta guía, se detallan las opciones de consumo disponibles, se te ayuda a asignarlas a tus requisitos de carga de trabajo específicos y se proporcionan estrategias para optimizar la latencia, la disponibilidad y el costo.
Opciones de consumo
Gemini Enterprise Agent Platform ofrece cinco opciones de consumo adaptadas a diferentes patrones de tráfico y necesidades empresariales:
| Opción de consumo | Descripción | Es ideal para | Precios | |
|---|---|---|---|---|
| Capacidad de procesamiento aprovisionada | Proporciona una capacidad de procesamiento garantizada durante un período de compromiso | Cargas de trabajo críticas, de estado estable y siempre activas en las que se necesita un ANS | Basado en compromisos (disponible en planes de 1 semana, 1 mes, 3 meses y 1 año) | |
| PayGo | Standard | Opción flexible de pago por uso sin compromiso por adelantado | Opción predeterminada para casos de uso diarios con flexibilidad para la demanda de tráfico variable | Por token (tarifa estándar) |
| Prioridad | Ofrece una mayor confiabilidad a través del procesamiento prioritario y, al mismo tiempo, mantiene la flexibilidad de PayGo | Cargas de trabajo importantes que requieren mayor confiabilidad y límites que el PayGo estándar | Por token (tarifa premium) | |
| Flex | Opción rentable para cargas de trabajo tolerantes a la latencia | Tareas que pueden tolerar tiempos de respuesta más lentos y una mayor limitación a cambio de precios más bajos | Por token (tarifa con descuento) | |
| Inferencia por lotes | Optimización de costos para el procesamiento asíncrono de grandes volúmenes | Trabajos a gran escala en los que se necesitan resultados en un plazo más largo | Por token (tarifa con descuento) | |
Para obtener información sobre los precios, consulta la página de precios.
Elige la opción adecuada para tu carga de trabajo
En las siguientes secciones, se proporcionan lineamientos para seleccionar la opción de consumo más adecuada según los requisitos y las características específicos de tu carga de trabajo.
Cargas de trabajo sensibles a la latencia
A menudo, las organizaciones deben elegir entre la confiabilidad y el costo cuando eligen los modelos de consumo adecuados. Si bien la capacidad de procesamiento aprovisionada ofrece la mayor confiabilidad, puede causar un uso insuficiente si tu tráfico tiene aumentos repentinos. Del mismo modo, PayGo podría ofrecer la máxima flexibilidad, pero no puede garantizar una calidad de servicio. En la siguiente sección, se describe cómo combinar mejor estos mecanismos para lograr el resultado óptimo:
- Cubre el tráfico de referencia con la capacidad de procesamiento aprovisionada. Esto mejora
el uso de tu capacidad reservada, lo que la hace económica y, al mismo tiempo, proporciona
confiabilidad garantizada para el núcleo de tu tráfico. Para lograrlo, haz lo siguiente:
- Analiza tus patrones de tráfico por minuto o segundo.
- Determina la cantidad de tráfico que cubrirá la capacidad de procesamiento aprovisionada. Debe abarcar el tráfico de mayor prioridad.
- Administra el tráfico de desbordamiento con el pago por uso estándar o prioritario: De forma predeterminada, el tráfico que supera tu modelo de referencia de capacidad de procesamiento aprovisionada (llamado tráfico de desbordamiento) se controla con el pago por uso estándar. Si observas una mayor variación en el rendimiento de las solicitudes que superan el límite de TPM, puedes mitigar esa variación a través de la optimización. El pago por uso prioritario te brinda la opción de lograr un rendimiento confiable a un precio premium, sujeto al límite de aumento gradual.
Cargas de trabajo asíncronas de gran volumen
Si tienes una gran cantidad de solicitudes pendientes (por ejemplo, si tienes millones de documentos para resumir) y la latencia inmediata no es un problema, debes enviar un trabajo por lotes formulando solicitudes en un archivo JSON o una hoja de cálculo. Esto es útil para casos de uso como el etiquetado de imágenes, el procesamiento de documentos de forma masiva o el análisis de sentimiento en datos históricos.
Esta es la opción más rentable para la inferencia de alto volumen.
Cargas de trabajo tolerantes a la latencia y sensibles a los costos
Si necesitas procesar solicitudes en las que la aplicación puede esperar una respuesta, pero la reducción de costos es una prioridad, debes usar el pago por uso de Flex. Flex PayGo ofrece precios reducidos por token para las solicitudes que no requieren ejecución inmediata. Esta opción es útil para casos de uso, como el análisis sin conexión, la anotación de datos, la creación de catálogos de productos o la traducción.
Estrategias de optimización
Una vez que hayas seleccionado tu modelo de consumo, usa las siguientes estrategias para optimizar aún más la latencia, la disponibilidad y el costo.
Latencia
Cuando compilas aplicaciones interactivas, la latencia cumple un rol fundamental en la experiencia del usuario. La latencia se refiere al tiempo que tarda un modelo en procesar la instrucción de entrada y generar una respuesta de salida correspondiente. Cuando examines la latencia con un modelo, ten en cuenta lo siguiente:
- Tiempo hasta el primer token (TTFT): Es el tiempo que tarda el modelo en producir el primer token de la respuesta después de recibir la instrucción. El TTFT es particularmente relevante para las aplicaciones de transmisión, en las que proporcionar comentarios inmediatos es fundamental.
- Tiempo hasta el último token (TTLT): Es el tiempo total que tarda el modelo en procesar la instrucción y generar la respuesta.
Para optimizar la latencia, haz lo siguiente:
- Selecciona el modelo adecuado para tu caso de uso: Gemini Enterprise Agent Platform proporciona una gama diversa de modelos con diferentes capacidades y características de rendimiento. Evalúa con cuidado los requisitos de velocidad y calidad del resultado para elegir el modelo que mejor se alinee con tu caso de uso. Para obtener una lista de los modelos disponibles, consulta Model Garden de Gemini Enterprise Agent Platform.
- Reduce el tamaño de las instrucciones: Crea instrucciones claras y concisas que transmitan de manera eficaz tu intent sin detalles innecesarios ni redundancia. Las instrucciones más cortas reducen el tiempo hasta el primer token.
- Limita los tokens de salida:
- Usa las instrucciones del sistema para controlar la longitud de la respuesta. Indica al modelo que proporcione respuestas concisas o limite el resultado a una cantidad específica de oraciones o párrafos. Esta estrategia puede reducir tu tiempo hasta el último token.
- Para restringir el resultado, establece un límite. Usa el parámetro
max_output_tokenspara establecer un límite máximo en la longitud de la respuesta generada, lo que evita un resultado demasiado largo. La latencia es directamente proporcional a la cantidad de tokens generados. Generar menos tokens genera respuestas más rápidas. Sin embargo, ten cuidado, ya que esto podría cortar las respuestas en la mitad de la oración.
- Usa la capacidad de procesamiento aprovisionada: Para obtener el rendimiento más coherente, usa la capacidad de procesamiento aprovisionada. Esto elimina la variabilidad que causan los "arranques en frío" o las colas que pueden ocurrir ocasionalmente en los modelos de PayGo durante el tráfico alto.
- Limita el presupuesto de pensamiento: Si usas un modelo que admite el pensamiento, puedes reducir la latencia disminuyendo el presupuesto de pensamiento. Si limitas los tokens de razonamiento interno que genera el modelo antes de responder, reduces el tiempo de procesamiento general. Sin embargo, debes asegurarte de que el presupuesto siga siendo suficiente para la complejidad de la tarea, de modo que no se degrade la calidad de la respuesta.
- Usa la transmisión para tus respuestas: La transmisión mejora la capacidad de respuesta percibida y crea una experiencia del usuario más interactiva. Con la transmisión, el modelo comienza a enviar su respuesta antes de generar el resultado completo. Esto permite el procesamiento del resultado en tiempo real, por lo que puedes actualizar de inmediato la interfaz de usuario y realizar otras tareas simultáneas.
Disponibilidad
Para optimizar la disponibilidad, haz lo siguiente:
- Implementa la lógica de reintentos: Implementa la retirada exponencial para los errores 429, en especial cuando uses el pago por uso estándar.
- Usa una implementación híbrida: Como se detalla en Elige la opción adecuada para tu carga de trabajo, no dependas solo de PayGo para las apps de producción críticas. La combinación de la capacidad de procesamiento aprovisionada y PayGo proporciona la mayor garantía contra el agotamiento de recursos (errores 429).
- Administra tu cuota de capacidad de procesamiento aprovisionada: Supervisa con regularidad tu consumo de TPM y aumenta las GSU de PT antes de los eventos de tráfico previstos (como los lanzamientos de productos). Puedes usar una política de alertas para automatizar la supervisión.
- Usa el extremo global: Usa el extremo global para utilizar el grupo de capacidad global de Google y minimizar la limitación debido a las restricciones de capacidad regionales.
- Suaviza el tráfico para reducir los picos siempre que sea posible: Las tasas de tráfico de PayGo (TPM) más altas suelen asociarse con tasas de limitación más altas.
- Cambia el tráfico a las horas de menor actividad: El uso del modelo en conjunto suele seguir un patrón diurno. Cambiar el horario de tu carga de trabajo a horas de menor actividad o fines de semana puede mejorar significativamente la disponibilidad.
Costo
Para optimizar los costos, haz lo siguiente:
- Ajusta el tamaño de la capacidad de procesamiento aprovisionada: Por lo general, no es necesario aprovisionar la PT para cubrir la demanda máxima. El aprovisionamiento para la demanda máxima reduce el uso general y aumenta los costos. Intenta cubrir un percentil específico de tu tráfico según tu tolerancia al riesgo y deja que Standard PayGo y Priority PayGo se encarguen del resto.
- Compra capacidad de procesamiento aprovisionada a más largo plazo: Un compromiso de PT de 1 año tiene un precio con un 26% de descuento en comparación con la PT de 1 mes, lo que genera un ahorro de costos significativo. Siempre puedes cambiar el modelo asociado con las GSU de capacidad de procesamiento aprovisionada que compraste para aprovechar las funciones de nuestro modelo más reciente.
- Usa Flex PayGo: Identifica cualquier parte de tu canalización que no sea sensible a la latencia (p.ej., resumen en segundo plano, extracción de datos) y muévela a Flex PayGo para reducir los costos en un 50%.
- Usa el procesamiento por lotes: Para los trabajos asíncronos, como el procesamiento de conjuntos de datos grandes, el procesamiento por lotes es significativamente más económico (50%) que el procesamiento de solicitudes de forma secuencial con el pago por uso estándar.
- Usa el caché de contexto: El caché de contexto ayuda a reducir el costo y la latencia de las solicitudes que contienen contenido repetido. Aumenta las tasas de acierto de caché colocando contenido grande y común al principio de tu instrucción y enviando solicitudes con un prefijo similar en un período breve.
- Selecciona un modelo de menor precio: Si tu caso de uso lo permite, usa uno de nuestros modelos más pequeños, como Flash-Lite, que tiene un precio por token más bajo que nuestros modelos de alta resistencia y con todas las funciones.