Inferencia por lotes

Obtén inferencias asíncronas, de alta capacidad de procesamiento y rentables para tus necesidades de procesamiento de datos a gran escala con la inferencia por lotes. En esta guía, se explica el valor de la inferencia por lotes, cómo funciona, sus limitaciones y las prácticas recomendadas para obtener resultados óptimos.

¿Por qué usar la inferencia por lotes?

En muchas situaciones reales, no necesitas una respuesta inmediata de un modelo de lenguaje. En cambio, es posible que tengas un conjunto de datos grande de mensajes que necesites procesar de manera eficiente y económica. Aquí es donde se destaca la inferencia por lotes.

Entre los beneficios clave, se incluyen los siguientes:

  • Rentabilidad: El procesamiento por lotes se ofrece con una tarifa con descuento del 50% en comparación con la inferencia en tiempo real, lo que lo hace ideal para tareas a gran escala que no son urgentes. El almacenamiento en caché implícito está habilitado de forma predeterminada para Gemini 2.5 Pro, Gemini 2.5 Flash y Gemini 2.5 Flash-Lite. El almacenamiento en caché implícito proporciona un 90% de descuento en los tokens almacenados en caché en comparación con los tokens de entrada estándar. Sin embargo, los descuentos para el caché y el lote no se acumulan. El descuento del 90% de acierto de caché tiene prioridad sobre el descuento por lotes.
  • Límites de frecuencia altos: Procesa cientos de miles de solicitudes en un solo lote con un límite de frecuencia más alto en comparación con la API de Gemini en tiempo real.
  • Flujo de trabajo simplificado: En lugar de administrar una canalización compleja de solicitudes individuales en tiempo real, puedes enviar un solo trabajo por lotes y recuperar los resultados una vez que se complete el procesamiento. El servicio controlará la validación del formato, paralelizará las solicitudes para el procesamiento simultáneo y volverá a intentarlo automáticamente para lograr una tasa de finalización alta con un tiempo de respuesta de 24 horas.

La inferencia por lotes está optimizada para tareas de procesamiento a gran escala como las siguientes:

  • Generación de contenido: Genera descripciones de productos, publicaciones en redes sociales o cualquier otro texto creativo de forma masiva.
  • Anotación y clasificación de datos: Clasifica las opiniones de los usuarios, categoriza documentos o realiza análisis de sentimiento en un gran corpus de texto.
  • Análisis sin conexión: Resume artículos, extrae información clave de informes o traduce documentos a gran escala.

Compatibilidad con el modelo de extremo global

La inferencia por lotes admite el uso del extremo global para los modelos de Gemini base. No admite el extremo global para los modelos de Gemini ajustados.

El extremo global ayuda a mejorar la disponibilidad general, ya que entrega tus solicitudes desde cualquier región compatible con el modelo que usas. Ten en cuenta que no admite los requisitos de residencia de datos. Si tienes requisitos de residencia de datos, usa los extremos regionales.

Cuotas y límites

Si bien la inferencia por lotes es potente, es importante tener en cuenta las siguientes limitaciones.

  • Quota: No hay límites de cuota predefinidos en tu uso. En cambio, el servicio por lotes proporciona acceso a un grupo grande y compartido de recursos, asignados de forma dinámica según la disponibilidad de recursos y la demanda en tiempo real en todos los clientes de ese modelo. Cuando más clientes estén activos y saturen nuestra capacidad, es posible que tus solicitudes por lotes se pongan en cola para obtener capacidad.
  • Tiempo en cola: Cuando nuestro servicio experimenta un tráfico alto, tu trabajo por lotes se pondrá en cola para obtener capacidad. El trabajo permanece en la cola hasta por 72 horas antes de que venza.
  • Límites de solicitudes: Un solo trabajo por lotes puede incluir hasta 200,000 solicitudes. Si usas Cloud Storage como entrada, también hay un límite de tamaño de archivo de 1 GB.
  • Tiempo de procesamiento: Los trabajos por lotes se procesan de forma asíncrona y no están diseñados para aplicaciones en tiempo real. La mayoría de los trabajos se completan en un plazo de 24 horas después de que comienzan a ejecutarse (sin contar el tiempo en cola). Después de 24 horas, se cancelarán los trabajos incompletos y solo se te cobrarán las solicitudes completadas.
  • Trabajos cancelados: Puedes cancelar los trabajos de inferencia por lotes en cualquier momento. Cuando cancelas un trabajo, se cancela cualquier trabajo restante y se devuelve cualquier trabajo ya completado. Solo se te cobrará por el trabajo completado.
  • Funciones no compatibles: La inferencia por lotes no admite el almacenamiento en caché explícito ni RAG no es compatible con Gemini 2.0 Flash ni Gemini 2.0 Flash-Lite.
  • Salida de imagen: La inferencia por lotes se limita a la resolución predeterminada de 1K. No se admiten salidas de 2K ni 4K.

Prácticas recomendadas

Para aprovechar al máximo la inferencia por lotes con Gemini, te recomendamos las siguientes prácticas recomendadas:

  • Combina trabajos: Para maximizar la capacidad de procesamiento, combina trabajos más pequeños en un trabajo grande, dentro de los límites del sistema. Por ejemplo, enviar un trabajo por lotes con 200,000 solicitudes te dará una mejor capacidad de procesamiento que 1,000 trabajos con 200 solicitudes cada uno.
  • Supervisa el estado del trabajo: Puedes supervisar el progreso del trabajo con la API, el SDK o la IU. Para obtener más información, consulta Supervisa el estado del trabajo. Si un trabajo falla, revisa los mensajes de error para diagnosticar y solucionar el problema.
  • Optimiza los costos: Aprovecha los ahorros de costos que ofrece el procesamiento por lotes para cualquier tarea que no requiera una respuesta inmediata.

¿Qué sigue?