Inferencias por lotes con Gemini

Obtén inferencias asíncronas, de alto rendimiento y rentables para tus necesidades de procesamiento de datos a gran escala con la inferencia por lotes de Gemini (antes conocida como predicción por lotes). En esta guía, se explica el valor de la inferencia por lotes, cómo funciona, sus limitaciones y las prácticas recomendadas para obtener resultados óptimos.

¿Por qué usar la inferencia por lotes?

En muchas situaciones del mundo real, no necesitas una respuesta inmediata de un modelo de lenguaje. En cambio, es posible que tengas un conjunto de datos grande de instrucciones que necesites procesar de manera eficiente y económica. Aquí es donde se destaca la inferencia por lotes.

Entre los beneficios clave, se incluyen los siguientes:

  • Rentabilidad: El procesamiento por lotes se ofrece con una tarifa con descuento del 50% en comparación con la inferencia en tiempo real, lo que lo hace ideal para tareas a gran escala que no son urgentes. El almacenamiento en caché implícito está habilitado de forma predeterminada para los modelos de Gemini 2.5 y Gemini 3. El almacenamiento en caché implícito proporciona un 90% de descuento en los tokens almacenados en caché en comparación con los tokens de entrada estándar. Sin embargo, los descuentos para el caché y el lote no se acumulan. El descuento del 90% de acierto de caché tiene prioridad sobre el descuento por lotes.
  • Límites de frecuencia altos: Procesa cientos de miles de solicitudes en un solo lote con un límite de frecuencia más alto en comparación con la API de Gemini en tiempo real.
  • Flujo de trabajo simplificado: En lugar de administrar una canalización compleja de solicitudes individuales en tiempo real, puedes enviar un solo trabajo por lotes y recuperar los resultados una vez que se complete el procesamiento. El servicio controla la validación de formato, paraleliza las solicitudes para el procesamiento simultáneo y vuelve a intentar automáticamente para lograr una tasa de finalización alta con un tiempo de respuesta de 24 horas.

La inferencia por lotes está optimizada para tareas de procesamiento a gran escala como las siguientes:

  • Generación de contenido: Genera descripciones de productos, publicaciones en redes sociales o cualquier otro texto creativo de forma masiva.
  • Anotación y clasificación de datos: Clasifica las opiniones de los usuarios, categoriza documentos o realiza análisis de sentimiento en un gran corpus de texto.
  • Análisis sin conexión: Resume artículos, extrae información clave de informes o traduce documentos a gran escala.
  • Generación de embeddings de vector: Genera embeddings de vector para un gran corpus de documentos para potenciar las cargas de trabajo de búsqueda semántica, recuperación y agrupamiento en clústeres.

Modelos de Gemini que admiten la inferencia por lotes

Los siguientes modelos de Gemini base y ajustados admiten la inferencia por lotes:

Haz clic para expandir los modelos compatibles

Modelos de incorporación que admiten la inferencia por lotes

La inferencia por lotes también está disponible para los modelos de incorporación:

  • Modelos de incorporación de Gemini (versión preliminar): gemini-embedding-001 y gemini-embedding-2. Cada trabajo por lotes admite hasta 1,000,000 de filas, y cada proyecto admite hasta 10,000 trabajos por lotes simultáneos en la cola.
  • Modelos de embedding de texto heredados: todas las versiones estables, incluidas text-embedding-004, text-embedding-005 y text-multilingual-embedding-002. Cada solicitud puede incluir hasta 30,000 instrucciones.

Los trabajos por lotes de incorporación usan un esquema de entrada y salida diferente al de los trabajos por lotes de generación de texto de Gemini, y los límites de solicitud en Cuotas y límites no se aplican a ellos. Para obtener el esquema JSONL requerido, las opciones de configuración por modelo y los ejemplos, consulta Obtén inferencias de incorporaciones por lotes.

Compatibilidad con modelos de extremos globales

La inferencia por lotes admite el uso del extremo global para los modelos de Gemini base. No admite el extremo global para los modelos de Gemini ajustados.

El extremo global ayuda a mejorar la disponibilidad general, ya que entrega tus solicitudes desde cualquier región compatible con el modelo que usas. Ten en cuenta que no admite los requisitos de residencia de datos. Si tienes requisitos de residencia de datos, usa los extremos regionales.

Cuotas y límites

Si bien la inferencia por lotes es poderosa, es importante tener en cuenta las siguientes limitaciones.

  • Quota: No hay límites de cuota predefinidos en tu uso. En cambio, el servicio por lotes proporciona acceso a un grupo grande y compartido de recursos, asignados de forma dinámica según la disponibilidad de recursos y la demanda en tiempo real en todos los clientes de ese modelo. Cuando hay más clientes activos y nuestra capacidad está saturada, es posible que tus solicitudes por lotes se pongan en cola para obtener capacidad.
  • Tiempo de cola: Cuando nuestro servicio experimenta un tráfico alto, tu trabajo por lotes se pondrá en cola para obtener capacidad. El trabajo permanece en la cola hasta por 72 horas antes de que venza.
  • Límites de solicitud: Un solo trabajo por lotes puede incluir hasta 200,000 solicitudes. Si usas Cloud Storage como entrada, también hay un límite de tamaño de archivo de 1 GB. Los modelos de incorporación tienen diferentes límites de solicitud. Para obtener más información, consulta Modelos de incorporación que admiten la inferencia por lotes.
  • Tiempo de procesamiento: Los trabajos por lotes se procesan de forma asíncrona y no están diseñados para aplicaciones en tiempo real. La mayoría de los trabajos se completan en un plazo de 24 horas después de que comienza a ejecutarse (sin contar el tiempo de cola). Después de 24 horas, se cancelan los trabajos incompletos y solo se te cobrarán las solicitudes completadas.
  • Trabajos cancelados: Puedes cancelar trabajos de inferencia por lotes en cualquier momento. Cuando cancelas un trabajo, se cancela cualquier trabajo restante y se devuelve cualquier trabajo ya completado. Solo se te cobrará por el trabajo completado.
  • Funciones no compatibles: La inferencia por lotes no admite la Capacidad de procesamiento aprovisionada, el almacenamiento en caché explícito ni RAG. El almacenamiento en caché implícito de inferencia por lotes no es compatible con Gemini 2.0 Flash ni Gemini 2.0 Flash-Lite.
  • Salida de imagen: La inferencia por lotes se limita a la resolución predeterminada de 1K. No se admiten salidas de 2K ni 4K.

Prácticas recomendadas

Para aprovechar al máximo la inferencia por lotes con Gemini, te recomendamos las siguientes prácticas recomendadas:

  • Combina trabajos: Para maximizar el rendimiento, combina trabajos más pequeños en un trabajo grande, dentro de los límites del sistema. Por ejemplo, enviar un trabajo por lotes con 200,000 solicitudes te dará un mejor rendimiento que 1,000 trabajos con 200 solicitudes cada uno.
  • Supervisa el estado del trabajo: Puedes supervisar el progreso del trabajo con la API, el SDK o la IU. Para obtener más información, consulta Supervisa el estado del trabajo. Si falla un trabajo, consulta los mensajes de error para diagnosticar y solucionar el problema.
  • Optimiza los costos: Aprovecha los ahorros de costos que ofrece el procesamiento por lotes para cualquier tarea que no requiera una respuesta inmediata.

¿Qué sigue?