Inferência em lote com o Gemini

Receba inferências assíncronas, de alta capacidade e econômicas para suas necessidades de processamento de dados em grande escala com a inferência em lote do Gemini (antigamente conhecida como predição em lote). Este guia explica o valor da inferência em lote, como ela funciona, as limitações e as práticas recomendadas para resultados ideais.

Por que usar a inferência em lote?

Em muitos cenários do mundo real, você não precisa de uma resposta imediata de um modelo de linguagem. Em vez disso, você pode ter um grande conjunto de dados de comandos que precisa processar de maneira eficiente e econômica. É aí que a inferência em lote se destaca.

Os principais benefícios incluem:

  • Custo-benefício:o processamento em lote é oferecido com um preço com desconto de 50% em comparação com a inferência em tempo real, o que o torna ideal para tarefas não urgentes em grande escala. O armazenamento em cache implícito é ativado por padrão para os modelos Gemini 2.5 e Gemini 3. O armazenamento em cache implícito oferece um desconto de 90% em tokens armazenados em cache em comparação com tokens de entrada padrão. No entanto, os descontos para cache e lote não são cumulativos. O desconto de 90% de ocorrência em cache tem prioridade sobre o desconto em lote.
  • Limites de limitação de taxa altos: processe centenas de milhares de solicitações em um único lote com um limite de limitação de taxa maior em comparação com a API Gemini em tempo real.
  • Fluxo de trabalho simplificado: em vez de gerenciar um pipeline complexo de solicitações individuais em tempo real, você pode enviar um único job em lote e recuperar os resultados assim que o processamento for concluído. O serviço processa a validação de formato, paraleliza solicitações para processamento simultâneo e tenta novamente de maneira automática para alcançar uma alta taxa de conclusão com um tempo de resposta de 24 horas.

A inferência em lote é otimizada para tarefas de processamento em grande escala , como:

  • Geração de conteúdo:gere descrições de produtos, postagens de redes sociais ou outros textos criativos em massa.
  • Anotação e classificação de dados:classifique avaliações de usuários, categorize documentos ou realize análises de sentimentos em um grande corpus de texto.
  • Análise off-line:resuma artigos, extraia informações importantes de relatórios ou traduza documentos em escala.
  • Geração de embeddings:gere embeddings de vetores para um grande corpus de documentos para ativar cargas de trabalho de pesquisa semântica, recuperação e clustering.

Modelos do Gemini que oferecem suporte à inferência em lote

Os seguintes modelos básicos e ajustados do Gemini oferecem suporte à inferência em lote:

Clique para expandir os modelos compatíveis

Modelos de embedding que oferecem suporte à inferência em lote

A inferência em lote também está disponível para modelos de embedding:

  • Modelos de embedding do Gemini (pré-lançamento): gemini-embedding-001 e gemini-embedding-2. Cada job em lote oferece suporte a até 1.000.000 de linhas, e cada projeto oferece suporte a até 10.000 jobs em lote simultâneos na fila.
  • Modelos de embedding de texto legados: todas as versões estáveis, incluindo text-embedding-004, text-embedding-005 e text-multilingual-embedding-002. Cada solicitação pode incluir até 30.000 comandos.

Os jobs em lote de embedding usam um esquema de entrada e saída diferente dos jobs em lote de geração de texto do Gemini, e os limites de solicitação em Cotas e limites não se aplicam a eles. Para o esquema JSONL necessário, as opções de configuração por modelo e exemplos, consulte Receber inferências de embeddings em lote.

Suporte ao modelo de endpoint global

A inferência em lote oferece suporte ao uso do endpoint global para modelos básicos do Gemini. Ela não oferece suporte ao endpoint global para modelos ajustados do Gemini.

O endpoint global ajuda a melhorar a disponibilidade geral veiculando suas solicitações de qualquer região com suporte do modelo que você está usando. Ele não oferece suporte a requisitos de residência de dados. Se você tiver requisitos de residência de dados, use os endpoints regionais.

Cotas e limites

Embora a inferência em lote seja poderosa, é importante estar ciente das seguintes limitações.

  • Quota: não há limites de cota predefinidos no seu uso. Em vez disso, o serviço em lote oferece acesso a um pool grande e compartilhado de recursos, alocados dinamicamente com base na disponibilidade de recursos e na demanda em tempo real de todos os clientes desse modelo. Quando mais clientes estão ativos e nossa capacidade está saturada, suas solicitações em lote podem ser enfileiradas para capacidade.
  • Tempo de fila: quando nosso serviço tem tráfego alto, o job em lote é enfileirado para capacidade. O job permanece na fila por até 72 horas antes de expirar.
  • Limites de solicitação: um único job em lote pode incluir até 200.000 solicitações. Se você estiver usando o Cloud Storage como entrada, também haverá um limite de tamanho de arquivo de 1 GB. Os modelos de embedding têm limites de solicitação diferentes. Para mais informações, consulte Modelos de embedding que oferecem suporte à inferência em lote.
  • Tempo de processamento: os jobs em lote são processados de forma assíncrona e não são projetados para aplicativos em tempo real. A maioria dos jobs é concluída em até 24 horas após o início da execução (sem contar o tempo de fila). Após 24 horas, os jobs incompletos são cancelados, e você só recebe cobranças pelas solicitações concluídas.
  • Jobs cancelados: você pode cancelar jobs de inferência em lote a qualquer momento. Quando você cancela um job, todo o trabalho restante é cancelado, e qualquer trabalho já concluído é retornado. Você só recebe cobranças pelo trabalho concluído.
  • Recursos não compatíveis: a inferência em lote não oferece suporte a capacidade de processamento provisionada, armazenamento em cache explícito ou RAG. O armazenamento em cache implícito de inferência em lote não é compatível com o Gemini 2.0 Flash ou o Gemini 2.0 Flash-Lite.
  • Saída de imagem: a inferência em lote é limitada à resolução padrão de 1K. As saídas de 2K e 4K não são compatíveis.

Práticas recomendadas

Para aproveitar ao máximo a inferência em lote com o Gemini, recomendamos as seguintes práticas recomendadas:

  • Combinar jobs:para maximizar a capacidade de processamento, combine jobs menores em um grande job, dentro dos limites do sistema. Por exemplo, enviar um job em lote com 200.000 solicitações oferece uma capacidade de processamento melhor do que 1.000 jobs com 200 solicitações cada.
  • Monitorar o status do job:é possível monitorar o progresso do job usando a API, o SDK ou UI. Para mais informações, consulte Monitorar o status do job. Se um job falhar, verifique as mensagens de erro para diagnosticar e resolver problemas.
  • Otimizar para custo:aproveite a economia de custos oferecida pelo processamento em lote para tarefas que não exigem uma resposta imediata.

A seguir