Bénéficiez d'une inférence asynchrone, à haut débit et économique pour vos besoins de traitement de données à grande échelle grâce à l'inférence par lot de Gemini (anciennement appelée prédiction par lot). Ce guide vous explique la valeur de l'inférence par lot, son fonctionnement, ses limites et les bonnes pratiques pour obtenir des résultats optimaux.
Pourquoi utiliser l'inférence par lot ?
Dans de nombreux scénarios réels, vous n'avez pas besoin d'une réponse immédiate d'un modèle de langage. Vous pouvez avoir un grand ensemble de données de requêtes que vous devez traiter de manière efficace et abordable. C'est là que l'inférence par lot est utile.
Principaux avantages :
- Rentabilité : le traitement par lot est proposé à un tarif réduit de 50% par rapport à l'inférence en temps réel, ce qui le rend idéal pour les tâches à grande échelle et non urgentes. La mise en cache implicite est activée par défaut pour les modèles Gemini 2.5 et Gemini 3. La mise en cache implicite offre une remise de 90% sur les jetons mis en cache par rapport aux jetons d'entrée standards. Toutefois, les remises pour le cache et le lot ne sont pas cumulables. La remise de 90% succès de cache (hit) est prioritaire sur la remise sur le lot.
- Limites de débit élevées : traitez des centaines de milliers de requêtes dans un seul lot avec une limite de débit plus élevée que l'API Gemini en temps réel.
- Workflow simplifié : au lieu de gérer un pipeline complexe de requêtes individuelles en temps réel, vous pouvez envoyer une seule job par lot et récupérer les résultats une fois le traitement terminé. Le service gère la validation du format, parallélise les requêtes pour le traitement simultané et effectue automatiquement des nouvelles tentatives pour atteindre un taux d'achèvement élevé avec un délai de traitement de 24 heures.
L'inférence par lot est optimisée pour les tâches de traitement à grande échelle telles que :
- Génération de contenu : générez en masse des descriptions de produits, des posts sur les réseaux sociaux ou d'autres textes créatifs.
- Annotation et classification des données : classez les avis des utilisateurs, catégorisez les documents ou effectuez une analyse des sentiments sur un grand corpus de texte.
- Analyse hors connexion : résumez des articles, extrayez des informations clés de rapports ou traduisez des documents à grande échelle.
Modèles Gemini compatibles avec l'inférence par lot
Les modèles Gemini de base et réglés suivants sont compatibles avec l'inférence par lot :
Cliquez pour développer les modèles compatibles
Compatibilité des modèles avec le point de terminaison global
L'inférence par lot est compatible avec l'utilisation du point de terminaison global pour les modèles Gemini de base. Elle n'est pas compatible avec le point de terminaison global pour les modèles Gemini réglés.
Le point de terminaison global permet d'améliorer la disponibilité globale en diffusant vos requêtes à partir de n'importe quelle région compatible avec le modèle que vous utilisez. Notez qu'il n'est pas compatible avec les exigences de résidence des données. Si vous avez des exigences de résidence des données, utilisez les points de terminaison régionaux.
Quotas et limites
Bien que l'inférence par lot soit puissante, il est important de connaître les limites suivantes.
- Quota : il n'existe aucune limite de quota prédéfinie pour votre utilisation. Au lieu de cela, le service de traitement par lot fournit un accès à un grand pool de ressources partagées, allouées de manière dynamique en fonction de la disponibilité des ressources et de la demande en temps réel pour tous les clients de ce modèle. Lorsque davantage de clients sont actifs et que notre capacité est saturée, vos requêtes par lot peuvent être mises en file d'attente pour la capacité.
- Temps d'attente : lorsque notre service connaît un trafic élevé, votre job par lot est mise en file d'attente pour la capacité. La tâche reste en file d'attente pendant 72 heures maximum avant d'expirer.
- Limites de requêtes : une seule job par lot peut inclure jusqu'à 200 000 requêtes. Si vous utilisez Cloud Storage comme entrée, la taille des fichiers est également limitée à 1 Go.
- Temps de traitement : les tâches par lot sont traitées de manière asynchrone et ne sont pas conçues pour les applications en temps réel. La plupart des tâches se terminent dans les 24 heures suivant leur démarrage (sans compter le temps d'attente). Après 24 heures, les tâches incomplètes sont annulées et vous n'êtes facturé que pour les requêtes terminées.
- Tâches annulées : vous pouvez annuler les tâches d'inférence par lot à tout moment. Lorsque vous annulez une tâche, tout travail restant est annulé et tout travail déjà terminé est renvoyé. Vous n'êtes facturé que pour le travail terminé.
- Fonctionnalités non compatibles : l'inférence par lot n'est pas compatible avec le débit provisionné, la mise en cache explicite ni la RAG. La mise en cache implicite de l'inférence par lot n'est pas compatible avec Gemini 2.0 Flash ni Gemini 2.0 Flash-Lite.
- Sortie d'image : l'inférence par lot est limitée à la résolution 1K par défaut. Les sorties 2K et 4K ne sont pas compatibles.
Bonnes pratiques
Pour tirer le meilleur parti de l'inférence par lot avec Gemini, nous vous recommandons de suivre ces bonnes pratiques :
- Combiner des tâches : pour maximiser le débit, combinez des tâches plus petites en une seule tâche plus importante, dans les limites du système. Par exemple, l'envoi d'une job par lot avec 200 000 requêtes vous offrira un meilleur débit que 1 000 tâches avec 200 requêtes chacune.
- Surveiller l'état des tâches : vous pouvez surveiller la progression des tâches à l'aide de l'API, du SDK ou de l'interface utilisateur. Pour en savoir plus, consultez la section Surveiller l'état des tâches. En cas d'échec d'une tâche, consultez les messages d'erreur pour diagnostiquer et résoudre le problème.
- Optimiser les coûts : profitez des économies offertes par le traitement par lot pour toutes les tâches qui ne nécessitent pas de réponse immédiate.