L'apprentissage par renforcement est une technique puissante permettant d'adapter les grands modèles de langage (LLM) afin de maximiser les récompenses de feedback fournies par une fonction de récompense définie par l'utilisateur. Le modèle explore de nombreuses réponses possibles, observe une récompense numérique pour chacune d'elles et modifie progressivement son comportement afin que les réponses à récompense élevée deviennent plus probables et que celles à récompense faible le deviennent moins. Cette approche excelle dans les scénarios qui nécessitent un raisonnement en plusieurs étapes, une prise de décision complexe ou la compréhension de nuances subtiles dans les requêtes.
L'affinage par apprentissage par renforcement pour Gemini vous permet d'affiner Gemini en utilisant vos propres requêtes et fonctions de récompense auto-définies. Vous pouvez l'utiliser pour améliorer la capacité de raisonnement et la qualité des résultats des modèles Gemini pour vos propres cas d'utilisation et workflows agentiques.
Fonctionnement
Le réglage fin par apprentissage par renforcement fonctionne de manière itérative pour affiner le comportement du LLM. À chaque itération, le modèle génère des réponses à un ensemble de requêtes. Ces réponses sont ensuite évaluées par une fonction de récompense définie par l'utilisateur, qui quantifie la qualité du résultat généré en fonction des critères souhaités. Le service utilise ce signal de récompense pour mettre à jour les paramètres du modèle à l'aide d'algorithmes d'apprentissage par renforcement, afin d'encourager les comportements qui génèrent des récompenses plus élevées. Ce processus itératif de génération, d'évaluation et de mise à jour permet au modèle d'apprendre et de s'adapter à vos cas d'utilisation spécifiques.
Le schéma suivant illustre le workflow global d'affinage de l'apprentissage par renforcement :
Principales fonctionnalités
Fonctions de récompense personnalisables : définissez vos propres fonctions de récompense pour optimiser précisément un large éventail de cas d'utilisation personnalisés et aligner le comportement du modèle sur des objectifs spécifiques. Pour en savoir plus sur les types de récompenses acceptés, consultez la page Fonctions de récompense.
Adaptateurs pour un réglage efficace : le réglage fin par apprentissage par renforcement utilise des adaptateurs, qui permettent une adaptation efficace tout en réutilisant l'infrastructure de diffusion existante.
Plusieurs niveaux de réflexion : le service permet d'ajuster deux niveaux de réflexion,
MINIMALetHIGH(réflexion dynamique). Vous pouvez ainsi choisir l'approche qui correspond le mieux aux objectifs d'apprentissage de votre modèle et aux schémas de génération de réponses souhaités. Pour en savoir plus, consultez la page Hyperparamètres.Réglage continu : affinez davantage un modèle déjà réglé en intégrant des exemples ou des époques d'entraînement supplémentaires. L'utilisation d'un modèle ou d'un point de contrôle réglé existant comme base permet un processus plus efficace pour le réglage des tests. Pour en savoir plus, consultez la page Optimisation continue.
Ensembles de données multimodaux : prend en charge les modalités de données de texte, d'image, de vidéo (Gemini 3.5 Flash uniquement) et d'audio.
Quand utiliser le réglage fin par apprentissage par renforcement ?
Le réglage fin par apprentissage par renforcement est préférable pour affiner les LLM dans les situations où les stratégies optimales ne sont pas évidentes par apprentissage supervisé. Cela inclut les tâches dont l'objectif est d'optimiser des métriques spécifiques sans étiquettes de vérité terrain facilement disponibles, où l'alignement sur les préférences humaines est essentiel (et où une méthode de jugement existe), ainsi que les tâches nécessitant beaucoup de raisonnement qui bénéficient d'une amélioration et d'une exploration itératives.
Voici quelques scénarios dans lesquels le réglage fin par apprentissage par renforcement est préférable :
Suivi d'instructions complexes : lorsque le modèle doit suivre des instructions complexes pour lesquelles la sortie "correcte" n'est pas une réponse unique, mais nécessite un ensemble de vérifications. L'apprentissage par renforcement peut aider le modèle à apprendre à naviguer dans ces ensembles d'instructions complexes.
Génération de contenu créatif : pour les tâches telles que la génération de textes créatifs, de poèmes ou de code très spécialisé, où il est difficile de définir des métriques objectives. L'apprentissage par renforcement, avec une fonction de récompense bien conçue (pouvant impliquer un feedback humain ou une évaluation par un expert), peut guider le modèle vers des résultats plus souhaitables et innovants.
Tâches de raisonnement : pour les tâches qui nécessitent un raisonnement poussé, comme la résolution d'énigmes ou de problèmes mathématiques, l'apprentissage par renforcement peut inciter le modèle à explorer différentes séquences de "pensée" pour apprendre quels schémas de raisonnement sont les plus efficaces pour résoudre les problèmes.
Modèles et régions compatibles
Les modèles Gemini suivants sont compatibles avec le réglage fin par apprentissage par renforcement :
Gemini 3.5 Flash
| Spécification | Valeur |
|---|---|
| Points de terminaison compatibles pour l'ajustement de modèles |
|
| Points de terminaison compatibles pour la diffusion de modèles réglés |
|
| Version de l'API | v1beta1 uniquement |
Gemini 3.1 Flash-Lite
| Spécification | Valeur |
|---|---|
| Points de terminaison compatibles pour l'ajustement de modèles |
|
| Points de terminaison compatibles pour la diffusion de modèles réglés |
|
| Version de l'API | v1beta1 uniquement |
Modalités de réglage compatibles
Le réglage fin par apprentissage par renforcement est compatible avec les modalités de données suivantes dans vos ensembles de données de réglage :
- Texte
- Audio
- Image
- Vidéo (disponible uniquement pour Gemini 3.5 Flash)
Pour connaître les limites des ensembles de données par modalité (par exemple, le nombre maximal de fichiers par requête, la taille maximale des fichiers et la longueur totale maximale), consultez la page Ensemble de données d'ajustement.
Réglage continu
Vous pouvez utiliser la sortie d'un job d'optimisation précédent comme base pour un nouveau job d'affinage de l'apprentissage par renforcement. Les modèles d'ajustement continu suivants sont acceptés :
- Affinage supervisé → Affinage par apprentissage par renforcement
- Réglage fin par apprentissage par renforcement → Réglage fin par apprentissage par renforcement
Pour en savoir plus sur la configuration, consultez la page Optimisation continue.
Diffuser le modèle réglé
Une fois la tâche d'affinage par apprentissage par renforcement réussie sur le modèle Gemini de base, un modèle affiné basé sur le dernier point de contrôle est déployé sur un point de terminaison de votre projet. Les modèles ajustés utilisent la même stratégie de point de terminaison de diffusion que le modèle de base. Par exemple, si vous exécutez un job de réglage dans us-central1, le modèle réglé est déployé sur un point de terminaison multirégional us (mREP).
Pour récupérer le point de terminaison du modèle ajusté déployé et exécuter l'inférence par rapport à celui-ci, consultez le guide de démarrage rapide de la consoleGoogle Cloud ou le guide de démarrage rapide de l'API.
Tarifs
Tarifs de l'optimisation
Le réglage fin par apprentissage par renforcement pour Gemini génère des jetons en deux phases : une phase d'échantillonnage et une phase d'entraînement. Les jetons générés pendant la phase d'entraînement sont facturés conformément à la section "Ajustement de modèle" de la page Tarifs de Gemini Enterprise Agent Platform.
Tarifs d'inférence
Après le réglage, les coûts d'inférence (demande de prédiction) du modèle réglé continuent de s'appliquer. Pour l'inférence de modèle à partir de Gemini 3, le prix de prédiction du point de terminaison du modèle réglé est 1,5 fois supérieur à celui du modèle de base. Pour en savoir plus, consultez Versions de modèles Gemini stables et disponibles.
Si vous configurez le service d'évaluation de l'IA générative pour qu'il s'exécute automatiquement pendant l'ajustement, les évaluations sont facturées en tant que tâches de prédiction par lot. Pour en savoir plus, consultez la section "Réglage de modèle" de la page Tarifs de Gemini Enterprise Agent Platform.
Étapes suivantes
- Suivez le guide de démarrage rapide de la consoleGoogle Cloud ou le guide de démarrage rapide de l'API pour créer votre premier job d'affinage par apprentissage par renforcement.
- Découvrez comment préparer un ensemble de données de réglage et configurer des fonctions de récompense.
- Découvrez comment déployer un modèle Gemini réglé.