Présentation du réglage

Le réglage de modèle est un processus essentiel pour adapter Gemini afin d'effectuer des tâches spécifiques avec plus de précision. Pour cela, vous devez fournir au modèle un ensemble de données d'entraînement contenant un jeu d'exemples de tâches spécifiques à exécuter en aval.

Cette page présente le réglage de modèle pour Gemini, décrit les options de réglage disponibles pour Gemini et vous aide à déterminer quand utiliser chaque option de réglage.

Avantages du réglage du modèle

Le réglage de modèle est un moyen efficace de personnaliser les modèles volumineux pour vos tâches. Il s'agit d'une étape clé pour améliorer la qualité et l'efficacité du modèle. Le réglage du modèle offre les avantages suivants :

  • Une qualité supérieure pour vos tâches spécifiques
  • Robustesse accrue du modèle
  • Réduction de la latence et du coût d'inférence grâce à des requêtes plus courtes

Réglage par rapport à la conception de l'invite

  • Prompting avec des modèles Gemini pré-entraînés : le prompting consiste à élaborer des instructions efficaces pour guider les modèles d'IA comme Gemini afin de générer les résultats souhaités. Il s'agit de concevoir des requêtes qui indiquent clairement la tâche, le format souhaité et tout contexte pertinent. Vous pouvez utiliser les fonctionnalités de Gemini avec une configuration minimale. Il est particulièrement adapté aux cas d'utilisation suivants :
    • Données étiquetées limitées : si vous disposez d'une petite quantité de données étiquetées ou si vous ne pouvez pas vous permettre un processus de réglage long.
    • Prototypage rapide : lorsque vous devez tester rapidement un concept ou obtenir des performances de référence sans investir massivement dans l'affinage.
  • Affinage personnalisé des modèles Gemini : pour obtenir des résultats plus personnalisés, Gemini vous permet d'affiner ses modèles sur vos ensembles de données spécifiques. Pour créer un modèle d'IA qui excelle dans votre domaine spécifique, envisagez d'affiner le modèle. Cela implique de réentraîner le modèle de base sur votre propre ensemble de données étiquetées, en adaptant ses pondérations à votre tâche et à vos données. Vous pouvez adapter Gemini à vos cas d'utilisation. L'affinage est plus efficace lorsque :
    • Vous disposez de données étiquetées : un ensemble de données assez volumineux pour l'entraînement (environ 100 exemples ou plus), qui permet au modèle d'apprendre en profondeur les spécificités de votre tâche.
    • Tâches complexes ou uniques : pour les scénarios où les stratégies de requêtes avancées ne sont pas suffisantes et qu'un modèle adapté à vos données est essentiel.

Commencez par créer des prompts pour trouver le prompt optimal. Passez ensuite à l'affinage (si nécessaire) pour améliorer les performances ou corriger les erreurs récurrentes. Bien qu'il soit utile d'ajouter d'autres exemples, il est important d'évaluer les erreurs du modèle avant d'ajouter d'autres données. Des données de haute qualité et bien étiquetées sont essentielles pour de bonnes performances. La qualité est plus importante que la quantité. De plus, les données que vous utilisez pour l'affinage doivent refléter la distribution, le format et le contexte des requêtes que le modèle rencontre en production.

Le réglage offre les avantages suivants par rapport à la conception des requêtes :

  • Permet une personnalisation approfondie du modèle et améliore les performances pour des tâches spécifiques.
  • Aligne le modèle avec une syntaxe, des instructions et des règles sémantiques spécifiques au domaine personnalisées.
  • Offre des résultats plus cohérents et fiables.
  • Permet de gérer plusieurs exemples à la fois.
  • Réduit les coûts lors de l'inférence en supprimant les exemples few-shot et les instructions longues dans les requêtes.

Approches du réglage

Le réglage des paramètres avec optimisation et l'affinage complet sont deux approches de personnalisation des modèles volumineux. Les deux méthodes présentent des avantages et des implications en termes de qualité du modèle et d'efficacité des ressources.

La méthode avec optimisation

Le réglage des paramètres avec optimisation, également appelé réglage des adaptateurs, permet d'adapter efficacement les modèles volumineux à vos tâches ou domaines spécifiques. Le réglage des paramètres avec optimisation met à jour un sous-ensemble relativement restreint des paramètres du modèle au cours du processus d'ajustement.

Pour comprendre comment Gemini Enterprise Agent Platform prend en charge le réglage et la diffusion des adaptateurs, consultez le livre blanc Adaptation of Large Foundation Models (Adaptation de modèles de fondation de grande taille).

Affinage complet

L'affinage complet met à jour tous les paramètres du modèle, ce qui permet de l'adapter à des tâches très complexes, avec la possibilité d'obtenir une qualité supérieure. Toutefois, un affinage complet nécessite des ressources de calcul plus importantes pour l'ajustement et la diffusion, ce qui entraîne des coûts globaux plus élevés.

Paramètres avec optimisation par rapport à affinage complet

Le réglage des paramètres avec optimisation est plus économe en ressources et plus économique par rapport à l'affinage complet. Il utilise des ressources de calcul beaucoup moins importantes pour l'entraînement. Il peut adapter le modèle plus rapidement avec un ensemble de données plus petit. La flexibilité du réglage des paramètres avec optimisation offre une solution d'apprentissage multitâche sans nécessiter de réentraînement approfondi.

Méthodes de réglage compatibles

Agent Platform permet de personnaliser les modèles de fondation à l'aide de l'affinage supervisé, du réglage des préférences et de l'affinage par apprentissage par renforcement. Vous pouvez également utiliser des points de sauvegarde d'ajustement et un réglage continu sur plusieurs exécutions d'entraînement.

Le tableau suivant compare les principales méthodes de réglage :

Méthode de réglage Fonctionnement Taille standard de l'ensemble de données Idéal pour
Affinage supervisé (SFT) Entraînement sur des démonstrations d'entrées/sorties étiquetées Des centaines à des milliers d'exemples étiquetés Mise en forme stricte des résultats, classification, analyse des sentiments, extraction d'entités, et style ou ton spécifiques à un domaine.
Réglage des préférences Optimise les préférences par paires (réponses choisies par rapport aux réponses rejetées) Des centaines à des milliers de paires de préférences Aligner le comportement du modèle sur les préférences humaines subjectives, l'utilité ou le ton de la conversation.
Affinage par apprentissage par renforcement (RLFT) Génère des traces de raisonnement et des réponses candidates (niveau de réflexion MINIMAL ou HIGH) et maximise les scores de jusqu'à 16 fonctions de récompense pondérées De quelques dizaines à quelques centaines de requêtes avec des métadonnées references Raisonnement en plusieurs étapes, règles de domaine complexes, tâches vérifiables (comme la génération de code ou de SQL) et optimisation des modèles de réflexion sans dégrader la qualité du raisonnement.

Affinage supervisé

L'affinage supervisé améliore les performances du modèle en lui apprenant une nouvelle compétence. Des données contenant des centaines d'exemples étiquetés sont utilisées pour apprendre au modèle à simuler un comportement ou une tâche cible. Chaque exemple étiqueté montre ce que vous souhaitez que le modèle génère lors de l'inférence.

Lorsque vous exécutez un job d'affinage supervisé, le modèle apprend des paramètres supplémentaires qui lui permettent d'encoder les informations nécessaires pour effectuer la tâche cible ou apprendre le comportement attendu. Ces paramètres sont utilisés lors de l'inférence. Le résultat du job de réglage est un nouveau modèle qui combine les paramètres nouvellement appris avec le modèle d'origine.

L'affinage supervisé d'un modèle de texte est une bonne option lorsque la sortie de votre modèle n'est pas complexe et est relativement facile à définir. Il est recommandé d'utiliser un affinage supervisé pour la classification, l'analyse des sentiments, l'extraction d'entités, la synthèse de contenu non complexe et l'écriture de requêtes spécifiques à un domaine.

Modèles compatibles avec l'affinage supervisé

Les modèles Gemini suivants sont compatibles avec le réglage supervisé :

Cliquez pour développer la liste des modèles compatibles

Pour en savoir plus sur l'utilisation de l'affinage supervisé avec chaque type de données, consultez les pages suivantes : Ajuster les types de données texte, image, audio, vidéo et document.

Réglage des préférences

Le réglage des préférences d'Agent Platform s'appuie sur l'affinage supervisé en vous permettant d'ajuster vos modèles Gemini à l'aide de données de feedback humain.

Le réglage des préférences permet au modèle d'apprendre à partir des préférences subjectives des utilisateurs, qui sont difficiles à définir à l'aide d'étiquettes spécifiques et d'un affinage supervisé seul.

Modèles compatibles avec le réglage des préférences

Les modèles Gemini suivants sont compatibles avec le réglage des préférences :

Cliquez pour développer la liste des modèles compatibles

Pour en savoir plus sur le réglage des préférences, consultez À propos du réglage des préférences pour les modèles Gemini.

Réglage fin par apprentissage par renforcement

Le réglage fin par apprentissage par renforcement (RLFT) adapte les modèles Gemini par le biais d'une exploration par essais et erreurs guidée par des fonctions de récompense programmatiques ou basées sur des modèles. Pendant l'entraînement, le modèle échantillonne plusieurs réponses candidates et traces de raisonnement (niveau de réflexion MINIMAL ou HIGH) pour chaque requête, les évalue à l'aide de votre configuration de récompense sur une échelle de [-1, 1] et met à jour un adaptateur LoRA efficace en termes de paramètres pour maximiser la récompense.

Contrairement à l'affinage supervisé, qui omet les jetons de raisonnement intermédiaires pendant l'entraînement, l'affinage par apprentissage par renforcement optimise directement le raisonnement en plusieurs étapes et se généralise bien avec des ensembles de données plus petits (souvent de quelques dizaines à quelques centaines de requêtes). Vous pouvez évaluer les résultats à l'aide d'une seule fonction de récompense ou d'une combinaison pondérée de 16 fonctions de récompense maximum sur quatre types de scoreurs :

  • Correspondance de chaîne : compare les sorties du modèle aux champs de vérité terrain dans le dictionnaire references de l'ensemble de données (correspondance exacte de chaîne ou JSON, avec extraction facultative d'expression régulière).
  • Évaluateur automatique basé sur Gemini : utilise une grille d'évaluation LLM-as-a-Judge pour renvoyer un score numérique ou un verdict structuré.
  • Exécution de code : exécute une fonction Python evaluate(example, response) personnalisée dans un environnement de bac à sable géré.
  • Cloud Run : envoie les réponses candidates à un point de terminaison HTTP personnalisé hébergé sur Cloud Run pour une validation spécifique au domaine.

Modèles compatibles avec l'affinage par apprentissage par renforcement

Les modèles Gemini suivants sont compatibles avec l'affinage par apprentissage par renforcement :

Cliquez pour développer la liste des modèles compatibles

Pour en savoir plus sur le réglage par apprentissage par renforcement, consultez À propos du réglage par apprentissage par renforcement.

Points de sauvegarde d'ajustement

Les points de sauvegarde d'ajustement vous permettent d'enregistrer la progression de l'ajustement, de comparer les performances des points de sauvegarde et de choisir le point de sauvegarde le plus performant, soit par époque pour l'affinage supervisé, soit par intervalle d'étapes (checkpointInterval) pour l'affinage par apprentissage par renforcement.

Modèles compatibles avec les points de sauvegarde d'ajustement

Les modèles Gemini suivants sont compatibles avec les points de sauvegarde d'ajustement :

Cliquez pour développer la liste des modèles compatibles

Pour en savoir plus sur les points de sauvegarde d'ajustement, consultez Utiliser des points de sauvegarde dans l'ajustement Gemini et État, métriques et surveillance des jobs pour l'affinage par apprentissage par renforcement.

Réglage continu

Le réglage continu vous permet de continuer à régler un modèle ou un point de contrôle de modèle déjà réglé. Vous pouvez exécuter des époques d'affinage supervisé supplémentaires sur un modèle affiné (SFT -> SFT), appliquer un affinage par apprentissage par renforcement en plus d'un point de contrôle d'affinage supervisé pour combiner un formatage strict avec un raisonnement amélioré (SFT -> RLFT), ou poursuivre l'entraînement à partir d'un point de contrôle d'apprentissage par renforcement précédent (RLFT -> RLFT).

Modèles compatibles avec le réglage continu

Les modèles Gemini suivants sont compatibles avec le réglage continu :

Cliquez pour développer la liste des modèles compatibles

Pour en savoir plus sur le réglage continu, consultez À propos du réglage continu pour les modèles Gemini et Réglage continu avec l'affinage par apprentissage par renforcement.

Étapes suivantes