À propos du réglage des préférences pour les modèles Gemini

Le réglage des préférences Gemini Enterprise Agent Platform vous permet de régler vos modèles Gemini à l'aide de données de feedback humain.

Le réglage des préférences permet au modèle d'apprendre à partir des préférences subjectives des utilisateurs, qui sont difficiles à définir à l'aide d'étiquettes spécifiques ou par le seul affinage supervisé.

L'ensemble de données d'entrée de réglage des préférences contient des exemples composés d'une requête et d'une paire de réponses indiquant laquelle est préférée et laquelle ne l'est pas. Le modèle apprend à générer des réponses préférées avec une probabilité plus élevée et des réponses non préférées avec une probabilité plus faible.

Pour savoir comment préparer l'ensemble de données, consultez Préparer les données de réglage des préférences pour les modèles Gemini.

Modèles compatibles

Les modèles Gemini suivants sont compatibles avec le réglage des préférences :

Cliquez pour développer la liste des modèles compatibles

Limites

Spécification Valeur
Modalités Texte
Taille du fichier de l'ensemble de données d'entraînement 1 Go
Nombre maximal de jetons d'entrée et de sortie par exemple d'entraînement 131 072
Nombre maximal de jetons de diffusion d'entrée et de sortie Identique au modèle Gemini de base
Nombre maximal d'exemples d'entraînement dans un ensemble de données d'entraînement 10 millions d'exemples d'entraînement textuels
Taille maximale de l'ensemble de données de validation 5 000 exemples ou 30% du nombre d'exemples d'entraînement s'il y a plus de 1 000 exemples de validation
Taille de l'adaptateur Les valeurs acceptées sont 1, 2, 4, 8 et 16.

Bonnes pratiques

Avant d'appliquer l'algorithme d'optimisation des préférences à votre modèle, nous vous recommandons vivement d'effectuer les opérations suivantes :

  1. Réglez le modèle à l'aide de l'affinage supervisé sur les données de réponse préférées. Cela apprend au modèle à générer les réponses préférées lors de l'inférence.
  2. Continuez le réglage à partir du point de contrôle produit à l'étape 1 en utilisant le réglage des préférences. Cela apprend au modèle à augmenter l'écart de probabilité entre les réponses préférées et celles qui ne le sont pas.

Pour créer l'ensemble de données d'affinage supervisé, utilisez les paires de requêtes et de réponses acceptées de votre ensemble de données de préférences comme requête et cible pour votre ensemble de données d'affinage supervisé. En général, une ou deux époques d'affinage supervisé devraient suffire, bien que cela puisse varier en fonction de la taille de l'ensemble de données et de l'alignement initial de votre ensemble de données d'entraînement avec le modèle Gemini.

Pour utiliser l'affinage supervisé afin de régler le modèle, suivez les étapes de la section Régler des modèles Gemini à l'aide de l'affinage supervisé.

Quota

Le quota est appliqué au nombre de jobs de réglage simultanés. Chaque projet est associé à un quota par défaut pour exécuter au moins un job de réglage. Il s'agit d'un quota mondial, partagé entre toutes les régions disponibles et tous les modèles compatibles. Si vous souhaitez exécuter plus de jobs simultanément, vous devez demander un quota supplémentaire pour Global concurrent tuning jobs.

Tarifs

Pour connaître les tarifs du réglage des préférences Gemini, consultez Tarifs de Gemini Enterprise Agent Platform.

Pour la tarification, le nombre de jetons pour chaque exemple de réglage est calculé en multipliant par deux le nombre de jetons de la requête, puis en ajoutant le nombre de jetons de complétion.

Étapes suivantes