Guide de démarrage rapide : affiner l'apprentissage par renforcement à l'aide de la console Google Cloud

Cette page vous guide tout au long du workflow d'affinage par apprentissage par renforcement des modèles Gemini dans la console Google Cloud  : création d'un job de réglage, vérification de son état, récupération du point de terminaison du modèle réglé et exécution de l'inférence par rapport à celui-ci. Pour effectuer ces tâches à l'aide de l'API Agent Platform, consultez le guide de démarrage rapide de l'API.

Avant de commencer, consultez À propos du réglage fin de l'apprentissage par renforcement pour obtenir une présentation de la fonctionnalité, des modèles compatibles et des régions acceptées.

Créer un job de réglage fin par apprentissage par renforcement

Pour créer un job de réglage fin par apprentissage par renforcement à l'aide de la console Google Cloud , procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Modèles > Ajustement.

    Accéder à Réglage

  2. Cliquez sur Créer un modèle réglé.

  3. Dans la section Informations sur le modèle, configurez les éléments suivants :

    1. Sous Méthode de réglage, sélectionnez Affinage par apprentissage par renforcement.
    2. Dans le champ Nom du modèle réglé, saisissez un nom pour votre modèle réglé (par exemple, my-rl-tuned-model).
    3. Sous Modèle de base, sélectionnez Régler un modèle de fondation.
    4. Dans la liste déroulante Modèle de base, sélectionnez le modèle à régler (par exemple, gemini-3.5-flash).
    5. Dans la liste déroulante Région, sélectionnez la région dans laquelle le job de réglage s'exécute (par exemple, us-central1 (Iowa)). Le modèle réglé obtenu est diffusé à partir du point de terminaison multirégional us. Pour obtenir la liste complète des régions compatibles pour l'ajustement et le service, consultez la section Modèles et régions compatibles.
    6. Facultatif : Développez Options avancées pour personnaliser les hyperparamètres :
      • Nombre d'époques : nombre d'époques d'entraînement (par exemple, 15).
      • Multiplicateur du taux d'apprentissage : multiplicateur permettant de mettre à l'échelle le taux d'apprentissage (par exemple, 1.0).
      • Taille de l'adaptateur : taille de l'adaptateur pour le réglage des paramètres (par exemple, 16).
      • Échantillons par requête : nombre de réponses candidates que le modèle génère par requête lors de l'entraînement (par exemple, 16).
      • Niveau de réflexion : niveau de réflexion des modèles de raisonnement (par exemple, HIGH).
      • Taille de lot : nombre d'exemples d'entraînement par lot (par exemple, 32).
      • Intervalle de point de contrôle : fréquence (en nombre d'étapes) à laquelle les points de contrôle intermédiaires sont enregistrés (par exemple, 5).
      • Nombre maximal de jetons de sortie : nombre maximal de jetons de sortie générés par échantillon (par exemple, 32768).
      • Intervalle d'évaluation : fréquence (en étapes) à laquelle l'évaluation est exécutée par rapport à l'ensemble de données de validation (par exemple, 5).
    7. Cliquez sur Continuer.

  4. Dans la section Configuration des récompenses, configurez une ou plusieurs fonctions de récompense pour évaluer les réponses du modèle pendant l'entraînement :

    1. Dans le champ Nom de la récompense, saisissez un nom unique pour la fonction de récompense (par exemple, my_reward_function_name). Les métriques émises dans la vue de surveillance sont précédées de ce nom.
    2. Dans la liste déroulante Type de récompense, sélectionnez le type de scoreur :
      • Récompense de correspondance de chaîne : évalue le texte généré par rapport aux références à l'aide d'une correspondance exacte ou d'expressions régulières.
      • Récompense basée sur un LLM : utilise un modèle Gemini comme évaluateur automatique pour attribuer un score aux réponses en fonction d'un prompt d'évaluation.
      • Récompense basée sur une fonction Python : exécute un code Python personnalisé dans un bac à sable sécurisé pour évaluer les réponses.
      • Récompense entièrement personnalisable avec Cloud Run : appelle un point de terminaison HTTP externe hébergé sur Cloud Run pour évaluer les réponses.

    3. Configurez les paramètres du type de récompense sélectionné. Par exemple, pour une récompense Cloud Run :

      • Dans le champ URI Cloud Run, saisissez l'URI HTTPS de votre service déployé (par exemple, https://my.cloud.run.uri).
      • Dans le champ Type d'analyse, sélectionnez IDENTITY.

      Pour une récompense de correspondance de chaîne :

      • Dans le champ Type d'analyse, sélectionnez REGEX_EXTRACT ou IDENTITY. Si vous sélectionnez REGEX_EXTRACT, saisissez l'expression régulière dans Expression d'extraction avec expression régulière (par exemple, \text{(.*)}).
      • Dans le champ Récompense pour mauvaise réponse, saisissez la pénalité pour une réponse incorrecte (par exemple, -1).
      • Dans le champ Récompense pour une bonne réponse, saisissez le score pour une bonne réponse (par exemple, 1).
      • Sous Type d'expression de correspondance de chaîne, sélectionnez Correspondance de chaîne ou Correspondance JSON.
      • Dans la liste déroulante Opération de mise en correspondance, sélectionnez la logique de mise en correspondance (par exemple, Correspondance exacte).
      • Dans le champ Expression, saisissez l'expression de référence (par exemple, references.reference).

    4. Dans le champ Pondération de la récompense, saisissez la pondération relative de cette fonction de récompense (par exemple, 1).

    5. Cliquez sur OK.

    6. Facultatif : Pour définir une récompense composite, cliquez sur + Ajouter une récompense et configurez d'autres fonctions de récompense. Vous pouvez ajouter jusqu'à 16 fonctions de récompense et attribuer une pondération relative à chacune d'elles.

    7. Cliquez sur Continuer.

  5. Dans la section Tester la récompense (facultatif), validez la configuration de votre récompense avant de lancer le job d'optimisation :

    1. Dans le champ Exemple d'entraînement, saisissez un exemple d'objet JSON contenant contents et references.
    2. Dans le champ Exemple de réponse du modèle, saisissez une réponse candidate ou cliquez sur Générer à partir de l'exemple d'entraînement pour générer un exemple de réponse à l'aide du modèle de base.
    3. Cliquez sur Test.
    4. Vérifiez que l'évaluation a réussi et examinez le score calculé. Si vous utilisez des récompenses composites, cliquez sur Afficher les informations sur les récompenses individuelles pour examiner la répartition des scores par récompense.
    5. Cliquez sur Continuer.

  6. Sous Ensemble de données d'ajustement, spécifiez les fichiers de votre ensemble de données stockés dans Cloud Storage :

    1. Dans le champ Ensemble de données d'entraînement, saisissez l'URI Cloud Storage de votre fichier JSONL d'ensemble de données d'entraînement (par exemple, gs://path/to/my/training_dataset.jsonl).
    2. Dans le champ Ensemble de données de validation, saisissez l'URI Cloud Storage du fichier JSONL de votre ensemble de données de validation (par exemple, gs://path/to/my/eval_dataset.jsonl).
    3. Cliquez sur Commencer le réglage.

Vérifier l'état du job de réglage fin par apprentissage par renforcement

Après avoir cliqué sur Démarrer le réglage, la console vous redirige vers la page Modèles > Réglage. Le tableau des jobs de réglage affiche le job que vous venez de créer en haut de la liste, avec les informations suivantes :

  • Nom du modèle : nom à afficher que vous avez spécifié pour le modèle réglé.
  • État : état actuel du job d'optimisation (par exemple, En attente, En cours d'exécution ou Réussi).
  • Méthode : Reinforcement Learning.
  • Modèle de base : modèle de fondation ou pré-réglé.
  • Région : emplacement où le job de réglage est exécuté.

Cliquez sur le nom du modèle pour ouvrir la page d'informations sur le job d'optimisation. La page comporte les onglets suivants :

  • Surveillance : affiche la progression du réglage et des graphiques de métriques interactifs :
    • Progression du réglage : indique si le job est en cours d'exécution ou terminé.
    • Graphiques combinés : lorsqu'un ensemble de données de validation est fourni, les courbes d'entraînement et de validation (telles que /train_mean_reward et /eval_mean_reward) sont représentées ensemble sur les mêmes graphiques.
    • Groupes de graphiques réductibles : les graphiques de métriques sont organisés en groupes, y compris les métriques de réglage générales (récompense moyenne, longueur des jetons de génération, longueur des jetons de réflexion, latence d'échantillonnage et latence de récompense) et les métriques par récompense précédées de ${reward_name}.
    • Annotations des points de contrôle : les points de contrôle intermédiaires enregistrés lors de l'ajustement sont annotés directement sur les graphiques le long de la chronologie de l'entraînement.
    • Barre de filtres : utilisez la barre de filtres pour rechercher des métriques par nom ou filtrer par catégorie (Show Category). Lorsqu'un filtre est appliqué, la barre de filtres reste en haut de la vue.
    • Tableau des points de contrôle : liste les points de contrôle intermédiaires enregistrés avec les numéros d'étape et les valeurs des métriques. Utilisez le sélecteur de colonnes pour choisir les colonnes à afficher.
  • Ensemble de données : affiche les détails de l'ensemble de données, des exemples de conversations et des valeurs de référence.
  • Détails : récapitule la configuration du job, y compris le modèle de base, la méthode de réglage, les hyperparamètres et les configurations de récompense. Cliquez sur Afficher les détails sur la fiche de configuration d'une récompense pour afficher les valeurs des paramètres non définis par défaut.

Pour obtenir la liste complète des métriques émises et savoir comment les interpréter, consultez la page Métriques et surveillance.

Durée d'entraînement

Le temps d'entraînement est affecté par les facteurs suivants :

Selon votre configuration, un job d'affinage de l'apprentissage par renforcement Gemini peut s'exécuter pendant des heures, voire des jours.

Obtenir le point de terminaison du modèle réglé

Une fois le job de réglage terminé (état Réussi), le point de contrôle du modèle est déployé sur un point de terminaison. Vous pouvez afficher et gérer le modèle réglé déployé directement dans la consoleGoogle Cloud  :

  1. Dans l'en-tête de la page d'informations sur le job d'ajustement, cliquez sur Afficher les détails du modèle. La page Model Registry s'ouvre et affiche des informations sur le modèle ajusté.
  2. Sur la page d'informations du modèle, recherchez l'onglet Déployer et tester pour afficher le chemin d'accès à la ressource du point de terminaison déployé (au format projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. Vous pouvez également consulter le tableau Points de contrôle dans l'onglet Surveiller de la page d'informations du job de réglage pour inspecter les points de contrôle intermédiaires. Vous pouvez déployer et évaluer des points de contrôle individuels de manière indépendante.

Si le job de réglage a été exécuté dans us-central1, le modèle réglé est diffusé à partir du point de terminaison multirégional us.

Exécuter l'inférence sur le modèle ajusté

Pour tester et exécuter l'inférence sur le modèle réglé directement dans la consoleGoogle Cloud  :

  1. Dans l'en-tête de la page d'informations sur le job d'optimisation, cliquez sur Tester.

    Agent Studio s'ouvre avec votre modèle réglé présélectionné.

  2. Dans le champ du prompt, saisissez un prompt d'entrée (par exemple, "Why is the sky blue?" ou une question de votre domaine cible).

  3. Cliquez sur Exécuter (ou Envoyer) pour générer une réponse.

  4. Examinez le résultat généré pour évaluer dans quelle mesure le modèle respecte le style de raisonnement, la mise en forme et les objectifs de récompense souhaités.

Étapes suivantes