Réglage continu pour le réglage fin par apprentissage par renforcement

Le réglage continu vous permet de continuer à régler un modèle ou un point de contrôle de modèle déjà réglé en ajoutant des époques ou des exemples d'entraînement. L'utilisation d'un modèle ou d'un point de contrôle déjà ajusté comme modèle de base permet d'expérimenter l'ajustement de manière plus efficace.

Vous pouvez utiliser le réglage continu pour les raisons suivantes :

  • Ajuster avec plus de données si un modèle ajusté existant est en sous-apprentissage.
  • Pour améliorer les performances ou maintenir le modèle à jour avec de nouvelles données.
  • Pour personnaliser davantage un modèle réglé existant.

Schémas de réglage continu acceptés

Les schémas de réglage continu suivants sont acceptés :

  • Affinage supervisé → Affinage par apprentissage par renforcement
  • Réglage fin par apprentissage par renforcement → Réglage fin par apprentissage par renforcement

Configurer l'optimisation continue

Vous pouvez configurer un job de réglage continu dans la console Google Cloud ou à l'aide de l'API REST.

Console

Pour configurer un job de réglage continu dans la console Google Cloud  :

  1. Dans la console Google Cloud , accédez à la page Modèles > Ajustement.

    Accéder à Réglage

  2. Cliquez sur Créer un modèle réglé.
  3. Sous Méthode de réglage, sélectionnez Réglage fin de l'apprentissage par renforcement.
  4. Dans la section Modèle de base, sélectionnez Régler un modèle pré-réglé.
  5. Cliquez sur Sélectionner un modèle, choisissez le modèle que vous avez réglé précédemment, puis sélectionnez une version ou un point de contrôle à partir duquel poursuivre le réglage.
  6. Suivez les étapes restantes pour configurer vos fonctions de récompense, votre ensemble de données d'entraînement et vos hyperparamètres. Pour en savoir plus, consultez le guide de démarrage rapide de la consoleGoogle Cloud .

REST

Pour configurer un job de réglage continu de manière programmatique, incluez un bloc preTunedModel dans le corps de la requête qui pointe vers le modèle précédemment réglé (et, éventuellement, un point de contrôle spécifique). Le reste de la requête suit le même schéma qu'un nouveau job d'affinage par apprentissage par renforcement.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Remplacez les éléments suivants :

  • DESCRIPTION : description du job de réglage. Facultatif.
  • TUNED_MODEL_DISPLAY_NAME : nom à afficher du modèle réglé.
  • TRAINING_DATASET : URI Cloud Storage du fichier JSONL de l'ensemble de données d'entraînement.
  • VALIDATION_DATASET : URI Cloud Storage du fichier JSONL de l'ensemble de données de validation. Facultatif.
  • HYPERPARAMETERS : configuration des hyperparamètres pour le job de réglage continu. Pour en savoir plus, consultez la page Hyperparamètres.
  • REWARD_CONFIG : configuration de la récompense. Pour en savoir plus, consultez la page Fonctions de récompense.
  • PROJECT_ID : ID de votre projet Google Cloud .
  • LOCATION_ID : ID de zone géographique.
  • PRETUNED_MODEL_ID : ID du modèle précédemment réglé à partir duquel continuer.
  • CHECKPOINT_ID : ID d'un point de contrôle spécifique du modèle réglé précédemment. Facultatif : si cette valeur est omise, le dernier point de contrôle du modèle préentraîné est utilisé.

Étapes suivantes