Réglage continu pour le réglage fin par apprentissage par renforcement

Le réglage continu vous permet de continuer à régler un modèle ou un point de contrôle de modèle déjà réglé en ajoutant des époques ou des exemples d'entraînement. L'utilisation d'un modèle ou d'un point de contrôle déjà réglé comme modèle de base permet d'expérimenter le réglage plus efficacement.

Vous pouvez utiliser le réglage continu aux fins suivantes :

  • Pour effectuer un réglage avec plus de données si un modèle réglé existant est en sous-apprentissage.
  • Pour améliorer les performances ou maintenir le modèle à jour avec de nouvelles données.
  • Pour personnaliser davantage un modèle réglé existant.

Modèles de réglage continu compatibles

Les modèles de réglage continu suivants sont acceptés :

  • Affinage supervisé → Réglage fin par apprentissage par renforcement
  • Réglage fin par apprentissage par renforcement → Réglage fin par apprentissage par renforcement

Configurer le réglage continu

Vous pouvez configurer un job de réglage continu dans la console Google Cloud ou à l'aide de l'API REST.

Console

Pour configurer un job de réglage continu dans la console Google Cloud  :

  1. Dans la console Google Cloud , accédez à la page Modèles > Réglage.

    Accéder à Réglage

  2. Cliquez sur Créer un modèle réglé.
  3. Sous Méthode de réglage, sélectionnez Réglage par apprentissage par renforcement.
  4. Dans la section Modèle de base, sélectionnez Régler un modèle pré-réglé.
  5. Cliquez sur Sélectionner un modèle, choisissez le modèle que vous avez précédemment réglé, puis sélectionnez une version ou un point de contrôle à partir duquel continuer le réglage.
  6. Suivez les étapes restantes pour configurer vos fonctions de récompense, votre ensemble de données d'entraînement et vos hyperparamètres. Pour en savoir plus, consultez le guide de démarrage rapide de la consoleGoogle Cloud .

REST

Pour configurer un job de réglage continu de manière programmatique, incluez un bloc preTunedModel dans le corps de la requête qui pointe vers le modèle précédemment réglé (et, éventuellement, un point de contrôle spécifique). Le reste de la requête suit le même schéma qu'un nouveau job d'affinage par apprentissage par renforcement.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Remplacez les éléments suivants :

  • DESCRIPTION : description du job de réglage. Facultatif.
  • TUNED_MODEL_DISPLAY_NAME : nom à afficher du modèle réglé.
  • TRAINING_DATASET : URI Cloud Storage du fichier JSONL de l'ensemble de données d'entraînement.
  • VALIDATION_DATASET : URI Cloud Storage du fichier JSONL de l'ensemble de données de validation. Facultatif.
  • HYPERPARAMETERS : configuration des hyperparamètres pour le job de réglage continu. Pour en savoir plus, consultez la page Hyperparamètres.
  • REWARD_CONFIG : configuration de récompense. Pour en savoir plus, consultez la page Fonctions de récompense.
  • PROJECT_ID : ID de votre projet Google Cloud .
  • LOCATION_ID : ID de zone géographique.
  • PRETUNED_MODEL_ID : ID du modèle précédemment réglé à partir duquel continuer.
  • CHECKPOINT_ID : ID d'un point de contrôle spécifique du modèle précédemment réglé. Facultatif. S'il est omis, le dernier point de contrôle du modèle préréglé est utilisé.

Étapes suivantes