Ottimizzazione continua per l'ottimizzazione del reinforcement learning

L'ottimizzazione continua ti consente di continuare l'ottimizzazione di un modello o di un checkpoint del modello già ottimizzato aggiungendo altre epoche o altri esempi di addestramento. L'utilizzo di un modello o di un checkpoint già ottimizzato come modello di base consente una sperimentazione di ottimizzazione più efficiente.

Puoi utilizzare l'ottimizzazione continua per i seguenti scopi:

  • Per ottimizzare con più dati se un modello ottimizzato esistente è in underfitting.
  • Per migliorare le prestazioni o mantenere il modello aggiornato con nuovi dati.
  • Per personalizzare ulteriormente un modello ottimizzato esistente.

Pattern di ottimizzazione continua supportati

Sono supportati i seguenti pattern di ottimizzazione continua:

  • Fine-tuning supervisionato → Ottimizzazione del reinforcement learning
  • Ottimizzazione del reinforcement learning → Ottimizzazione del reinforcement learning

Configura l'ottimizzazione continua

Puoi configurare un job di ottimizzazione continua nella console Google Cloud o utilizzando l'API REST.

Console

Per configurare un job di ottimizzazione continua nella console Google Cloud :

  1. Nella console Google Cloud , vai alla pagina Modelli > Ottimizzazione.

    Vai ad Ottimizzazione

  2. Fai clic su Crea modello ottimizzato.
  3. In Metodo di ottimizzazione, seleziona Ottimizzazione del reinforcement learning.
  4. Nella sezione Modello di base, seleziona Ottimizza un modello pre-ottimizzato.
  5. Fai clic su Seleziona modello, scegli il modello ottimizzato in precedenza e seleziona una versione o un checkpoint da cui continuare l'ottimizzazione.
  6. Procedi con i passaggi rimanenti per configurare le funzioni di premio, il set di dati di addestramento e gli iperparametri. Per ulteriori informazioni, consulta la guida rapida per la consoleGoogle Cloud .

REST

Per configurare un job di ottimizzazione continua in modo programmatico, includi un blocco preTunedModel nel corpo della richiesta che rimandi al modello ottimizzato in precedenza (e, facoltativamente, a un checkpoint specifico). Il resto della richiesta segue lo stesso schema di un nuovo job di ottimizzazione dell'apprendimento per rinforzo.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Sostituisci quanto segue:

  • DESCRIPTION: una descrizione del job di ottimizzazione. Facoltativo.
  • TUNED_MODEL_DISPLAY_NAME: il nome visualizzato del modello ottimizzato.
  • TRAINING_DATASET: URI Cloud Storage del file JSONL del set di dati di addestramento.
  • VALIDATION_DATASET: URI Cloud Storage del file JSONL del set di dati di convalida. Facoltativo.
  • HYPERPARAMETERS: configurazione degli iperparametri per il job di ottimizzazione continua. Per maggiori dettagli, consulta la pagina Iperparametri.
  • REWARD_CONFIG: configurazione del premio. Per i dettagli, consulta la pagina Funzioni di premio.
  • PROJECT_ID: il tuo ID progetto Google Cloud .
  • LOCATION_ID: l'ID località.
  • PRETUNED_MODEL_ID: l'ID del modello ottimizzato in precedenza da cui continuare.
  • CHECKPOINT_ID: l'ID di un checkpoint specifico del modello ottimizzato in precedenza. Facoltativo; se omesso, viene utilizzato l'ultimo checkpoint del modello pre-ottimizzato.

Passaggi successivi