Ottimizzazione continua per l'ottimizzazione del reinforcement learning

L'ottimizzazione continua ti consente di continuare a ottimizzare un modello o un checkpoint del modello già ottimizzato aggiungendo altre epoche o esempi di addestramento. L'utilizzo di un modello o di un checkpoint già ottimizzato come modello di base consente di sperimentare l'ottimizzazione in modo più efficiente.

Puoi utilizzare l'ottimizzazione continua per i seguenti scopi:

  • Per eseguire l'ottimizzazione con più dati se un modello ottimizzato esistente non è adatto.
  • Per migliorare il rendimento o mantenere il modello aggiornato con nuovi dati.
  • Per personalizzare ulteriormente un modello ottimizzato esistente.

Pattern di ottimizzazione continua supportati

Sono supportati i seguenti pattern di ottimizzazione continua:

  • Fine-tuning supervisionato → Ottimizzazione del reinforcement learning
  • Ottimizzazione del reinforcement learning → Ottimizzazione del reinforcement learning

Configura l'ottimizzazione continua

Puoi configurare un job di ottimizzazione continua nella console Google Cloud o utilizzando l'API REST.

Console

Per configurare un job di ottimizzazione continua nella console Google Cloud :

  1. Nella console Google Cloud , vai alla pagina Modelli > Tuning.

    Vai a Ottimizzazione

  2. Fai clic su Crea modello ottimizzato.
  3. In Metodo di ottimizzazione, seleziona Ottimizzazione fine dell'apprendimento per rinforzo.
  4. Nella sezione Modello di base, seleziona Ottimizza un modello pre-ottimizzato.
  5. Fai clic su Seleziona modello, scegli il modello ottimizzato in precedenza e seleziona una versione o un checkpoint da cui continuare l'ottimizzazione.
  6. Continua con i passaggi rimanenti per configurare le funzioni di ricompensa, il set di dati di addestramento e gli iperparametri. Per maggiori informazioni, consulta la guida rapida per la consoleGoogle Cloud .

REST

Per configurare un job di ottimizzazione continua in modo programmatico, includi un blocco preTunedModel nel corpo della richiesta che rimanda al modello ottimizzato in precedenza (e, facoltativamente, a un checkpoint specifico). Il resto della richiesta segue lo stesso schema di un nuovo job di perfezionamento dell'apprendimento per rinforzo.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Sostituisci quanto segue:

  • DESCRIPTION: una descrizione del job di ottimizzazione. Facoltativo.
  • TUNED_MODEL_DISPLAY_NAME: il nome visualizzato per il modello ottimizzato.
  • TRAINING_DATASET: URI Cloud Storage del file JSONL del set di dati di addestramento.
  • VALIDATION_DATASET: URI Cloud Storage del file JSONL del set di dati di convalida. Facoltativo.
  • HYPERPARAMETERS: configurazione dell'iperparametro per il job di ottimizzazione continua. Per maggiori dettagli, consulta la pagina Iperparametri.
  • REWARD_CONFIG: configurazione premio. Per maggiori dettagli, consulta la pagina Funzioni di ricompensa.
  • PROJECT_ID: il tuo ID progetto Google Cloud .
  • LOCATION_ID: l'ID località.
  • PRETUNED_MODEL_ID: l'ID modello del modello ottimizzato in precedenza da cui continuare.
  • CHECKPOINT_ID: l'ID di un checkpoint specifico del modello ottimizzato in precedenza. Facoltativo: se omesso, viene utilizzato l'ultimo checkpoint del modello preaddestrato.

Passaggi successivi