Kontinuierliche Abstimmung für Reinforcement Learning-Abstimmung

Mit dem kontinuierlichen Tuning können Sie ein bereits abgestimmtes Modell oder einen Modell-Checkpoint weiter abstimmen, indem Sie weitere Epochen oder Trainingsbeispiele hinzufügen. Wenn Sie ein bereits abgestimmtes Modell oder einen Checkpoint als Basismodell verwenden, können Sie effizienter experimentieren.

Sie können das kontinuierliche Tuning für die folgenden Zwecke verwenden:

  • Ein vorhandenes abgestimmtes Modell mit mehr Daten abstimmen, wenn es unterangepasst ist.
  • Um die Leistung zu steigern oder das Modell mit neuen Daten auf dem neuesten Stand zu halten.
  • Ein vorhandenes optimiertes Modell weiter anpassen.

Unterstützte Muster für die kontinuierliche Abstimmung

Die folgenden Muster für die kontinuierliche Abstimmung werden unterstützt:

  • Überwachte Feinabstimmung → Abstimmung für Reinforcement Learning
  • Reinforcement Learning-Abstimmung → Reinforcement Learning-Abstimmung

Kontinuierliches Optimieren konfigurieren

Sie können einen Job zur kontinuierlichen Optimierung in der Google Cloud -Console oder über die REST API konfigurieren.

Console

So konfigurieren Sie einen kontinuierlichen Abstimmungsjob in der Google Cloud -Konsole:

  1. Rufen Sie in der Google Cloud Console die Seite Modelle > Optimierung auf.

    Zu Feinabstimmung

  2. Klicken Sie auf Abgestimmtes Modell erstellen.
  3. Wählen Sie unter Methode zur Abstimmung die Option Feinabstimmung mit Reinforcement Learning aus.
  4. Wählen Sie im Abschnitt Basismodell die Option Ein bereits abgestimmtes Modell abstimmen aus.
  5. Klicken Sie auf Modell auswählen, wählen Sie Ihr zuvor abgestimmtes Modell aus und wählen Sie eine Version oder einen Prüfpunkt aus, mit dem Sie die Abstimmung fortsetzen möchten.
  6. Fahren Sie mit den verbleibenden Schritten fort, um Ihre Belohnungsfunktionen, das Trainingsdataset und die Hyperparameter zu konfigurieren. Weitere Informationen finden Sie in der Google Cloud Console-Kurzanleitung.

REST

Wenn Sie einen kontinuierlichen Abstimmungsjob programmatisch konfigurieren möchten, fügen Sie dem Anfragetext einen preTunedModel-Block hinzu, der auf das zuvor abgestimmte Modell (und optional auf einen bestimmten Prüfpunkt) verweist. Der Rest der Anfrage folgt demselben Schema wie ein neuer Job zum Feinabstimmen von Reinforcement Learning.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Ersetzen Sie Folgendes:

  • DESCRIPTION: eine Beschreibung des Abstimmungsjobs. Optional.
  • TUNED_MODEL_DISPLAY_NAME: Anzeigename für das optimierte Modell.
  • TRAINING_DATASET: Cloud Storage-URI der JSONL-Datei des Trainingsdatensatzes.
  • VALIDATION_DATASET: Cloud Storage-URI der JSONL-Datei des Validierungs-Datasets. Optional.
  • HYPERPARAMETERS: Hyperparameterkonfiguration für den kontinuierlichen Abstimmungsjob. Weitere Informationen finden Sie auf der Seite Hyperparameter.
  • REWARD_CONFIG: Belohnungskonfiguration. Weitere Informationen finden Sie auf der Seite Belohnungsfunktionen.
  • PROJECT_ID: Ihre Google Cloud Projekt-ID.
  • LOCATION_ID: die Standort-ID.
  • PRETUNED_MODEL_ID: Die Modell-ID des zuvor optimierten Modells, mit dem fortgefahren werden soll.
  • CHECKPOINT_ID: Die ID eines bestimmten Prüfpunkts des zuvor optimierten Modells. Optional: Wenn diese Option ausgelassen wird, wird der letzte Prüfpunkt des vortrainierten Modells verwendet.

Nächste Schritte