Kontinuierliche Abstimmung für Reinforcement Learning-Abstimmung

Mit der kontinuierlichen Abstimmung können Sie ein bereits abgestimmtes Modell oder einen Modellprüfpunkt weiter abstimmen, indem Sie weitere Epochen oder Trainingsbeispiele hinzufügen. Wenn Sie ein bereits abgestimmtes Modell oder einen Prüfpunkt als Basismodell verwenden, können Sie effizienter mit der Abstimmung experimentieren.

Sie können die kontinuierliche Abstimmung für folgende Zwecke verwenden:

  • Abstimmung mit mehr Daten, wenn ein vorhandenes abgestimmtes Modell unterangepasst ist.
  • Um die Leistung zu steigern oder das Modell mit neuen Daten auf dem neuesten Stand zu halten.
  • Ein vorhandenes abgestimmtes Modell weiter anpassen.

Unterstützte Muster für die kontinuierliche Abstimmung

Die folgenden Muster für die kontinuierliche Abstimmung werden unterstützt:

  • Überwachte Feinabstimmung → Feinabstimmung mit Reinforcement Learning
  • Abstimmung für Reinforcement Learning → Abstimmung für Reinforcement Learning

Kontinuierliche Abstimmung konfigurieren

Sie können einen Job zur kontinuierlichen Optimierung in der Google Cloud Console oder mit der REST API konfigurieren.

Console

So konfigurieren Sie einen kontinuierlichen Abstimmungsjob in der Google Cloud Console:

  1. Rufen Sie in der Google Cloud Console die Seite Modelle > Abstimmung auf.

    Zu Abstimmung

  2. Klicken Sie auf Abgestimmtes Modell erstellen.
  3. Wählen Sie unter Abstimmungsmethode die Option Feinabstimmung mit Reinforcement Learning aus.
  4. Wählen Sie im Abschnitt Basismodell die Option Voreingestelltes Modell optimieren aus.
  5. Klicken Sie auf Modell auswählen, wählen Sie Ihr zuvor abgestimmtes Modell aus und wählen Sie eine Version oder einen Prüfpunkt aus, von dem aus die Abstimmung fortgesetzt werden soll.
  6. Führen Sie die verbleibenden Schritte aus, um Ihre Belohnungsfunktionen, Ihr Trainings-Dataset und Ihre Hyperparameter zu konfigurieren. Weitere Informationen finden Sie in der Google Cloud Console-Kurzanleitung.

REST

Wenn Sie einen kontinuierlichen Abstimmungsjob programmatisch konfigurieren möchten, fügen Sie im Anfragetext einen preTunedModel-Block ein, der auf das zuvor abgestimmte Modell (und optional auf einen bestimmten Prüfpunkt) verweist. Der Rest der Anfrage folgt demselben Schema wie ein neuer Feinabstimmungsjob für bestärkendes Lernen.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Ersetzen Sie Folgendes:

  • DESCRIPTION: eine Beschreibung des Abstimmungsjobs. Optional.
  • TUNED_MODEL_DISPLAY_NAME: Anzeigename für das abgestimmte Modell.
  • TRAINING_DATASET: Cloud Storage-URI der JSONL-Datei des Trainings-Datasets.
  • VALIDATION_DATASET: Cloud Storage-URI der JSONL-Datei des Validierungs-Datasets. Optional.
  • HYPERPARAMETERS: Hyperparameter-Konfiguration für den kontinuierlichen Abstimmungsjob. Weitere Informationen finden Sie auf der Seite Hyperparameter.
  • REWARD_CONFIG: Belohnungskonfiguration. Weitere Informationen finden Sie auf der Seite Belohnungsfunktionen.
  • PROJECT_ID: Ihre Projekt-ID in Google Cloud .
  • LOCATION_ID: die Standort-ID.
  • PRETUNED_MODEL_ID: die Modell-ID des zuvor abgestimmten Modells, mit dem fortgefahren werden soll.
  • CHECKPOINT_ID: die ID eines bestimmten Prüfpunkts des zuvor abgestimmten Modells. Optional. Wenn nicht angegeben, wird der neueste Prüfpunkt des voreingestellten Modells verwendet.

Nächste Schritte