Gemini-Modelle mit Präferenzabstimmung optimieren

In diesem Dokument wird beschrieben, wie Sie die Einstellungen eines Gemini-Modells optimieren.

Hinweise

Bevor Sie beginnen, müssen Sie ein Dataset vorbereiten. Folgen Sie dazu der Anleitung unter Daten für die Abstimmung von Gemini-Modellen auf Präferenzen vorbereiten.

Abstimmungsjob erstellen

Console

So konfigurieren Sie die Abstimmung von Einstellungen über die Google Cloud Console:

  1. Rufen Sie im Bereich „Vertex AI“ der Google Cloud Console die Seite Vertex AI Studio auf.

    Zu Vertex AI Studio

  2. Klicken Sie auf Abgestimmtes Modell erstellen.

  3. Wählen Sie Einstellung anpassen aus.

  4. Konfigurieren Sie unter Modelldetails Folgendes:

    1. Geben Sie im Feld Name des abgestimmten Modells einen Namen für das neue abgestimmte Modell ein, der maximal 128 Zeichen umfasst.
    2. Wählen Sie im Feld Basismodell das Foundation Model aus, das Sie abstimmen möchten.
    3. Wählen Sie im Drop-down-Feld Region die Region aus, in der der Pipeline-Optimierungsjob ausgeführt und in der das optimierte Modell bereitgestellt wird.

  5. Konfigurieren Sie unter Tuning-Einstellung Folgendes:

    1. Geben Sie im Feld Anzahl der Epochen die Anzahl der Schritte ein, die zur Modellabstimmung ausgeführt werden sollen.
    2. Geben Sie im Feld Adaptergröße die Adaptergröße ein, die für die Modelloptimierung verwendet werden soll.
    3. Optional: Geben Sie im Feld Beta den gewünschten Betawert ein. Beta ist der Koeffizient, der steuert, wie genau das abgestimmte Modell mit seiner Baseline übereinstimmt.
    4. Geben Sie im Feld Multiplikator für die Lernrate die Schrittgröße pro Durchlauf ein. Der Standardwert ist 1. .

  6. Optional: Wenn Sie Zwischenprüfpunkte deaktivieren und nur den letzten Prüfpunkt verwenden möchten, klicken Sie auf den Schalter Nur letzten Prüfpunkt exportieren.

  7. Klicken Sie auf Weiter.

    Die Seite Abstimmungs-Dataset wird geöffnet.

  8. Wählen Sie eine der folgenden Optionen aus, um eine Dataset-Datei hochzuladen:

    1. Wenn Sie noch kein Dataset hochgeladen haben, wählen Sie das Optionsfeld für Datei in Cloud Storage hochladen aus.
    2. Klicken Sie im Feld JSONL-Datei auswählen auf Durchsuchen und wählen Sie die Dataset-Datei aus.
    3. Klicken Sie im Feld Dataset-Speicherort auf Durchsuchen und wählen Sie den Cloud Storage-Bucket, in dem Sie die Dataset-Datei speichern möchten.
    4. Wenn sich die Dataset-Datei bereits in einem Cloud Storage-Bucket befindet, wählen Sie das Optionsfeld für Vorhandene Datei in Cloud Storage aus.
    5. Klicken Sie im Feld Cloud Storage-Dateipfad auf Durchsuchen und wählen Sie den Cloud Storage-Bucket, in dem sich Ihre Dataset-Datei befindet.

  9. Optional: Wenn Sie während des Trainings Validierungsmesswerte erhalten möchten, klicken Sie auf die Ein/Aus-Schaltfläche Modellvalidierung aktivieren.

    1. Geben Sie in der Datei Validierungs-Dataset den Cloud Storage-Pfad Ihres Validierungs-Datasets ein.

  10. Klicken Sie auf Abstimmung starten.

    Ihr neues Modell wird auf der Seite Feinabstimmung und Destillieren im Bereich Verwaltete Feinabstimmung angezeigt. Wenn die Abstimmung des Modells abgeschlossen ist, lautet der Status Erfolgreich.

REST

Senden Sie zum Erstellen eines Modellabstimmungsjobs eine POST-Anfrage mit der Methode tuningJobs.create. Einige Parameter werden nicht von allen Modellen unterstützt. Achten Sie darauf, dass Sie nur die für das abzustimmende Modell relevanten Parameter einfügen.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ihre Projekt-ID.
  • TUNING_JOB_REGION: Die Region, in der der Abstimmungsjob ausgeführt wird. Dies ist auch die Standardregion, in der das abgestimmte Modell hochgeladen wird.
  • BASE_MODEL: Name des zu optimierenden Foundation Models.
  • TRAINING_DATASET_URI: Cloud Storage-URI Ihres Trainingsdatensatzes. Das Dataset muss als JSONL-Datei formatiert sein. Die besten Ergebnisse erzielen Sie, wenn Sie mindestens 100 bis 500 Beispiele angeben. Weitere Informationen finden Sie unter Überwachte Abstimmungs-Datasets.
  • VALIDATION_DATASET_URIOptional: Der Cloud Storage-URI der Validierungs-Dataset-Datei.
  • EPOCH_COUNTOptional: Die Anzahl der vollständigen Durchläufe des gesamten Trainings-Datasets durch das Modell während des Trainings. Lassen Sie das Feld leer, um den voreingestellten empfohlenen Wert zu verwenden.
  • BETAOptional: Der Koeffizient, der steuert, wie genau das abgestimmte Modell mit seiner Baseline übereinstimmt.
  • ADAPTER_SIZEOptional: Die Adaptergröße, die für den Optimierungsjob verwendet werden soll. Die Adaptergröße wirkt sich auf die Anzahl der trainierbaren Parameter für den Optimierungsjob aus. Eine größere Adaptergröße bedeutet, dass das Modell komplexere Aufgaben lernen kann. Es erfordert jedoch einen größeren Trainingsdatensatz und längere Trainingszeiten.
  • LEARNING_RATE_MULTIPLIER: Optional: Ein Multiplikator, der auf die empfohlene Lernrate anzuwenden ist. Legen Sie das Feld nicht fest, um den empfohlenen Wert verwenden zu lassen.
  • EXPORT_LAST_CHECKPOINT_ONLYOptional: Auf true setzen, um nur den letzten Prüfpunkt zu verwenden.
  • TUNED_MODEL_DISPLAYNAMEOptional: Ein Anzeigename für das abgestimmte Modell. Wenn nicht festgelegt, wird ein zufälliger Name generiert.
  • KMS_KEY_NAME Optional: Die Cloud KMS-Ressourcen-ID des vom Kunden verwalteten Verschlüsselungsschlüssels, der zum Schutz einer Ressource verwendet wird. Der Schlüssel hat das Format projects/my-project/locations/my-region/keyRings/my-kr/cryptoKeys/my-key. Der Schlüssel muss sich in derselben Region befinden, in der die Compute-Ressource erstellt wird. Weitere Informationen finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK).
  • SERVICE_ACCOUNTOptional: Das Dienstkonto, unter dem die TuningJob-Arbeitslast ausgeführt wird. Wenn nicht angegeben, wird der Vertex AI Secure Fine-Tuning-Dienst-Agent im Projekt verwendet. Weitere Informationen finden Sie unter Abstimmungsdienst-Agent. Wenn Sie ein vom Kunden verwaltetes Dienstkonto verwenden möchten, müssen Sie dem Dienstkonto die Rolle roles/aiplatform.tuningServiceAgent zuweisen. Weisen Sie dem vom Kunden verwalteten Dienstkonto auch die Rolle Tuning Service Agent roles/iam.serviceAccountTokenCreator zu.

HTTP-Methode und URL: 

POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

JSON-Text anfordern:

{
  "baseModel": "BASE_MODEL",
  "preferenceOptimizationSpec" : {
      "trainingDatasetUri": "TRAINING_DATASET_URI",
      "validationDatasetUri": "VALIDATION_DATASET_URI",
      "hyperParameters": {
          "epochCount": "EPOCH_COUNT",
          "beta": "BETA",
          "adapterSize": "ADAPTER_SIZE",
          "learningRateMultiplier": "LEARNING_RATE_MULTIPLIER"
      },
      "exportLastCheckpointOnly": EXPORT_LAST_CHECKPOINT_ONLY,
  },
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME",
  "encryptionSpec": {
    "kmsKeyName": "KMS_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT"
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Beispiel: cURL-Befehls

PROJECT_ID=myproject
LOCATION=global
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/tuningJobs" \
-d \
$'{
   "baseModel": "${BASE_MODEL}",
   "preferenceOptimizationSpec" : {
      "trainingDatasetUri": "gs://mybucket/preference_tuning/data/train_data.jsonl",
      "validationDatasetUri": "gs://mybucket/preference_tuning/data/validation_data.jsonl"
   },
   "tunedModelDisplayName": "tuned_gemini"
}'

Hyperparameter abstimmen

Wir empfehlen, den ersten Abstimmungsjob ohne Änderungen an den Hyperparametern zu senden. Der Standardwert ist der empfohlene Wert, der auf unseren Benchmarking-Ergebnissen basiert und die beste Qualität der Modellausgabe ermöglicht.

  • Epochen: Die Anzahl der vollständigen Durchläufe des gesamten Trainings-Datasets durch das Modell während des Trainings. Vertex AI passt den Standardwert automatisch an die Größe Ihres Trainings-Datasets an. Dieser Wert basiert auf Benchmarking-Ergebnissen, um die Qualität der Modellausgabe zu optimieren.
  • Beta: Der Koeffizient, der steuert, wie genau das abgestimmte Modell mit seiner Baseline übereinstimmt. Ein niedrigerer Beta-Wert bedeutet aggressivere Updates in Richtung bevorzugter Antworten. Der empfohlene Bereich liegt zwischen 0,01 und 0,5 (einschließlich). Bei einem Beta-Wert von 0 lernt das Modell nicht.
  • Adaptergröße: Die Adaptergröße, die für den Optimierungsjob verwendet werden soll. Die Adaptergröße wirkt sich auf die Anzahl der trainierbaren Parameter für den Optimierungsjob aus. Eine größere Adaptergröße bedeutet, dass das Modell komplexere Aufgaben lernen kann. Es erfordert jedoch einen größeren Trainingsdatensatz und längere Trainingszeiten.
  • Lernraten-Multiplikator: Ein Multiplikator, der auf die empfohlene Lernrate angewendet werden soll. Sie können den Wert erhöhen, um die Konvergenz zu beschleunigen, oder verringern, um eine Überanpassung zu vermeiden.

Abstimmungsjob ansehen oder abbrechen

Informationen zum Auflisten von Abstimmungsjobs, zum Aufrufen von Details zu Abstimmungsjobs, zum Abbrechen von Abstimmungsjobs oder zum Löschen eines abgestimmten Modells finden Sie in den folgenden Abschnitten der Dokumentation zum überwachten Fine-Tuning:

Messwerte für die Modellabstimmung

Im Modellabstimmungsjob werden automatisch die folgenden Abstimmungsmesswerte erfasst:

  • /preference_optimization_train_loss: Verlust für das Abstimmungs-Dataset in einem Trainingsschritt.

Modellvalidierungsmesswerte

Wenn Validierungsdaten bereitgestellt werden, werden im Modellabstimmungsjob automatisch die folgenden Validierungsmesswerte erfasst:

  • /eval_total_loss: Verlust für das Validierungs-Dataset in einem Validierungsschritt.

Die Messwertvisualisierungen sind verfügbar, sobald der Abstimmungsjob ausgeführt wird. Sie werden in Echtzeit aktualisiert, während die Optimierung fortschreitet. Wenn Sie beim Erstellen des Abstimmungsjobs kein Validierungs-Dataset angeben, sind nur die Visualisierungen für die Abstimmungsmesswerte verfügbar.

Nächste Schritte