Kurzanleitung: Reinforcement Learning-Abstimmung mit der Google Cloud Console

Auf dieser Seite wird der End-to-End-Workflow für die Feinabstimmung von Gemini-Modellen mit Reinforcement Learning in der Google Cloud -Konsole beschrieben: Erstellen eines Abstimmungsjobs, Prüfen des Status, Abrufen des Endpunkts des abgestimmten Modells und Ausführen der Inferenz. Informationen zum Ausführen dieser Aufgaben mit der Agent Platform API finden Sie in der API-Kurzanleitung.

Bevor Sie beginnen, lesen Sie den Abschnitt Feinabstimmung mit Reinforcement Learning. Dort finden Sie eine Übersicht über das Feature, die unterstützten Modelle und die unterstützten Regionen.

Abstimmungsjob für Reinforcement Learning erstellen

Führen Sie die folgenden Schritte aus, um einen Job zum Feinabstimmen von Reinforcement Learning mithilfe der Google Cloud Console zu erstellen:

  1. Rufen Sie in der Google Cloud Console die Seite Modelle > Optimierung auf.

    Zu Feinabstimmung

  2. Klicken Sie auf Abgestimmtes Modell erstellen.

  3. Konfigurieren Sie im Abschnitt Modelldetails Folgendes:

    1. Wählen Sie unter Methode zur Abstimmung die Option Abstimmung mit Reinforcement Learning aus.
    2. Geben Sie im Feld Name des abgestimmten Modells einen Namen für das abgestimmte Modell ein, z. B. my-rl-tuned-model.
    3. Wählen Sie unter Basismodell die Option Foundation Model optimieren aus.
    4. Wählen Sie in der Drop-down-Liste Basismodell das Modell aus, das Sie optimieren möchten (z. B. gemini-3.5-flash).
    5. Wählen Sie in der Drop-down-Liste Region die Region aus, in der der Optimierungsjob ausgeführt wird (z. B. us-central1 (Iowa)). Das resultierende optimierte Modell wird über den Multi-Region-Endpunkt us bereitgestellt. Eine vollständige Liste der unterstützten Regionen für das Abstimmen und Bereitstellen finden Sie im Abschnitt Unterstützte Modelle und Regionen.
    6. Optional: Maximieren Sie Erweiterte Optionen, um Hyperparameter anzupassen:
      • Anzahl der Epochen: Die Anzahl der Trainingsepochen (z. B. 15).
      • Multiplikator für Lernrate: Der Multiplikator zum Skalieren der Lernrate (z. B. 1.0).
      • Adaptergröße: Die Adaptergröße für die parameter-effiziente Optimierung (z. B. 16).
      • Beispiele pro Prompt: Die Anzahl der Antwortkandidaten, die das Modell während des Trainings pro Prompt generiert (z. B. 16).
      • Denkaufwand: Der Denkaufwand für Reasoning-Modelle (z. B. HIGH).
      • Batchgröße: Die Anzahl der Trainingsbeispiele pro Batch (z. B. 32).
      • Prüfpunktintervall: Die Häufigkeit in Schritten, mit der Zwischenprüfpunkte gespeichert werden (z. B. 5).
      • Max. Ausgabetoken: Die maximale Anzahl der Ausgabetokens, die pro Stichprobe generiert werden (z. B. 32768).
      • Bewertungsintervall: Die Häufigkeit in Schritten, mit der die Bewertung für das Validierungs-Dataset ausgeführt wird (z. B. 5).
    7. Klicken Sie auf Weiter.

  4. Konfigurieren Sie im Abschnitt Reward configuration (Konfiguration von Belohnungen) eine oder mehrere Belohnungsfunktionen, um Modellantworten während des Trainings zu bewerten:

    1. Geben Sie im Feld Name der Prämie einen eindeutigen Namen für die Prämienfunktion ein, z. B. my_reward_function_name. Ausgegebene Messwerte in der Monitoring-Ansicht haben dieses Präfix.
    2. Wählen Sie in der Drop-down-Liste Belohnungstyp den Scorer-Typ aus:
      • Belohnung für String-Abgleich: Bewertet generierten Text anhand von Referenzen mithilfe von exakten Übereinstimmungen oder regulären Ausdrücken.
      • LLM-basierte Belohnung: Verwendet ein Gemini-Modell als automatischen Bewerter, um Antworten anhand eines Bewertungs-Prompts zu bewerten.
      • Auf Python-Funktion basierende Belohnung: Führt benutzerdefinierten Python-Code in einer sicheren Sandbox aus, um Antworten zu bewerten.
      • Vollständig anpassbare Belohnung über Cloud Run: Ruft einen externen HTTP-Endpunkt auf, der in Cloud Run gehostet wird, um Antworten zu bewerten.

    3. Konfigurieren Sie die Einstellungen für den ausgewählten Belohnungstyp. Beispiel für eine Cloud Run-Prämie:

      • Geben Sie im Feld Cloud Run-URI den HTTPS-URI Ihres bereitgestellten Dienstes ein, z. B. https://my.cloud.run.uri.
      • Wählen Sie im Feld Parsertyp die Option IDENTITY aus.

      Alternativ für eine Belohnung für Stringübereinstimmung:

      • Wählen Sie im Feld Parsertyp die Option REGEX_EXTRACT oder IDENTITY aus. Wenn Sie REGEX_EXTRACT auswählen, geben Sie den regulären Ausdruck in Regex-Extraktionsausdruck ein (z. B. \text{(.*)}).
      • Geben Sie im Feld Belohnung für falsche Antwort die Strafe für eine falsche Antwort ein (z. B. -1).
      • Geben Sie im Feld Belohnung für richtige Antwort die Punktzahl für eine richtige Antwort ein (z. B. 1).
      • Wählen Sie unter Typ des Ausdrucks für String-Übereinstimmung die Option String-Übereinstimmung oder JSON-Übereinstimmung aus.
      • Wählen Sie in der Drop-down-Liste Abgleichsvorgang die Abgleichslogik aus, z. B. Exakter Abgleich.
      • Geben Sie im Feld Ausdruck den Referenzausdruck ein, z. B. references.reference.

    4. Geben Sie im Feld Gewichtung der Prämie die relative Gewichtung für diese Prämienfunktion ein (z. B. 1).

    5. Klicken Sie auf Fertig.

    6. Optional: Wenn Sie eine zusammengesetzte Prämie definieren möchten, klicken Sie auf + Weitere Prämie hinzufügen und konfigurieren Sie zusätzliche Prämienfunktionen. Sie können bis zu 16 Belohnungsfunktionen hinzufügen und jeder eine relative Gewichtung zuweisen.

    7. Klicken Sie auf Weiter.

  5. Prüfen Sie im Abschnitt Testprämie (optional) die Prämienkonfiguration, bevor Sie den Optimierungsjob starten:

    1. Geben Sie im Feld Trainingsbeispiel ein JSON-Beispielobjekt mit contents und references ein.
    2. Geben Sie im Feld Beispielantwort des Modells eine mögliche Antwort ein oder klicken Sie auf Aus Trainingsbeispiel generieren, um eine Beispielantwort mit dem Basismodell zu generieren.
    3. Klicken Sie auf Testen.
    4. Prüfen Sie, ob die Auswertung erfolgreich war, und sehen Sie sich die berechnete Punktzahl an. Wenn Sie zusammengesetzte Belohnungen verwenden, klicken Sie auf Informationen zu einzelnen Belohnungen ansehen, um die Aufschlüsselung der Punktzahlen für die einzelnen Belohnungen aufzurufen.
    5. Klicken Sie auf Weiter.

  6. Geben Sie unter Dataset für die Abstimmung Ihre in Cloud Storage gespeicherten Dataset-Dateien an:

    1. Geben Sie im Feld Trainings-Dataset den Cloud Storage-URI Ihrer JSONL-Datei für das Trainings-Dataset ein (z. B. gs://path/to/my/training_dataset.jsonl).
    2. Geben Sie im Feld Validierungs-Dataset den Cloud Storage-URI der JSONL-Datei für das Validierungs-Dataset ein (z. B. gs://path/to/my/eval_dataset.jsonl).
    3. Klicken Sie auf Abstimmung starten.

Status des Reinforcement Learning-Abstimmungsjobs prüfen

Nachdem Sie auf Feinabstimmung starten geklickt haben, werden Sie von der Console auf die Seite Modelle > Feinabstimmung weitergeleitet. In der Tabelle „Abstimmungsjobs“ wird Ihr neu erstellter Job oben in der Liste mit den folgenden Details angezeigt:

  • Modellname: Der Anzeigename, den Sie für das abgestimmte Modell angegeben haben.
  • Status: Der aktuelle Status des Optimierungsjobs, z. B. Ausstehend, Wird ausgeführt oder Erfolgreich.
  • Methode: Reinforcement Learning.
  • Basismodell: Das Foundation Model oder das vortrainierte Modell.
  • Region: Der Standort, an dem der Abstimmungsjob ausgeführt wird.

Klicken Sie auf den Modellnamen, um die Detailseite des Abstimmungsjobs zu öffnen. Auf der Seite finden Sie die folgenden Tabs:

  • Monitor: Zeigt den Fortschritt der Abstimmung und interaktive Messwertdiagramme an:
    • Abstimmungsfortschritt: Hier sehen Sie, ob der Job ausgeführt wird oder abgeschlossen ist.
    • Kombinierte Diagramme: Wenn ein Validierungs-Dataset bereitgestellt wird, werden Trainings- und Validierungskurven (z. B. /train_mean_reward und /eval_mean_reward) in denselben Diagrammen dargestellt.
    • Minimierbare Diagrammgruppen: Messwertdiagramme sind in Gruppen unterteilt, darunter allgemeine Optimierungsmesswerte (durchschnittliche Belohnung, Länge des generierten Tokens, Länge des Denk-Tokens, Sampling-Latenz und Belohnungslatenz) und Messwerte pro Belohnung mit dem Präfix ${reward_name}.
    • Checkpoint-Anmerkungen: Zwischen-Checkpoints, die während des Tunings gespeichert werden, werden direkt in den Diagrammen entlang der Trainingszeitachse mit Anmerkungen versehen.
    • Filterleiste: Mit der Filterleiste können Sie Messwerte nach Namen suchen oder nach Kategorie filtern (Show Category). Wenn Sie filtern, bleibt die Filterleiste oben in der Ansicht fixiert.
    • Tabelle „Prüfpunkte“: Hier werden gespeicherte Zwischenprüfpunkte mit Schrittnummern und Messwertwerten aufgeführt. Mit der Spaltenauswahl können Sie festlegen, welche Spalten angezeigt werden.
  • Dataset (Dataset): Hier werden Dataset-Details, Beispielkonversationen und Referenzwerte angezeigt.
  • Details: Hier wird die Jobkonfiguration zusammengefasst, einschließlich des Basismodells, der Abstimmungsmethode, der Hyperparameter und der Belohnungskonfigurationen. Klicken Sie auf einer Karte für die Prämienkonfiguration auf Details ansehen, um die Parameterwerte anzuzeigen, die nicht den Standardwerten entsprechen.

Eine vollständige Liste der ausgegebenen Messwerte und Informationen zur Interpretation finden Sie auf der Seite Messwerte und Monitoring.

Trainingszeit

Die Trainingszeit wird von den folgenden Faktoren beeinflusst:

Je nach Einrichtung kann ein Job zum Fine-Tuning von Gemini mit Reinforcement Learning Stunden bis Tage dauern.

Endpunkt des feinabgestimmten Modells abrufen

Nachdem der Abstimmungsjob den Status Succeeded erreicht hat, wird der Modellprüfpunkt auf einem Endpunkt bereitgestellt. Sie können das bereitgestellte optimierte Modell direkt in derGoogle Cloud Console aufrufen und verwalten:

  1. Klicken Sie in der Kopfzeile der Detailseite des Tuning-Jobs auf Modelldetails ansehen. Die Seite Model Registry wird mit Details zum abgestimmten Modell geöffnet.
  2. Suchen Sie auf der Seite mit den Modelldetails nach dem Tab Bereitstellen und testen, um den bereitgestellten Endpunktressourcenpfad im Format projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID} aufzurufen.
  3. Alternativ können Sie auf der Detailseite des Abstimmungsjobs auf dem Tab Monitor (Überwachen) die Tabelle Checkpoints (Prüfpunkte) aufrufen, um Zwischenprüfpunkte zu prüfen. Sie können einzelne Checkpoints unabhängig voneinander bereitstellen und auswerten.

Wenn der Abstimmungsjob in us-central1 ausgeführt wurde, wird das abgestimmte Modell über den multiregionalen Endpunkt us bereitgestellt.

Inferenz für das abgestimmte Modell ausführen

Sie können das abgestimmte Modell direkt in derGoogle Cloud Console testen und Inferenz darauf ausführen. Gehen Sie dazu so vor:

  1. Klicken Sie im Header der Detailseite des Tuning-Jobs auf Testen.

    Agent Studio wird geöffnet und Ihr abgestimmtes Modell ist bereits ausgewählt.

  2. Geben Sie im Prompt-Feld einen Eingabe-Prompt ein, z. B. "Why is the sky blue?" oder eine Frage aus Ihrer Zieldomäne.

  3. Klicken Sie auf Ausführen (oder Senden), um eine Antwort zu generieren.

  4. Prüfen Sie die generierte Ausgabe, um zu bewerten, wie gut das Modell Ihren gewünschten Stil, die Formatierung und die Belohnungsziele berücksichtigt.

Nächste Schritte