Reinforcement Learning ist eine leistungsstarke Technik, um Large Language Models (LLMs) so anzupassen, dass die Feedback-Belohnungen einer benutzerdefinierten Belohnungsfunktion maximiert werden. Das Modell untersucht viele mögliche Antworten, beobachtet für jede eine numerische Belohnung und passt sein Verhalten schrittweise an, sodass Antworten mit hoher Belohnung wahrscheinlicher und Antworten mit niedriger Belohnung unwahrscheinlicher werden. Dieser Ansatz eignet sich besonders für Szenarien, die mehrstufige Problemlösung, komplexe Entscheidungsfindung oder das Verständnis subtiler Nuancen in Prompts erfordern.
Mit der Feinabstimmung durch Reinforcement Learning für Gemini können Sie Gemini mithilfe Ihrer eigenen Prompts und selbst definierten Belohnungsfunktionen optimieren. Sie können damit die Reasoning-Fähigkeit und die Ausgabequalität von Gemini-Modellen für Ihre eigenen Anwendungsfälle und agentischen Workflows verbessern.
Funktionsweise
Die Abstimmung für Reinforcement Learning erfolgt iterativ, um das Verhalten des LLM zu verfeinern. In jeder Iteration generiert das Modell Antworten auf eine Reihe von Prompts. Diese Antworten werden dann von einer benutzerdefinierten Belohnungsfunktion bewertet, die die Qualität der generierten Ausgabe anhand Ihrer Zielkriterien quantifiziert. Der Dienst verwendet dieses Belohnungssignal, um die Parameter des Modells mithilfe von Algorithmen für das bestärkende Lernen zu aktualisieren und so Verhaltensweisen zu fördern, die zu höheren Belohnungen führen. Durch diesen iterativen Prozess aus Generierung, Bewertung und Parameteraktualisierungen wird das Modell an Ihre spezifischen Anwendungsfälle angepasst.
Das folgende Diagramm zeigt den gesamten Workflow für die Feinabstimmung mit Reinforcement Learning:
Wichtige Features
Die Feinabstimmung für Reinforcement Learning umfasst die folgenden wichtigen Funktionen:
Anpassbare Belohnungsfunktionen: Sie können eigene Belohnungsfunktionen definieren, um die Optimierung für eine Vielzahl von benutzerdefinierten Anwendungsfällen zu ermöglichen und das Verhalten des Modells auf bestimmte Ziele abzustimmen. Weitere Informationen zu den unterstützten Belohnungstypen finden Sie auf der Seite Belohnungsfunktionen.
Adapter für effiziente Abstimmung: Bei der Feinabstimmung für Reinforcement Learning werden Adapter verwendet, die eine effektive Anpassung ermöglichen, während die vorhandene Bereitstellungsinfrastruktur wiederverwendet wird.
Mehrere Denkebenen: Der Dienst unterstützt die Optimierung auf zwei Denkebenen,
MINIMALundHIGH(dynamisches Denken). So können Sie den Ansatz wählen, der am besten zu Ihren Optimierungszielen und den gewünschten Mustern für die Antwortgenerierung passt. Weitere Informationen finden Sie auf der Seite Hyperparameter.Kontinuierliche Abstimmung: Ein zuvor abgestimmtes Modell durch zusätzliche Trainingsbeispiele oder Epochen weiter verfeinern. Wenn Sie ein vorhandenes abgestimmtes Modell oder einen Prüfpunkt als Grundlage verwenden, können Sie die Abstimmung effizienter testen. Weitere Informationen finden Sie auf der Seite Kontinuierliche Optimierung.
Multimodale Datasets: Unterstützt Text-, Bild-, Video- (nur Gemini 3.5 Flash) und Audiodatenmodalitäten.
Wann sollte die Feinabstimmung für Reinforcement Learning verwendet werden?
Die Feinabstimmung mit Reinforcement Learning wird für die Feinabstimmung von LLMs in Situationen bevorzugt, in denen optimale Strategien durch überwachtes Lernen nicht offensichtlich sind. Dazu gehören Aufgaben, bei denen das Ziel darin besteht, bestimmte Messwerte ohne leicht verfügbare Ground-Truth-Labels zu optimieren, bei denen die Abstimmung mit menschlichen Präferenzen entscheidend ist (und eine Bewertungsmethode existiert) und für Aufgaben mit hohem Argumentationsaufwand, die von iterativer Verbesserung und Exploration profitieren.
Im Folgenden finden Sie einige Szenarien, in denen die Feinabstimmung mit Reinforcement Learning bevorzugt wird:
Befolgen komplexer Anweisungen: Wenn das Modell komplexe Anweisungen befolgen muss, bei denen die „richtige“ Ausgabe nicht eine einzelne Antwort ist, sondern eine Reihe von Prüfungen erfordert. Durch Reinforcement Learning kann das Modell angepasst werden, um diese komplexen Befehlssätze zu verarbeiten.
Generierung kreativer Inhalte: Für Aufgaben wie das Erstellen von kreativen Texten, Gedichten oder hochspezialisiertem Code, bei denen objektive Messwerte schwer zu definieren sind. Bestärkendes Lernen mit einer gut konzipierten Belohnungsfunktion (potenziell mit menschlichem Feedback oder Expertenbewertung) kann das Modell zu effektiveren und innovativeren Ausgaben führen.
Schlussfolgerungsaufgaben: Bei Aufgaben, die ein hohes Maß an Schlussfolgerung erfordern, z. B. beim Lösen von Worträtseln oder mathematischen Problemen, kann das Modell durch Reinforcement Learning dazu angeregt werden, verschiedene Schlussfolgerungssequenzen zu untersuchen, um herauszufinden, welche Muster am effektivsten zur Lösung von Problemen sind.
Unterstützte Modelle und Regionen
Die folgenden Gemini-Modelle unterstützen die Feinabstimmung mit Reinforcement Learning:
Gemini 3.5 Flash
| Spezifikation | Wert |
|---|---|
| Unterstützte Endpunkte für die Modellabstimmung |
|
| Unterstützte Endpunkte für die Bereitstellung abgestimmter Modelle |
|
| API-Version | Nur v1beta1 |
Gemini 3.1 Flash Lite
| Spezifikation | Wert |
|---|---|
| Unterstützte Endpunkte für die Modellabstimmung |
|
| Unterstützte Endpunkte für die Bereitstellung abgestimmter Modelle |
|
| API-Version | Nur v1beta1 |
Unterstützte Abstimmungsmodalitäten
Die Feinabstimmung mit Reinforcement Learning unterstützt die folgenden Datenmodalitäten in Ihren Abstimmungs-Datasets:
- Text
- Audio
- Bild
- Video (nur für Gemini 3.5 Flash unterstützt)
Informationen zu den Dataset-Limits pro Modalität (z. B. maximale Anzahl von Dateien pro Prompt, maximale Dateigröße und maximale Gesamtlänge) finden Sie auf der Seite Dataset optimieren.
Kontinuierliche Feinabstimmung
Sie können die Ausgabe eines vorherigen Abstimmungsjobs als Grundlage für einen neuen Feinabstimmungsjob für das Reinforcement Learning verwenden. Die folgenden Muster für die kontinuierliche Abstimmung werden unterstützt:
- Überwachte Feinabstimmung → Feinabstimmung mit Reinforcement Learning
- Abstimmung für Reinforcement Learning → Abstimmung für Reinforcement Learning
Weitere Informationen zur Konfiguration finden Sie auf der Seite Kontinuierliche Optimierung.
Abgestimmtes Modell bereitstellen
Nach einem erfolgreichen Feinabstimmungsjob mit Reinforcement Learning für das Gemini-Basismodell wird ein abgestimmtes Modell basierend auf dem letzten Prüfpunkt auf einem Endpunkt in Ihrem Projekt bereitgestellt. Abgestimmte Modelle verwenden dieselbe Strategie für den Bereitstellungsendpunkt wie das Basismodell. Wenn Sie beispielsweise einen Abstimmungsjob in us-central1 ausführen, wird das abgestimmte Modell auf einem multiregionalen Endpunkt (mREP) in us bereitgestellt.
Informationen zum Abrufen des bereitgestellten Endpunkts des optimierten Modells in der Google Cloud Console oder mithilfe der API und zum Ausführen von Inferenzen finden Sie in der Kurzanleitung für dieGoogle Cloud Console oder in der Kurzanleitung für die API.
Preise
Preise für die Abstimmung
Bei der Feinabstimmung für Reinforcement Learning für Gemini werden Tokens in zwei Phasen generiert: einer Stichprobenphase und einer Trainingsphase. Tokens, die während der Trainingsphase generiert werden, werden gemäß dem Abschnitt „Modellabstimmung“ auf der Seite Preise für die Gemini Enterprise Agent Platform abgerechnet.
Inferenzpreise
Nach der Abstimmung fallen aber Inferenzkosten (Vorhersageanfrage) für das abgestimmte Modell an. Bei Gemini 3 und höheren Modellen beträgt der Preis für Vorhersagen am Endpunkt des abgestimmten Modells das 1, 5-Fache des Preises für das Basismodell. Weitere Informationen finden Sie unter Verfügbare stabile Gemini-Modellversionen.
Wenn Sie den Gen AI Evaluation Service so konfigurieren, dass er während der Abstimmung automatisch ausgeführt wird, werden die Bewertungen als Batch-Vorhersagejobs in Rechnung gestellt. Weitere Informationen finden Sie im Abschnitt „Modellabstimmung“ auf der Seite Preise für die Agent Platform.
Nächste Schritte
- Folgen Sie der Google Cloud Console-Kurzanleitung oder der API-Kurzanleitung, um Ihren ersten Feinabstimmungsjob für das Reinforcement Learning zu erstellen.
- Abstimmungs-Dataset vorbereiten und Belohnungsfunktionen konfigurieren
- Informationen zum Bereitstellen eines abgestimmten Gemini-Modells