Die Modellabstimmung ist ein wichtiger Prozess bei der Anpassung von Gemini, um bestimmte Aufgaben mit höherer Precision und Accuracy auszuführen. Bei der Modellabstimmung wird einem Modell ein Trainings-Dataset bereitgestellt, das eine Reihe von Beispielen für bestimmte nachgelagerte Aufgaben enthält.
Diese Seite bietet einen Überblick über die Modellabstimmung für Gemini, beschreibt die für Gemini verfügbaren Abstimmungsoptionen und hilft Ihnen dabei, festzustellen, wann die einzelnen Abstimmungsoptionen verwendet werden sollten.
Vorteile der Modellabstimmung
Die Modellabstimmung ist eine effektive Möglichkeit, große Modelle an Ihre Aufgaben anzupassen. Dies ist ein wichtiger Schritt, um die Qualität und Effizienz des Modells zu verbessern. Die Modellabstimmung bietet folgende Vorteile:
- Höhere Qualität für Ihre spezifischen Aufgaben
- Erhöhte Robustheit des Modells
- Niedrigere Inferenzlatenz und Kosten aufgrund kürzerer Prompts
Abstimmung im Vergleich zum Prompt-Design
- Prompts mit vortrainierten Gemini-Modellen erstellen: Prompts sind effektive Anweisungen, mit denen KI-Modelle wie Gemini die gewünschten Ergebnisse generieren. Dazu müssen Sie Prompts entwickeln, die die Aufgabe, das gewünschte Format und den relevanten Kontext klar vermitteln. Sie können die Funktionen von Gemini mit minimalem Aufwand einrichten. Sie eignet sich am besten für:
- Wenig beschriftete Daten: Wenn Sie nur wenige beschriftete Daten haben oder sich keine lange Feinabstimmung leisten können.
- Schnelles Prototyping: Wenn Sie ein Konzept schnell testen oder eine Referenzleistung ohne hohe Investitionen in die Feinabstimmung erzielen möchten.
- Individuelle Feinabstimmung von Gemini-Modellen: Sie können Ihre Modelle mit Gemini auf Ihre spezifischen Datasets abstimmen, um individuelle Ergebnisse zu erhalten. Wenn Sie ein KI-Modell erstellen möchten, das in Ihrer spezifischen Domain funktioniert, sollten Sie eine Feinabstimmung in Betracht ziehen. Dazu wird das Basismodell anhand Ihres eigenen Datasets mit Labels neu trainiert und die Gewichtungen an Ihre Aufgabe und Daten angepasst. Sie können Gemini an Ihre Anwendungsfälle anpassen. Die Feinabstimmung ist am effektivsten, wenn Folgendes zutrifft:
- Sie haben gelabelte Daten: Ein umfangreicher Dataset zum Trainieren (z. B. 100 Beispiele oder mehr), mit dem das Modell die Besonderheiten Ihrer Aufgabe genau lernen kann.
- Komplexe oder einzigartige Aufgaben: Für Szenarien, in denen erweiterte Prompt-Strategien nicht ausreichen und ein auf Ihre Daten zugeschnittenes Modell erforderlich ist.
Beginnen Sie mit Prompts, um den optimalen Prompt zu finden. Fahren Sie dann bei Bedarf mit der Feinabstimmung fort, um die Leistung weiter zu steigern oder wiederkehrende Fehler zu beheben. Das Hinzufügen weiterer Beispiele kann zwar von Vorteil sein, aber es ist wichtig, zu bewerten, wo das Modell Fehler macht, bevor Sie weitere Daten hinzufügen. Hochwertige und gut mit Labels versehene Daten sind für eine gute Leistung entscheidend und wichtiger als die Menge. Außerdem sollten die Daten, die Sie für die Feinabstimmung verwenden, der Prompt-Verteilung, dem Format und dem Kontext entsprechen, die dem Modell in der Produktion begegnen.
Die Abstimmung bietet folgende Vorteile gegenüber dem Prompt-Design:
- Sie ermöglicht eine tiefgreifende Anpassung des Modells und führt zu einer besseren Leistung bei bestimmten Aufgaben.
- Modell an benutzerdefinierte Syntax, Anweisungen und domainspezifische semantische Regeln anpassen.
- Sie bietet einheitlichere und zuverlässigere Ergebnisse.
- Sie kann eine größere Anzahl von Beispielen gleichzeitig verarbeiten.
- Kosten bei der Inferenz sparen, indem Sie Few-Shot-Beispiele und lange Anleitungen aus den Prompts entfernen
Abstimmungsansätze
Die parametereffiziente Abstimmung und die vollständige Feinabstimmung sind zwei Ansätze zur Anpassung großer Modelle. Beide Methoden haben ihre Vorteile und Auswirkungen auf die Modellqualität und Ressourceneffizienz.
Parametereffiziente Abstimmung
Die parametereffiziente Abstimmung, auch Adapterabstimmung genannt, ermöglicht eine effiziente Anpassung großer Modelle an Ihre spezifischen Aufgaben oder Ihre Domain. Bei der parametereffizienten Abstimmung wird während des Abstimmungsprozesses nur eine relativ kleine Teilmenge der Modellparameter aktualisiert.
Weitere Informationen dazu, wie die Gemini Enterprise Agent Platform die Adapterabstimmung und -bereitstellung unterstützt, finden Sie im Whitepaper Anpassung großer Basismodelle.
Vollständige Feinabstimmung
Bei der vollständigen Feinabstimmung werden alle Parameter des Modells aktualisiert. Sie eignet sich daher zur Anpassung des Modells an hoch komplexe Aufgaben, wodurch eine höhere Qualität erzielt werden kann. Eine vollständige Feinabstimmung erfordert jedoch höhere Rechenressourcen sowohl für die Abstimmung als auch für die Bereitstellung, was zu höheren Gesamtkosten führt.
Parametereffiziente Abstimmung im Vergleich zur vollständigen Feinabstimmung
Die parametereffiziente Abstimmung ist im Vergleich zur vollständigen Feinabstimmung ressourceneffizienter und kostengünstiger. Für das Training werden deutlich weniger Rechenressourcen benötigt. Mit ihr kann das Modell mit einem kleineren Dataset schneller angepasst werden. Die Flexibilität der parametereffizienten Abstimmung bietet eine Lösung für das Multi-Task-Lernen, ohne dass ein umfassendes erneutes Training erforderlich ist.
Unterstützte Abstimmungsmethoden
Die Agent Platform unterstützt die überwachte Feinabstimmung, die Präferenzabstimmung und die Feinabstimmung durch Reinforcement Learning, um Foundation Models anzupassen. Sie können auch Prüfpunkte für die Feinabstimmung und die kontinuierliche Feinabstimmung über Trainingsläufe hinweg verwenden.
In der folgenden Tabelle werden die wichtigsten Abstimmungsmethoden verglichen:
| Abstimmungsmethode | Funktionsweise | Typische Dataset-Größe | Am besten geeignet für |
|---|---|---|---|
| Überwachte Feinabstimmung (Supervised Fine-Tuning, SFT) | Trainiert mit gelabelten Eingabe/Ausgabe-Demonstrationen | Hunderte bis Tausende von gelabelten Beispielen | Strikte Ausgabeformatierung, Klassifizierung, Sentimentanalyse, Entitätsextraktion und domainspezifischer Stil oder Ton. |
| Präferenzabstimmung | Optimiert paarweise Präferenzen (ausgewählte im Vergleich zu abgelehnten Antworten) | Hunderte bis Tausende von Präferenzpaaren | Anpassung des Modellverhaltens an subjektive menschliche Präferenzen, Hilfsbereitschaft oder Gesprächston. |
| Feinabstimmung durch bestärkendes Lernen (RLFT) | Generiert Kandidaten-Reasoning-Traces und ‑Antworten (Denkstufe MINIMAL oder HIGH) und maximiert die Punktzahlen von bis zu 16 gewichteten Belohnungsfunktionen. |
Dutzende bis einige Hundert Prompts mit references-Metadaten |
Mehrstufige Problemlösung, komplexe Domainregeln, überprüfbare Aufgaben (z. B. Code- oder SQL-Generierung) und Optimierung von Denkmodellen, ohne die Qualität der Problemlösung zu beeinträchtigen. |
Überwachte Feinabstimmung
Die überwachte Feinabstimmung verbessert die Leistung eines Modells, indem sie ihm eine neue Fähigkeit vermittelt. Daten, die Hunderte von mit Labels versehenen Beispielen enthalten, werden verwendet, um dem Modell beizubringen, ein Zielverhalten oder eine Zielaufgabe nachzuahmen. Jedes mit einem Label versehene Beispiel zeigt, was das Modell während der Inferenz ausgeben soll.
Wenn Sie einen überwachten Feinabstimmungsjob ausführen, lernt das Modell zusätzliche Parameter, die ihm dabei helfen, die erforderlichen Informationen zu codieren, um die Zielaufgabe auszuführen oder das erwartete Verhalten zu erlernen. Diese Parameter werden während der Inferenz verwendet. Die Ausgabe des Abstimmungsjobs ist ein neues Modell, das die neu erlernten Parameter mit dem ursprünglichen Modell kombiniert.
Die überwachte Feinabstimmung eines Textmodells ist eine gute Option, wenn die Ausgabe Ihres Modells nicht komplex und relativ einfach zu definieren ist. Die überwachte Feinabstimmung wird für Klassifizierung, Sentimentanalyse, Entitätsextraktion, Zusammenfassung von Inhalten, die nicht komplex sind, und das Schreiben domainspezifischer Abfragen empfohlen.
Modelle, die die überwachte Feinabstimmung unterstützen
Die folgenden Gemini-Modelle unterstützen die überwachte Abstimmung:
Klicken, um unterstützte Modelle einzublenden
Weitere Informationen zur Verwendung der überwachten Feinabstimmung mit den einzelnen Datentypen finden Sie auf den folgenden Seiten: Datentypen Text, Bild, Audio, Video und Dokument abstimmen.
Präferenzabstimmung
Die Präferenzabstimmung der Agent Platform baut auf der überwachten Feinabstimmung auf und ermöglicht es Ihnen, Ihre Gemini-Modelle mit Daten aus menschlichem Feedback abzustimmen.
Durch die Optimierung von Präferenzen kann das Modell von subjektiven Nutzerpräferenzen lernen, die sich nur schwer mit bestimmten Labels und überwachter Feinabstimmung definieren lassen.
Modelle, die die Präferenzabstimmung unterstützen
Die folgenden Gemini-Modelle unterstützen die Einstellung von Präferenzen:
Klicken, um unterstützte Modelle einzublenden
Weitere Informationen zur Präferenzabstimmung finden Sie unter Präferenzabstimmung für Gemini-Modelle.
Abstimmung für Reinforcement Learning
Bei der Reinforcement Learning-Abstimmung (Reinforcement Learning Fine-Tuning, RLFT) werden Gemini-Modelle durch Trial-and-Error-Exploration angepasst, die von programmatischen oder modellbasierten Belohnungsfunktionen gesteuert wird. Während des Trainings nimmt das Modell für jeden Prompt mehrere Beispielantworten und Reasoning-Traces (MINIMAL oder HIGH Denkebene) auf, bewertet sie anhand Ihrer Belohnungskonfiguration auf einer [-1, 1]-Skala und aktualisiert einen parametereffizienten LoRA-Adapter, um die Belohnung zu maximieren.
Im Gegensatz zur überwachten Feinabstimmung, bei der während des Trainings keine Zwischen-Thinking-Tokens verwendet werden, wird bei der Feinabstimmung mit Reinforcement Learning die mehrstufige Problemlösung direkt optimiert. Außerdem lässt sich diese Methode gut auf kleinere Datasets (oft Dutzende bis einige Hundert Prompts) übertragen. Sie können Ausgaben mit einer einzelnen Belohnungsfunktion oder einer gewichteten Kombination aus bis zu 16 Belohnungsfunktionen über vier Scorer-Typen hinweg bewerten:
- String-Übereinstimmung: Vergleicht Modellausgaben mit Grundwahrheitsfeldern im
references-Wörterbuch des Datasets (genaue String- oder JSON-Übereinstimmung, mit optionaler Extraktion regulärer Ausdrücke). - Gemini-basierter Autorater: Verwendet eine LLM-as-a-Judge-Rubrik, um eine numerische Punktzahl oder ein strukturiertes Urteil zurückzugeben.
- Code-Ausführung: Führt eine benutzerdefinierte Python-
evaluate(example, response)-Funktion in einer verwalteten Sandbox-Umgebung aus. - Cloud Run: Sendet Kandidatenantworten an einen benutzerdefinierten HTTP-Endpunkt, der in Cloud Run gehostet wird, um eine domainspezifische Überprüfung durchzuführen.
Modelle, die die Feinabstimmung für Reinforcement Learning unterstützen
Die folgenden Gemini-Modelle unterstützen die Feinabstimmung mit bestärkendem Lernen:
Klicken, um unterstützte Modelle einzublenden
Weitere Informationen zur Feinabstimmung mit Reinforcement Learning finden Sie unter Informationen zur Feinabstimmung mit Reinforcement Learning.
Checkpoints für die Feinabstimmung
Mit Prüfpunkten für die Feinabstimmung können Sie den Fortschritt der Feinabstimmung speichern, die Leistung von Prüfpunkten vergleichen und den leistungsstärksten Prüfpunkt auswählen – entweder nach Epoche für die überwachte Feinabstimmung oder nach Schrittintervall (checkpointInterval) für die Feinabstimmung mit Reinforcement Learning.
Modelle, die Checkpoints für die Feinabstimmung unterstützen
Die folgenden Gemini-Modelle unterstützen Checkpoints für die Feinabstimmung:
Klicken, um unterstützte Modelle einzublenden
Weitere Informationen zu Checkpoints für die Feinabstimmung finden Sie unter Checkpoints bei der Gemini-Feinabstimmung verwenden und Jobstatus, Messwerte und Monitoring für die Feinabstimmung mit Reinforcement Learning.
Kontinuierliche Feinabstimmung
Mit der kontinuierlichen Abstimmung können Sie ein bereits abgestimmtes Modell oder einen Modellprüfpunkt weiter abstimmen. Sie können zusätzliche Epochen der überwachten Feinabstimmung für ein abgestimmtes Modell (SFT -> SFT) ausführen, die Feinabstimmung mit Reinforcement Learning auf einen überwachten, fein abgestimmten Prüfpunkt anwenden, um strikte Formatierung mit verbessertem Reasoning (SFT -> RLFT) zu kombinieren, oder das Training von einem vorherigen Prüfpunkt des Reinforcement Learning (RLFT -> RLFT) fortsetzen.
Modelle, die die kontinuierliche Optimierung unterstützen
Die folgenden Gemini-Modelle unterstützen die kontinuierliche Abstimmung:
Klicken, um unterstützte Modelle einzublenden
Weitere Informationen zur kontinuierlichen Abstimmung finden Sie unter Kontinuierliche Abstimmung für Gemini-Modelle und Kontinuierliche Abstimmung mit Feinabstimmung durch Reinforcement Learning.
Nächste Schritte
- Weitere Informationen zur überwachten Feinabstimmung
- Informationen zur Präferenzabstimmung
- Weitere Informationen zur Reinforcement Learning-Abstimmung
- Weitere Informationen finden Sie unter Gemini-Modelle mithilfe der überwachten Feinabstimmung abstimmen oder Feinabstimmungsjob für Reinforcement Learning erstellen.
- Informationen zu den Kosten für die Optimierung finden Sie unter Preise.