Generative KI basiert oft auf großen Machine-Learning-Modellen (ML), die mit riesigen Datenmengen vortrainiert wurden. Diese Modelle werden als Foundation Models bezeichnet und dienen als Grundlage für verschiedene Aufgaben. Es gibt zahlreiche Möglichkeiten, Foundation Models mit generativer KI auf der Gemini Enterprise Agent Platform anzupassen:
Abstimmung: Bei der Abstimmung wird einem Modell ein Trainings-Dataset mit spezifischen Beispielen für die ausgewählte nachgelagerte Aufgabe bereitgestellt.
- Überwachte Abstimmung: Bei dieser Technik werden gelabelte Beispiele verwendet, um ein Modell abzustimmen. Jedes Beispiel veranschaulicht die ausgewählte Ausgabe für eine bestimmte Eingabe während der Inferenz. Die überwachte Abstimmung ist effektiv für Aufgaben, bei denen die erwartete Ausgabe nicht zu komplex ist und klar definiert werden kann, z. B. Klassifizierung, Sentimentanalyse, Entitätsextraktion, Zusammenfassung weniger komplexer Inhalte und Generierung domainspezifischer Abfragen. Sie können Text-, Bild-, Audio- und Dokumentdatentypen mit überwachtem Lernen abstimmen.
- Bestärkendes Lernen durch menschliches Feedback (RLHF): Diese Methode eignet sich, wenn die ausgewählte Modellausgabe komplexer ist. Die RLHF-Abstimmung funktioniert gut für Ziele, die sich durch überwachte Abstimmung nicht einfach unterscheiden lassen, z. B. Beantwortung von Fragen, Zusammenfassung komplexer Inhalte und Erstellung kreativer Inhalte.
Destillation: Bei der Destillation wird oft ein kleineres „Schülermodell“ trainiert, um das Verhalten eines größeren, leistungsfähigeren „Lehrermodells“ nachzuahmen.
Training von Adaptermodellen: Dabei werden kleinere Adaptermodelle (oder -ebenen) trainiert, die in Verbindung mit einem Foundation Model die Leistung bei speziellen Aufgaben verbessern. Die Parameter des ursprünglichen Foundation Models bleiben oft unverändert und nur die Gewichte des Adapters werden während des Trainings aktualisiert.
Fundierung: Die Fundierung ist zwar keine Trainingsmethode, aber ein wichtiger Aspekt, um die Zuverlässigkeit der Ausgaben generativer KI zu gewährleisten. Fundierung beinhaltet die Verbindung der Ausgabe des Modells mit überprüfbaren Informationsquellen, wodurch die Wahrscheinlichkeit von erfundenen Inhalten verringert wird. Dazu wird dem Modell während der Inferenz oft Zugriff auf bestimmte Datenquellen gewährt.