Beispiel für eine Store-Übersicht

Mit Example Store können Sie Few-Shot-Beispiele speichern und dynamisch abrufen. Mit Few-Shot-Beispielen können Sie einem LLM die erwarteten Antwortmuster zeigen, um die Qualität, Genauigkeit und Konsistenz seiner Antworten auf ähnliche Anfragen zu verbessern.

Was sind Few-Shot-Beispiele?

Ein Few-Shot-Beispiel sind gelabelte Daten, die für Ihren LLM-Anwendungsfall spezifisch sind. Es enthält ein Eingabe-/Ausgabe-Paar, das die erwartete Modellantwort auf eine Modellanfrage zeigt. Mit Beispielen können Sie das erwartete Verhalten oder Antwortmuster eines LLM demonstrieren.

Mit nur wenigen relevanten Beispielen können Sie eine größere Anzahl möglicher Ergebnisse, beabsichtigtes Verhalten und Nutzereingaben abdecken, ohne die Größe oder Komplexität von Prompts entsprechend zu erhöhen. Das gelingt, indem Sie nur relevante Beispiele einbeziehen (wodurch die Anzahl der Beispiele sinkt) und das erwartete Verhalten „zeigen“ statt es zu „erklären“.

Die Verwendung von Few-Shot-Beispielen ist eine Form des kontextbezogenen Lernens. Ein Beispiel zeigt ein klares Muster von Ein- und Ausgaben, ohne zu erklären, wie das Modell den Inhalt generiert. Mit relativ wenigen Beispielen können Sie mehr mögliche Ergebnisse oder Nutzeranfragen abdecken, ohne die Größe des Prompts oder die Komplexität des Codes zu erhöhen. Bei der Verwendung von Beispielen müssen die Parameter des vortrainierten Modells nicht aktualisiert werden und die Breite des Wissens des LLM wird nicht beeinträchtigt. Daher ist das kontextbezogene Lernen mit Beispielen ein relativ einfacher und prägnanter Ansatz, um die Inferenz und Antwort eines LLM auf unbekannte Prompts anzupassen, zu korrigieren oder zu verbessern.

Wenn Sie relevante Beispiele sammeln, die für Ihre Nutzeranfragen repräsentativ sind, können Sie dem Modell helfen, die Aufmerksamkeit aufrechtzuerhalten, das erwartete Muster zu demonstrieren und auch falsches oder unerwartetes Verhalten zu korrigieren. Dies wirkt sich nicht auf andere Anfragen aus, die zu den erwarteten Antworten führen.

Wie alle Prompt-Engineering-Strategien ergänzt die Verwendung von Few-Shot-Beispielen andere LLM-Optimierungstechniken wie Feinabstimmung oder RAG.

Example Store verwenden

Die folgenden Schritte zeigen, wie Sie Example Store verwenden können:

  1. Erstellen oder verwenden Sie eine ExampleStore Ressource, auch „Example Store-Instanz“ genannt.

    • Pro Region und Projekt können Sie maximal 50 Example Store-Instanzen haben.

  2. Erstellen und laden Sie Beispiele basierend auf LLM-Antworten hoch. Es gibt zwei mögliche Szenarien:

    • Wenn das Verhalten und das Antwortmuster des LLM wie erwartet sind, erstellen Sie Beispiele basierend auf diesen Antworten und laden Sie sie in die Example Store-Instanz hoch.

    • Wenn das LLM unerwartetes Verhalten oder Antwortmuster zeigt, erstellen Sie ein Beispiel, um zu demonstrieren, wie die Antwort korrigiert werden kann, und laden Sie es dann in die Example Store-Instanz hoch.

  3. Die hochgeladenen Beispiele sind sofort für den Agent oder die LLM-Anwendung verfügbar, die mit der Example Store-Instanz verknüpft sind.

    • Wenn ein Agent, der auf dem Vertex AI Agent Development Kit basiert, mit der Example Store-Instanz verknüpft ist, ruft der Agent die Beispiele automatisch ab und fügt sie der LLM-Anfrage hinzu.

    • Bei allen anderen LLM-Anwendungen müssen Sie nach den Beispielen suchen und sie abrufen und dann in Ihre Prompts einfügen.

Sie können einer Example Store-Instanz jederzeit iterativ weitere Beispiele hinzufügen, wenn Sie eine unerwartete Leistung des LLM feststellen oder auf feindselige oder unerwartete Nutzeranfragen stoßen. Sie müssen Ihren Code nicht aktualisieren oder eine neue Version Ihrer LLM-Anwendung bereitstellen. Die Beispiele sind für den Agent oder die Anwendung verfügbar, sobald Sie sie in die Example Store-Instanz hochladen.

Außerdem haben Sie folgende Möglichkeiten:

  • Rufen Sie Beispiele ab, indem Sie eine Kosinusähnlichkeitssuche zwischen den Suchschlüsseln der gespeicherten Beispiele und denen in Ihrer Abfrage durchführen.

  • Filtern Sie Beispiele nach Funktionsname und beschränken Sie die Liste der Kandidatenbeispiele auf diejenigen, die die möglichen Antworten des LLM darstellen.

  • Verbessern Sie Ihren Agent oder Ihre LLM-Anwendung iterativ.

  • Geben Sie Beispiele für mehrere Agents oder LLM-Anwendungen frei.

Richtlinien zum Erstellen von Few-Shot-Beispielen

Die Auswirkungen von Beispielen auf die Modellleistung hängen davon ab, welche Arten von Beispielen in den Prompts enthalten sind und wie sie eingebunden werden.

Im Folgenden finden Sie einige allgemeine Empfehlungen zum Erstellen von Beispielen:

  • Relevanz und Ähnlichkeit: Die Beispiele müssen eng mit der jeweiligen Aufgabe oder Domain zusammenhängen. So kann sich das Modell auf die relevantesten Aspekte seines Wissens konzentrieren, die Tokennutzung wird reduziert und die Leistung bleibt gleich oder verbessert sich sogar. Sie benötigen weniger Beispiele, wenn diese für die Unterhaltung relevant sind. Das Korpus der verfügbaren Beispiele muss für mögliche Nutzeranfragen repräsentativ sein. Außerdem muss ein Beispiel für eine bestimmte Nutzeranfrage relevant sein.

  • Komplexität: Damit das LLM eine bessere Leistung erbringt, verwenden Sie Beispiele mit geringer Komplexität, um die erwartete Inferenz zu demonstrieren.

  • Repräsentativ für die möglichen Modellergebnisse: Die erwarteten Antworten in einem Beispiel müssen mit dem möglichen Ergebnis übereinstimmen. So kann das Beispiel eine Inferenz demonstrieren, die mit der erwarteten Inferenz des LLM für den Prompt übereinstimmt.

  • Format: Formatieren Sie Few-Shot-Beispiele in Ihrem Prompt so, dass sie mit den LLM-Trainingsdaten übereinstimmen und sich vom Unterhaltungsverlauf unterscheiden. Die Formatierung von Beispielen in einem Prompt kann die LLM-Leistung erheblich beeinflussen.

Anwendungsbeispiel: Funktionsaufrufe

Sie können Few-Shot-Beispiele verwenden, um die Leistung von Funktionsaufrufen zu verbessern. Sie können den erwarteten Funktionsaufruf für eine Nutzeranfrage in einem konsistenten Muster angeben. Das Beispiel kann die erwartete Antwort auf die Anfrage modellieren, indem es angibt, welche Funktion aufgerufen werden muss und welche Argumente im Funktionsaufruf enthalten sein müssen. Nehmen wir an, die Funktion get_store_location gibt den Standort eines Geschäfts und seine Beschreibung zurück. Wenn eine Abfrage diese Funktion nicht wie erwartet aufruft oder eine unerwartete Ausgabe zeigt, können Sie mit Few-Shot-Beispielen dieses Verhalten für nachfolgende Abfragen korrigieren.

Weitere Informationen zu Funktionsaufrufen finden Sie unter Funktionsaufrufe.

Weitere Informationen finden Sie unter Schnellstart für Example Store.

Nächste Schritte