Mit Example Store können Sie Few-Shot-Beispiele speichern und dynamisch abrufen. Mit Few-Shot-Beispielen können Sie einem LLM die erwarteten Antwortmuster zeigen, um die Qualität, Genauigkeit und Konsistenz seiner Antworten auf ähnliche Anfragen zu verbessern.
Was sind Few-Shot-Beispiele?
Ein Few-Shot-Beispiel sind gelabelte Daten, die speziell für Ihren LLM-Anwendungsfall bestimmt sind. Es enthält ein Eingabe-/Ausgabepaar, das die erwartete Modellantwort für eine Modellanfrage demonstriert. Sie können Beispiele verwenden, um das erwartete Verhalten oder Antwortmuster eines LLM zu demonstrieren.
Wenn Sie nur wenige relevante Beispiele verwenden, können Sie eine größere Anzahl möglicher Ergebnisse, beabsichtigtes Verhalten und Nutzereingaben abdecken, ohne die Größe oder Komplexität von Prompts entsprechend zu erhöhen. Das erreichen Sie, indem Sie nur relevante Beispiele einfügen (wodurch die Anzahl der Beispiele verringert wird) und das erwartete Verhalten „zeigen“ statt „erzählen“.
Die Verwendung von Few-Shot-Beispielen ist eine Form des kontextbezogenen Lernens. Ein Beispiel zeigt ein klares Muster von Ein- und Ausgaben, ohne zu erklären, wie das Modell die Inhalte generiert. Sie können mit relativ wenigen Beispielen mehr mögliche Ergebnisse oder Nutzeranfragen abdecken, ohne die Prompt-Größe oder die Codekomplexität zu erhöhen. Bei der Verwendung von Beispielen werden die Parameter des vortrainierten Modells nicht aktualisiert und die Wissensbreite des LLM wird nicht beeinträchtigt. Das kontextbezogene Lernen mit Beispielen ist daher ein relativ einfacher und prägnanter Ansatz, um die Argumentation und Antwort eines LLM auf bisher unbekannte Prompts anzupassen, zu korrigieren oder zu verbessern.
Wenn Sie relevante Beispiele sammeln, die repräsentativ für Ihre Nutzeranfragen sind, helfen Sie dem Modell, die Aufmerksamkeit aufrechtzuerhalten, das erwartete Muster zu demonstrieren und auch falsches oder unerwartetes Verhalten zu korrigieren. Dies hat keine Auswirkungen auf andere Anfragen, die zu den erwarteten Antworten führen.
Wie alle Strategien für das Prompt Engineering ergänzen Beispiele für Schnellerstellungen andere LLM-Optimierungstechniken wie Abstimmung oder RAG.
Example Store verwenden
Die folgenden Schritte beschreiben, wie Sie den Beispiel-Store verwenden können:
Erstellen oder wiederverwenden Sie eine
ExampleStore-Ressource, auch „Example Store-Instanz“ genannt.- Pro Region und Projekt können Sie maximal 50 Example Store-Instanzen haben.
Beispiele basierend auf LLM-Antworten erstellen und hochladen. Es gibt zwei mögliche Szenarien:
Wenn das Verhalten und das Antwortmuster des LLM wie erwartet sind, schreiben Sie Beispiele basierend auf diesen Antworten und laden Sie sie in die Example Store-Instanz hoch.
Wenn das LLM unerwartetes Verhalten oder Antwortmuster zeigt, schreiben Sie ein Beispiel, um zu demonstrieren, wie die Antwort korrigiert werden kann, und laden Sie es dann in die Example Store-Instanz hoch.
Die hochgeladenen Beispiele sind sofort für den Agenten oder die LLM-Anwendung verfügbar, die mit der Example Store-Instanz verknüpft ist.
Wenn ein auf dem Agent Development Kit basierender Agent mit der Beispiel-Store-Instanz verknüpft ist, ruft der Agent die Beispiele automatisch ab und fügt sie in die LLM-Anfrage ein.
Für alle anderen LLM-Anwendungen müssen Sie nach den Beispielen suchen und sie abrufen und dann in Ihre Prompts einfügen.
Sie können einer Example Store-Instanz weiterhin iterativ Beispiele hinzufügen, wenn Sie eine unerwartete Leistung des LLM feststellen oder auf feindselige oder unerwartete Nutzeranfragen stoßen. Sie müssen Ihren Code nicht aktualisieren oder eine neue Version Ihrer LLM-Anwendung neu bereitstellen. Die Beispiele sind für den Agenten oder die Anwendung verfügbar, sobald Sie sie in die Example Store-Instanz hochladen.
Außerdem haben Sie folgende Möglichkeiten:
Beispiele abrufen, indem Sie eine Kosinus-Ähnlichkeitssuche zwischen den Suchschlüsseln der gespeicherten Beispiele und denen in Ihrer Anfrage durchführen.
Filtern Sie die Beispiele nach Funktionsname und beschränken Sie die Liste der infrage kommenden Beispiele auf diejenigen, die die möglichen Antworten des LLM darstellen.
Verbessern Sie Ihren Agenten oder Ihre LLM-Anwendung iterativ.
Beispiele für mehrere Agents oder LLM-Anwendungen freigeben
Richtlinien zum Erstellen von Few-Shot-Beispielen
Die Auswirkungen von Beispielen auf die Modellleistung hängen davon ab, welche Arten von Beispielen in den Prompts enthalten sind und wie sie eingebunden werden.
Im Folgenden finden Sie allgemeine Empfehlungen für das Erstellen von Beispielen:
Relevanz und Ähnlichkeit: Die Beispiele müssen sich auf die jeweilige Aufgabe oder den jeweiligen Bereich beziehen. So kann sich das Modell auf die relevantesten Aspekte seines Wissens konzentrieren, die Tokennutzung wird verringert und die Leistung bleibt gleich oder wird sogar verbessert. Sie benötigen weniger Beispiele, wenn diese für die Unterhaltung relevant sind. Die verfügbaren Beispiele müssen repräsentativ für mögliche Nutzeranfragen sein. Außerdem muss ein Beispiel für eine bestimmte Nutzeranfrage relevant sein.
Komplexität: Damit das LLM bessere Ergebnisse erzielt, sollten Sie Beispiele mit geringer Komplexität verwenden, um das erwartete logische Denken zu demonstrieren.
Repräsentativ für die möglichen Modellergebnisse: Die erwarteten Antworten in einem Beispiel müssen mit dem möglichen Ergebnis übereinstimmen. So kann im Beispiel deutlich gezeigt werden, dass die Argumentation mit der erwarteten Argumentation des LLM für den Prompt übereinstimmt.
Format: Für eine optimale Leistung sollten Sie Few-Shot-Beispiele in Ihrem Prompt so formatieren, dass sie mit den LLM-Trainingsdaten übereinstimmen und sich vom Konversationsverlauf unterscheiden. Die Formatierung von Beispielen in einem Prompt kann die LLM-Leistung erheblich beeinflussen.
Anwendungsbeispiel: Funktionsaufrufe
Sie können Few-Shot-Beispiele verwenden, um die Leistung von Funktionsaufrufen zu verbessern. Sie können das erwartete Funktionsaufruf für eine Nutzeranfrage in einem konsistenten Muster angeben. Das Beispiel kann die erwartete Antwort auf die Anfrage modellieren, indem es angibt, welche Funktion aufgerufen werden muss und welche Argumente im Funktionsaufruf enthalten sein müssen. Stellen Sie sich einen Anwendungsfall vor, in dem die Funktion get_store_location den Standort eines Geschäfts und seine Beschreibung zurückgibt. Wenn bei einer Anfrage diese Funktion nicht wie erwartet aufgerufen wird oder eine unerwartete Ausgabe erfolgt, können Sie Few-Shot-Beispiele verwenden, um dieses Verhalten für nachfolgende Anfragen zu korrigieren.
Weitere Informationen zu Funktionsaufrufen finden Sie unter Funktionsaufrufe.
Weitere Informationen finden Sie in der Kurzanleitung für Beispiel-Store.