Example Store ti consente di archiviare e recuperare in modo dinamico esempi few-shot. Gli esempi few-shot ti consentono di mostrare i pattern di risposta previsti a un LLM per migliorare la qualità, l'accuratezza e la coerenza delle relative risposte a query simili.
Che cosa sono gli esempi few-shot?
Un esempio few-shot è un dato etichettato specifico per il tuo caso d'uso LLM. Include una coppia input-output che mostra la risposta del modello prevista per una richiesta del modello. Puoi utilizzare gli esempi per mostrare il comportamento o il pattern di risposta previsto da un LLM.
Utilizzando solo alcuni esempi pertinenti, puoi coprire un insieme più ampio di possibili risultati, comportamenti previsti e input dell'utente senza aumentare di conseguenza le dimensioni o la complessità dei prompt. Ciò avviene sia includendo solo esempi pertinenti (riducendo il numero di esempi inclusi) sia "mostrando, non dicendo" il comportamento previsto.
L'utilizzo di esempi few-shot è una forma di apprendimento nel contesto. Un esempio mostra un pattern chiaro di input e output, senza spiegare come il modello genera i contenuti. Puoi coprire più risultati possibili o query utente utilizzando solo un numero relativamente ridotto di esempi, senza aumentare le dimensioni del prompt o la complessità del codice. L'utilizzo di esempi non comporta l'aggiornamento dei parametri del modello preaddestrato e non influisce sull'ampiezza delle conoscenze dell'LLM. Ciò rende l'apprendimento nel contesto con esempi un approccio relativamente leggero e conciso per personalizzare, correggere o migliorare il ragionamento e la risposta di un LLM a prompt non visualizzati.
Raccogliendo esempi pertinenti che rappresentano le query utente, aiuti il modello a mantenere l'attenzione, a mostrare il pattern previsto e a correggere comportamenti errati o imprevisti. Ciò non influisce su altre richieste che generano le risposte previste.
Come tutte le strategie di ingegneria del prompt, l'utilizzo di esempi few-shot è complementare ad altre tecniche di ottimizzazione LLM, come il fine-tuning o RAG.
Come utilizzare Example Store
I seguenti passaggi descrivono come utilizzare Example Store:
Crea o riutilizza una risorsa
ExampleStore, chiamata anche "istanza di Example Store".- Per ogni regione e progetto, puoi avere un massimo di 50 istanze di Example Store.
Scrivi e carica esempi basati sulle risposte LLM. Esistono due possibili scenari:
Se il comportamento e il pattern di risposta dell'LLM sono quelli previsti, scrivi esempi basati su queste risposte e caricali nell'istanza di Example Store.
Se l'LLM mostra un comportamento o pattern di risposta imprevisti, scrivi un esempio per mostrare come correggere la risposta e caricalo nell'istanza di Example Store.
Gli esempi caricati diventano immediatamente disponibili per l'agente o l'applicazione LLM associata all'istanza di Example Store.
Se un agente basato su Vertex AI Agent Development Kit è collegato all'istanza di Example Store, l'agente recupera automaticamente gli esempi e li include nella richiesta LLM.
Per tutte le altre applicazioni LLM, devi cercare e recuperare gli esempi, quindi includerli nei prompt.
Puoi continuare ad aggiungere esempi in modo iterativo a un'istanza di Example Store ogni volta che osservi un rendimento imprevisto dell'LLM o riscontri query utente avversarie o impreviste. Non devi aggiornare il codice o eseguire il deployment di una nuova versione dell'applicazione LLM. Gli esempi diventano disponibili per l'agente o l'applicazione non appena li carichi nell'istanza di Example Store.
Inoltre, puoi:
Recuperare gli esempi eseguendo una ricerca di similarità del coseno tra le chiavi di ricerca degli esempi archiviati e quelli della query.
Filtrare gli esempi per nome della funzione e perfezionare l'elenco degli esempi candidati in modo che rappresentino le possibili risposte dell'LLM.
Migliorare in modo iterativo l'agente o l'applicazione LLM.
Condividere esempi con più agenti o applicazioni LLM.
Linee guida per la creazione di esempi few-shot
L'impatto degli esempi sul rendimento del modello dipende dai tipi di esempi inclusi nei prompt e dalla modalità di inclusione.
Di seguito sono riportate le pratiche generalmente consigliate per la creazione di esempi:
Pertinenza e similarità: gli esempi devono essere strettamente correlati all' attività o al dominio specifici. In questo modo il modello può concentrarsi sugli aspetti più pertinenti delle sue conoscenze, ridurre l'utilizzo dei token e mantenere o addirittura migliorare il rendimento. Se gli esempi sono pertinenti alla conversazione, ne servono meno. Il corpus degli esempi disponibili deve essere rappresentativo delle possibili query utente. Inoltre, un esempio deve essere pertinente a una determinata query utente.
Complessità: per aiutare l'LLM a ottenere risultati migliori, utilizza esempi di bassa complessità per mostrare il ragionamento previsto.
Rappresentativo dei possibili risultati del modello: le risposte previste in un esempio devono essere coerenti con il possibile risultato. In questo modo, l'esempio mostra chiaramente un ragionamento coerente con il ragionamento previsto dell'LLM per il prompt.
Formato: per un rendimento ottimale, formatta gli esempi few-shot nel prompt in modo coerente con i dati di addestramento LLM e differenziato dalla cronologia delle conversazioni. La formattazione degli esempi in un prompt può influire notevolmente sul rendimento dell'LLM.
Esempio di caso d'uso: chiamate di funzione
Puoi utilizzare esempi few-shot per migliorare il rendimento delle chiamate di funzione.
Puoi indicare la chiamata di funzione prevista per una query utente in un pattern coerente. L'esempio può modellare la risposta prevista alla richiesta includendo la funzione da richiamare e gli argomenti da includere nella chiamata di funzione. Considera un caso d'uso in cui la funzione get_store_location restituisce la posizione di un negozio e la relativa descrizione. Se una query non richiama questa funzione come previsto o mostra un output imprevisto, puoi utilizzare esempi few-shot per correggere questo comportamento per le query successive.
Per saperne di più sulle chiamate di funzione, consulta Chiamate di funzione.
Per saperne di più, consulta la guida rapida di Example Store.
Passaggi successivi
Scopri come creare un Example Store.
Scopri come addestrare un agente con gli esempi