Example Store memungkinkan Anda menyimpan dan mengambil contoh few-shot secara dinamis. Contoh few-shot memungkinkan Anda menunjukkan pola respons yang diharapkan kepada LLM untuk meningkatkan kualitas, akurasi, dan konsistensi responsnya terhadap kueri serupa.
Apa yang dimaksud dengan contoh few-shot?
Contoh few-shot adalah data berlabel yang khusus untuk kasus penggunaan LLM Anda. Contoh ini mencakup pasangan input-output yang menunjukkan respons model yang diharapkan untuk permintaan model. Anda dapat menggunakan contoh untuk menunjukkan perilaku atau pola respons yang diharapkan dari LLM.
Dengan hanya menggunakan beberapa contoh yang relevan, Anda dapat mencakup kumpulan hasil, perilaku yang diinginkan, dan input pengguna yang lebih besar tanpa meningkatkan ukuran atau kompleksitas prompt secara proporsional. Hal ini dilakukan dengan hanya menyertakan contoh yang relevan (mengurangi jumlah contoh yang disertakan) dan dengan "menunjukkan, bukan memberi tahu" perilaku yang diharapkan.
Penggunaan contoh few-shot adalah bentuk pembelajaran dalam konteks. Contoh menunjukkan pola input dan output yang jelas, tanpa menjelaskan cara model menghasilkan konten. Anda dapat mencakup lebih banyak kemungkinan hasil atau kueri pengguna hanya dengan menggunakan beberapa contoh, tanpa meningkatkan ukuran prompt atau kompleksitas kode. Penggunaan contoh tidak melibatkan pembaruan parameter model yang telah dilatih sebelumnya, dan tanpa memengaruhi luasnya pengetahuan LLM. Hal ini menjadikan pembelajaran dalam konteks dengan contoh sebagai pendekatan yang relatif ringan dan ringkas untuk menyesuaikan, mengoreksi, atau meningkatkan penalaran dan respons dari LLM ke prompt yang tidak terlihat.
Dengan mengumpulkan contoh relevan yang mewakili kueri pengguna, Anda membantu model mempertahankan perhatian, menunjukkan pola yang diharapkan, dan juga memperbaiki perilaku yang salah atau tidak terduga. Hal ini tidak memengaruhi permintaan lain yang menghasilkan respons yang diharapkan.
Seperti semua strategi rekayasa prompt, penggunaan contoh few-shot bersifat aditif terhadap teknik pengoptimalan LLM lainnya, seperti fine-tuning atau RAG.
Cara menggunakan Example Store
Langkah-langkah berikut menguraikan cara Anda dapat menggunakan Example Store:
Buat atau gunakan kembali resource
ExampleStore, yang juga disebut "instance Example Store".- Untuk setiap region dan project, Anda dapat memiliki maksimum 50 instance Example Store.
Tulis dan upload contoh berdasarkan respons LLM. Ada dua kemungkinan skenario:
Jika perilaku dan pola respons LLM sesuai harapan, tulis contoh berdasarkan respons ini dan upload ke instance Example Store.
Jika LLM menunjukkan perilaku atau pola respons yang tidak terduga, tulis contoh untuk menunjukkan cara mengoreksi respons, lalu upload ke instance Example Store.
Contoh yang diupload akan segera tersedia untuk agen atau aplikasi LLM yang terkait dengan instance Example Store.
Jika agen yang didasarkan pada Vertex AI Agent Development Kit ditautkan ke instance Example Store, agen akan otomatis mengambil contoh dan menyertakannya dalam permintaan LLM.
Untuk semua aplikasi LLM lainnya, Anda harus menelusuri dan mengambil contoh, lalu menyertakannya dalam prompt.
Anda dapat terus menambahkan contoh secara iteratif ke instance Example Store setiap kali Anda mengamati performa yang tidak terduga dari LLM, atau menemukan kueri pengguna yang tidak terduga atau tidak diinginkan. Anda tidak perlu mengupdate kode atau men-deploy ulang versi baru aplikasi LLM. Contoh akan tersedia untuk agen atau aplikasi segera setelah Anda menguploadnya ke instance Example Store.
Selain itu, Anda dapat melakukan hal berikut:
Mengambil contoh dengan melakukan penelusuran kemiripan kosinus antara kunci penelusuran contoh yang disimpan dan kunci penelusuran dalam kueri Anda.
Memfilter contoh berdasarkan nama fungsi dan menyaring daftar contoh kandidat ke contoh yang mewakili kemungkinan respons dari LLM.
Meningkatkan kualitas agen atau aplikasi LLM Anda secara iteratif.
Membagikan contoh ke beberapa agen atau aplikasi LLM.
Panduan untuk membuat contoh few-shot
Dampak contoh terhadap performa model bergantung pada jenis contoh yang disertakan dalam prompt dan cara contoh tersebut disertakan.
Berikut adalah praktik yang umumnya direkomendasikan untuk membuat contoh:
Relevansi dan kemiripan: Contoh harus terkait erat dengan tugas atau domain tertentu. Hal ini membantu model berfokus pada aspek pengetahuan yang paling relevan, mengurangi penggunaan token, dan mempertahankan atau bahkan meningkatkan performa. Anda memerlukan lebih sedikit contoh jika contoh tersebut relevan dengan percakapan. Korpus contoh yang tersedia harus mewakili kemungkinan kueri pengguna. Selain itu, contoh harus relevan dengan kueri pengguna tertentu.
Kompleksitas: Untuk membantu LLM beroperasi lebih baik, gunakan contoh yang memiliki kompleksitas rendah untuk menunjukkan penalaran yang diharapkan.
Mewakili kemungkinan hasil model: Respons yang diharapkan dalam contoh harus konsisten dengan kemungkinan hasil. Hal ini memungkinkan contoh menunjukkan penalaran yang konsisten dengan penalaran yang diharapkan dari LLM untuk prompt.
Format: Untuk performa terbaik, format contoh few-shot dalam prompt Anda dengan cara yang konsisten dengan data pelatihan LLM dan dibedakan dari histori percakapan. Pemformatan contoh dalam prompt dapat memengaruhi performa LLM secara signifikan.
Contoh kasus penggunaan: Pemanggilan fungsi
Anda dapat menggunakan contoh few-shot untuk meningkatkan performa pemanggilan fungsi.
Anda dapat menunjukkan panggilan fungsi yang diharapkan untuk kueri pengguna dalam pola yang konsisten. Contoh dapat memodelkan respons yang diharapkan terhadap permintaan dengan menyertakan fungsi yang perlu dipanggil dan argumen yang akan disertakan dalam panggilan fungsi. Pertimbangkan kasus penggunaan saat fungsi get_store_location menampilkan lokasi toko dan deskripsinya. Jika kueri tidak memanggil fungsi ini seperti yang diharapkan atau menampilkan output yang tidak terduga, Anda dapat menggunakan contoh few-shot untuk mengoreksi perilaku ini untuk kueri berikutnya.
Untuk mengetahui informasi selengkapnya tentang pemanggilan fungsi, lihat Pemanggilan fungsi.
Untuk mempelajari lebih lanjut, lihat Panduan memulai Example Store.
Langkah berikutnya
Pelajari cara membuat example store.
Pelajari cara mengajari agen dengan contoh