מאגר הדוגמאות מאפשר לכם לאחסן דוגמאות ליצירת הנחיות מכמה דוגמאות ולאחזר אותן באופן דינמי. דוגמאות ליצירת הנחיות מכמה דוגמאות מאפשרות לכם להדגים למודל שפה גדול (LLM) את דפוסי התגובה הצפויים, כדי לשפר את האיכות, הדיוק והעקביות של התשובות שלו לשאילתות דומות.
מהן דוגמאות ללמידה עם מספר מועט של דוגמאות?
דוגמה עם כמה תמונות היא נתונים מסומנים שספציפיים לתרחיש השימוש שלכם ב-LLM. היא כוללת זוג של קלט ופלט שמדגים את התגובה הצפויה של המודל לבקשה. אתם יכולים להשתמש בדוגמאות כדי להדגים את ההתנהגות הצפויה או את דפוס התגובה של LLM.
באמצעות כמה דוגמאות רלוונטיות בלבד, אפשר לכסות קבוצה גדולה יותר של תוצאות אפשריות, התנהגות רצויה וקלט משתמשים, בלי להגדיל את הגודל או המורכבות של ההנחיות. השיפורים האלה מתבצעים גם על ידי הכללה רק של דוגמאות רלוונטיות (הקטנת מספר הדוגמאות שנכללות) וגם על ידי הצגת ההתנהגות הצפויה ולא רק תיאור שלה.
שימוש בדוגמאות עם מעט נתונים הוא סוג של למידה בהקשר. דוגמה שמציגה דפוס ברור של קלט ופלט, בלי להסביר איך המודל יוצר את התוכן. אתם יכולים לכסות יותר תוצאות אפשריות או שאילתות של משתמשים באמצעות כמה דוגמאות יחסית, בלי להגדיל את גודל ההנחיה או את מורכבות הקוד. השימוש בדוגמאות לא כולל עדכון של הפרמטרים של המודל שאומן מראש, ולא משפיע על היקף הידע של ה-LLM. כך למידה בהקשר עם דוגמאות היא גישה קלה יחסית וקצרה להתאמה אישית, לתיקון או לשיפור של הנימוקים והתשובות של LLM להנחיות שלא נראו קודם.
כשאתם אוספים דוגמאות רלוונטיות שמייצגות את שאילתות המשתמשים, אתם עוזרים למודל לשמור על המיקוד, להציג את הדפוס הצפוי וגם לתקן התנהגות שגויה או לא צפויה. הפעולה הזו לא משפיעה על בקשות אחרות שמניבות את התגובות הצפויות.
בדומה לכל האסטרטגיות של יצירת הנחיות, השימוש בדוגמאות מכמה דוגמאות הוא תוסף לטכניקות אחרות לאופטימיזציה של LLM, כמו כוונון עדין או RAG.
איך משתמשים בחנות לדוגמה
השלבים הבאים מתארים איך אפשר להשתמש בחנות לדוגמה:
יוצרים או משתמשים מחדש במשאב
ExampleStore, שנקרא גם 'מופע של חנות לדוגמה'.- בכל אזור ובכל פרויקט אפשר להגדיר עד 50 מקרים של Example Store.
לכתוב ולהעלות דוגמאות שמבוססות על תשובות של LLM. יש שני תרחישים אפשריים:
אם ההתנהגות ודפוס התגובה של ה-LLM הם כצפוי, כותבים דוגמאות על סמך התגובות האלה ומעלים אותן למופע של Example Store.
אם מודל ה-LLM מציג התנהגות לא צפויה או דפוסי תגובה לא צפויים, כותבים דוגמה שמראה איך לתקן את התגובה, ואז מעלים אותה למופע של מאגר הדוגמאות.
הדוגמאות שהועלו זמינות באופן מיידי לסוכן או לאפליקציית ה-LLM שמשויכים למופע של חנות הדוגמאות.
אם סוכן שמבוסס על ערכת פיתוח סוכנים מקושר למופע של חנות לדוגמה, הסוכן מאחזר את הדוגמאות באופן אוטומטי וכולל אותן בבקשה ל-LLM.
בכל שאר האפליקציות של מודלים גדולים של שפה, צריך לחפש את הדוגמאות ולאחזר אותן, ואז לכלול אותן בהנחיות.
אתם יכולים להמשיך להוסיף דוגמאות באופן איטרטיבי למופע של מאגר הדוגמאות בכל פעם שאתם מבחינים בביצועים לא צפויים של מודל שפה גדול, או נתקלים בשאילתות של משתמשים שהן עוינות או לא צפויות. אתם לא צריכים לעדכן את הקוד או לפרוס מחדש גרסה חדשה של אפליקציית מודל השפה הגדול. הדוגמאות יהיו זמינות לסוכן או לאפליקציה ברגע שתעלו אותן למופע של מאגר הדוגמאות.
בנוסף, תוכלו לבצע את הפעולות הבאות:
אפשר לאחזר דוגמאות על ידי ביצוע חיפוש של דמיון קוסינוס בין מפתחות החיפוש של הדוגמאות המאוחסנות לבין אלה שבשאילתה.
מסננים את הדוגמאות לפי שם הפונקציה ומצמצמים את רשימת הדוגמאות האפשריות רק לאלה שמייצגות את התשובות האפשריות של ה-LLM.
משפרים את הסוכן או את אפליקציית ה-LLM באופן איטרטיבי.
לשתף דוגמאות עם כמה סוכנים או אפליקציות של מודלי שפה גדולים.
הנחיות ליצירת דוגמאות ללמידה עם מעט נתונים
ההשפעה של הדוגמאות על ביצועי המודל תלויה בסוגי הדוגמאות שנכללות בהנחיות ובאופן שבו הן נכללות.
אלה שיטות מומלצות לכתיבת דוגמאות:
רלוונטיות ודמיון: הדוגמאות צריכות להיות קשורות באופן הדוק למשימה או לתחום הספציפיים. כך המודל מתמקד בהיבטים הרלוונטיים ביותר של הידע שלו, מצמצם את השימוש בטוקנים ומשפר את הביצועים או לפחות שומר עליהם. אם הדוגמאות רלוונטיות לשיחה, צריך פחות דוגמאות. מאגר הדוגמאות הזמין צריך לייצג את השאילתות האפשריות של המשתמשים. בנוסף, הדוגמה צריכה להיות רלוונטית לשאילתת משתמש מסוימת.
מורכבות: כדי לשפר את הביצועים של מודל ה-LLM, כדאי להשתמש בדוגמאות עם מורכבות נמוכה כדי להדגים את ההיגיון הצפוי.
מייצגות את התוצאות האפשריות של המודל: התשובות הצפויות בדוגמה צריכות להיות עקביות עם התוצאה האפשרית. כך אפשר לראות בבירור את ההיגיון שמתאים להיגיון הצפוי מה-LLM עבור ההנחיה.
פורמט: כדי לקבל את הביצועים הכי טובים, כדאי לעצב את הדוגמאות להנחיות מכמה דוגמאות באופן שתואם לנתוני האימון של ה-LLM ושונה מהיסטוריית השיחות. העיצוב של הדוגמאות בהנחיה יכול להשפיע באופן משמעותי על הביצועים של ה-LLM.
תרחיש שימוש לדוגמה: בקשה להפעלת פונקציה
אתם יכולים להשתמש בדוגמאות של few-shot כדי לשפר את הביצועים של קריאות לפונקציות.
אפשר לציין את הקריאה הצפויה לפונקציה עבור שאילתת משתמש בתבנית עקבית. בדוגמה אפשר לראות את התגובה הצפויה לבקשה, כולל הפונקציה שצריך להפעיל והארגומנטים שצריך לכלול בקריאה לפונקציה. נניח שיש פונקציה get_store_location שמחזירה את המיקום של חנות ואת התיאור שלה. אם שאילתה לא מפעילה את הפונקציה הזו כמו שציפיתם או מציגה פלט לא צפוי, אתם יכולים להשתמש בדוגמאות עם מעט נתונים כדי לתקן את ההתנהגות הזו בשאילתות הבאות.
מידע נוסף על קריאה לפונקציות זמין במאמר קריאה לפונקציות.
מידע נוסף זמין במאמר מדריך למתחילים בנושא חנות לדוגמה.