עריכת ניסויים בערכי פרמטרים

כל קריאה ששולחים למודל כוללת ערכי פרמטרים שקובעים איך המודל ייצור תגובה. המודל יכול ליצור תוצאות שונות עבור ערכי פרמטרים שונים. כדאי להתנסות עם ערכי פרמטרים שונים כדי לקבל את הערכים הטובים ביותר למשימה. הפרמטרים שזמינים למודלים שונים עשויים להיות שונים. הפרמטרים הנפוצים ביותר הם:

  • מספר מקסימלי של טוקנים בפלט
  • טמפרטורה
  • Top-P
  • Top-K
  • מקור

מספר מקסימלי של טוקנים בפלט

מספר האסימונים המקסימלי שאפשר ליצור בתשובה. כל טוקן הוא בערך באורך של ארבעה תווים. ‫100 טוקנים תואמים בערך ל-60-80 מילים.

כדי לקבל תשובות קצרות יותר, מציינים ערך נמוך יותר, וכדי לקבל תשובות ארוכות יותר, מציינים ערך גבוה יותר.

טמפרטורה

רמת האקראיות משמשת לדגימה במהלך תהליך יצירת תשובות, שמתרחש כשמחילים את הפרמטרים topP ו-topK. הטמפרטורה שולטת במידת האקראיות בבחירת האסימון. טמפרטורות נמוכות טובות להנחיות שדורשות תשובה פחות פתוחה או יצירתית, ואילו טמפרטורות גבוהות יכולות להוביל לתוצאות יותר מגוונות או יצירתיות. רמת אקראיות של 0 אומרת שתמיד נבחרים הטוקנים עם ההסתברות הכי גבוהה. במקרה כזה, התשובות להנחיה נתונה הן ברובן דטרמיניסטיות, אבל עדיין יכולות להיות וריאציות קלות.

אם המודל מחזיר תשובה כללית מדי או קצרה מדי, או אם המודל מחזיר תשובת ברירת מחדל, נסו להגדיל את רמת האקראיות. אם המודל נכנס ליצירה אינסופית, הגדלת רמת האקראיות ל-0.1 לפחות עשויה להוביל לתוצאות טובות יותר.

‫1.0 הוא ערך הטמפרטורה המומלץ להתחלה.

מודלים של Gemini תומכים בערך רמת אקראיות בין 0.0 ל-2.0. רמת אקראיות ברירת המחדל של המודלים היא 1.0.

Top-P

‫Top-P משנה את האופן שבו המודל בוחר טוקנים לפלט. הטוקנים נבחרים מהטוקן הסביר ביותר לטוקן הכי פחות סביר, עד שסכום ההסתברויות שלהם שווה לערך של Top-P. לדוגמה, אם לטוקנים A,‏ B ו-C יש הסתברות של 0.3,‏ 0.2 ו-0.1, וערך ה-Top-P הוא 0.5, המודל יבחר את A או את B כטוקן הבא באמצעות רמת אקראיות, ויפסול את C כמועמד.

כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר, וכדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.

Top-K

ההגדרה Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. ערך של Top-K של 1 אומר שהטוקן הבא שנבחר הוא הטוקן הסביר ביותר מבין כל הטוקנים באוצר המילים של המודל (נקרא גם פענוח חמדני), בעוד שערך של Top-K של 3 אומר שהטוקן הבא נבחר מבין שלושת הטוקנים הסבירים ביותר באמצעות רמת אקראיות.

בכל שלב של בחירת טוקן, המערכת דוגמת את הטוקנים המובילים עם ההסתברות הכי גבוהה (top-K). לאחר מכן, הטוקנים מסוננים עוד יותר על סמך top-P, והטוקן הסופי נבחר באמצעות דגימת טמפרטורה.

כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר, וכדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.

מקור

כשמגדירים ערך ספציפי ל-seed, המודל עושה כמיטב יכולתו כדי לספק את אותה תשובה לבקשות חוזרות. אין ערובה לכך שהפלט יהיה דטרמיניסטי. בנוסף, שינוי של הגדרות המודל או הפרמטרים, כמו רמת האקראיות, יכול לגרום לשינויים בתגובה גם כשמשתמשים באותו ערך התחלתי. כברירת מחדל, נעשה שימוש בערך אקראי של seed.

זו תכונה בגרסת טרום-השקה (Preview).

המאמרים הבאים