עריכת ניסויים בערכי פרמטרים

כל קריאה ששולחים למודל כוללת ערכי פרמטרים שקובעים איך המודל ייצור תשובה. המודל יכול להפיק תוצאות שונות עבור ערכים שונים של פרמטרים. כדאי להתנסות עם ערכים שונים של פרמטרים כדי לקבל את הערכים הכי טובים למשימה. יכול להיות שיהיו הבדלים בין הפרמטרים שזמינים במודלים שונים. הפרמטרים הנפוצים ביותר הם:

  • מספר מקסימלי של טוקנים בפלט
  • טמפרטורה
  • Top-P
  • Top-K
  • מקור

מספר מקסימלי של טוקנים בפלט

המספר המקסימלי של טוקנים שאפשר ליצור בתשובה. טוקן הוא בערך ארבעה תווים. ‫100 אסימונים מקבילים בערך ל-60-80 מילים.

כדי לקבל תשובות קצרות יותר, מציינים ערך נמוך יותר, וכדי לקבל תשובות ארוכות יותר, מציינים ערך גבוה יותר.

טמפרטורה

רמת האקראיות משמשת לדגימה במהלך תהליך יצירת תשובות, שמתרחש כשמחילים את הפרמטרים topP ו-topK. הפרמטר Temperature שולט במידת האקראיות בבחירת האסימון. טמפרטורות נמוכות טובות להנחיות שדורשות תשובה פחות פתוחה או יצירתית, ואילו טמפרטורות גבוהות יכולות להוביל לתוצאות יותר מגוונות או יצירתיות. רמת אקראיות של 0 פירושה שהטוקנים עם ההסתברות הכי גבוהה תמיד נבחרים. במקרה כזה, התשובות להנחיה נתונה הן ברובן דטרמיניסטיות, אבל עדיין יכול להיות שינוי קל.

אם המודל מחזיר תשובה כללית מדי או קצרה מדי, או אם המודל מחזיר תשובת ברירת מחדל, נסו להגדיל את הטמפרטורה. אם המודל נכנס ליצירה אינסופית, יכול להיות שהגדלת רמת האקראיות ל-0.1 לפחות תביא לתוצאות טובות יותר.

‫1.0 הוא ערך הטמפרטורה המומלץ להתחלה.

מודלים של Gemini תומכים בערך טמפרטורה בין 0.0 ל-2.0. מודלים מוגדרים עם טמפרטורה של 1.0 כברירת מחדל.

Top-P

ההגדרה Top-P משנה את האופן שבו המודל בוחר אסימונים לפלט. הטוקנים נבחרים מהסביר ביותר לסביר פחות עד שסכום ההסתברויות שלהם שווה לערך של Top-P. לדוגמה, אם לאסימונים A, ‏ B ו-C יש הסתברות של 0.3, ‏ 0.2 ו-0.1, והערך של top-P הוא 0.5, המודל יבחר באסימון A או באסימון B כאסימון הבא באמצעות טמפרטורה, ויפסול את C כמועמד.

כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר, וכדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.

Top-K

ההגדרה Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. ערך של 1 בפרמטר top-K אומר שהטוקן הבא שנבחר הוא הטוקן הסביר ביותר מבין כל הטוקנים באוצר המילים של המודל (נקרא גם פענוח חמדני), בעוד שערך של 3 אומר שהטוקן הבא נבחר מבין שלושת הטוקנים הסבירים ביותר באמצעות רמת אקראיות.

בכל שלב של בחירת אסימון, המערכת דוגמת את האסימונים המובילים מתוך K האסימונים עם ההסתברות הכי גבוהה. לאחר מכן, האסימונים מסוננים עוד יותר על סמך top-P, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.

כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר, וכדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.

מקור

כשמגדירים ערך מסוים ל-seed, המודל עושה כמיטב יכולתו כדי לספק את אותה תשובה לבקשות חוזרות. אין ערובה לפלט דטרמיניסטי. בנוסף, שינוי של הגדרות המודל או הפרמטרים, כמו רמת האקראיות, יכול לגרום לשינויים בתגובה גם כשמשתמשים באותו ערך התחלתי. כברירת מחדל, נעשה שימוש בערך אקראי של seed.

זו תכונה בגרסת טרום-השקה (Preview).

המאמרים הבאים