מבוא לכוונון

כוונון המודל הוא תהליך חיוני להתאמת Gemini לביצוע משימות ספציפיות בצורה מדויקת יותר. כדי לכוונן מודל, מספקים לו מערך נתונים לאימון שמכיל קבוצה של דוגמאות למשימות ספציפיות במורד הזרם.

בדף הזה מוסבר איך מכווננים את המודלים של Gemini, אילו אפשרויות כוונון זמינות ב-Gemini ומתי כדאי להשתמש בכל אחת מהן.

היתרונות של כוונון מודלים

כוונון מודלים הוא דרך יעילה להתאים מודלים גדולים למשימות שלכם. זהו שלב חשוב בשיפור האיכות והיעילות של המודל. כוונון מודלים מספק את היתרונות הבאים:

  • איכות גבוהה יותר למשימות ספציפיות
  • מודל חזק יותר
  • זמן אחזור נמוך יותר של הסקת מסקנות ועלות נמוכה יותר בגלל הנחיות קצרות יותר

כוונון לעומת עיצוב הנחיות

  • הנדסת פרומפטים עם מודלי Gemini מאומנים מראש: הנדסת פרומפטים היא האומנות של יצירת הוראות יעילות כדי להנחות מודלי AI כמו Gemini ליצור את הפלט הרצוי. התהליך כולל עיצוב של הנחיות שמעבירות בצורה ברורה את המשימה, את הפורמט הרצוי ואת ההקשר הרלוונטי. אתם יכולים להשתמש ביכולות של Gemini בהגדרה מינימלית. הוא מתאים במיוחד:
    • נתונים מתויגים מוגבלים: אם יש לכם כמות קטנה של נתונים מתויגים או שאתם לא יכולים להרשות לעצמכם תהליך ארוך של כוונון עדין.
    • יצירת אב טיפוס מהיר: כשצריך לבדוק קונספט במהירות או לקבל ביצועים בסיסיים בלי להשקיע הרבה בכוונון עדין.
  • כוונון מותאם אישית של מודלי Gemini: כדי לקבל תוצאות מותאמות יותר, Gemini מאפשר לכם לכוונן את המודלים שלו על סמך מערכי הנתונים הספציפיים שלכם. כדי ליצור מודל AI שמתאים לתחום הספציפי שלכם, כדאי לשקול לבצע כוונון עדין. התהליך הזה כולל אימון מחדש של מודל הבסיס על מערך נתונים מתויג משלכם, והתאמת המשקלים שלו למשימה ולנתונים שלכם. אתם יכולים להתאים את Gemini לתרחישי השימוש שלכם. כוונון עדין הוא הכי יעיל במקרים הבאים:
    • יש לכם נתונים מתויגים: קבוצת נתונים גדולה לאימון (למשל, 100 דוגמאות או יותר), שמאפשרת למודל ללמוד לעומק את הפרטים הספציפיים של המשימה.
    • משימות מורכבות או ייחודיות: בתרחישים שבהם אסטרטגיות מתקדמות של הנחיות לא מספיקות, וצריך מודל שמותאם לנתונים שלכם.

כדי למצוא את ההנחיה האופטימלית, כדאי להתחיל בהנחיה. אחר כך, עוברים לכוונון עדין (אם צריך) כדי לשפר עוד יותר את הביצועים או לתקן שגיאות חוזרות. הוספת דוגמאות יכולה להועיל, אבל חשוב לבדוק איפה המודל טועה לפני שמוסיפים עוד נתונים. כדי להשיג ביצועים טובים, חשוב להשתמש בנתונים איכותיים עם תוויות מדויקות. האיכות חשובה יותר מהכמות. בנוסף, הנתונים שבהם אתם משתמשים לכוונון צריכים לשקף את ההתפלגות, הפורמט וההקשר של ההנחיות שהמודל נתקל בהן בסביבת הייצור.

לכוונון יש את היתרונות הבאים על פני עיצוב הנחיות:

  • מאפשרת התאמה אישית מעמיקה של המודל ומשפרת את הביצועים במשימות ספציפיות.
  • להתאים את המודל לתחביר מותאם אישית, להוראות ולכללים סמנטיים ספציפיים לדומיין.
  • התוצאות עקביות ואמינות יותר.
  • יכולת לעבד יותר דוגמאות בבת אחת.
  • כדי לחסוך בעלויות ההיקש, אפשר להסיר מהפרומפטים דוגמאות מעטות (few-shot) והוראות ארוכות.

גישות לכוונון

כוונון יעיל בפרמטרים וכוונון מלא הן שתי גישות להתאמה אישית של מודלים גדולים. לכל אחת מהשיטות יש יתרונות והשלכות מבחינת איכות המודל ויעילות המשאבים.

כוונון יעיל בפרמטרים

כוונון יעיל בפרמטרים, שנקרא גם כוונון מתאם, מאפשר התאמה יעילה של מודלים גדולים למשימות או לדומיין הספציפיים שלכם. בכוונון יעיל של פרמטרים, המערכת מעדכנת קבוצת משנה קטנה יחסית של הפרמטרים של המודל במהלך תהליך הכוונון.

כדי להבין איך Gemini Enterprise Agent Platform תומכת בכוונון ובהצגה של מתאמים, אתם יכולים לקרוא את המאמר Adaptation of Large Foundation Models.

כוונון מלא

בכוונון מלא, כל הפרמטרים של המודל מתעדכנים, כך שהוא מתאים למשימות מורכבות מאוד ויכול להגיע לאיכות גבוהה יותר. עם זאת, כוונון מלא דורש יותר משאבי מחשוב גם לכוונון וגם להצגה, מה שמוביל לעלויות כוללות גבוהות יותר.

כוונון יעיל בפרמטרים בהשוואה לכוונון מלא

כוונון יעיל בפרמטרים הוא חסכוני יותר במשאבים ובעלויות בהשוואה לכוונון מלא. הוא משתמש בהרבה פחות משאבי מחשוב לאימון. הוא יכול להתאים את המודל מהר יותר באמצעות מערך נתונים קטן יותר. הגמישות של כוונון יעיל של פרמטרים מאפשרת למידה של כמה משימות בלי צורך באימון מחדש נרחב.

שיטות כוונון נתמכות

ב-Agent Platform אפשר להשתמש בכוונון מפוקח (SFT), בכוונון לפי העדפות ובכוונון באמצעות למידה מחוזקת כדי להתאים אישית מודלים בסיסיים. אתם יכולים גם להשתמש בנקודות ביקורת של כוונון מודל ובכוונון רציף בהרצות אימון.

בטבלה הבאה מוצגת השוואה בין שיטות הכוונון העיקריות:

שיטת הכוונון איך זה עובד גודל אופייני של מערך נתונים מתאים במיוחד בשביל
כוונון מפוקח (SFT) המודל מתאמן על הדגמות מתויגות של קלט ופלט מאות עד אלפי דוגמאות מתויגות עיצוב פלט קפדני, סיווג, ניתוח סנטימנטים, חילוץ ישויות וסגנון או טון ספציפיים לתחום.
כוונון ההעדפות אופטימיזציה של העדפות זוגיות (תשובות שנבחרו לעומת תשובות שנדחו) מאות עד אלפי זוגות של העדפות התאמת ההתנהגות של המודל להעדפות אנושיות סובייקטיביות, למידת התועלת או לטון השיחה.
כוונון באמצעות למידה עם חיזוקים (RLFT) יוצר תגובות ורצפי חשיבה מועמדים (רמת חשיבה MINIMAL או HIGH) וממקסם את הציונים של עד 16 פונקציות תגמול משוקללות עשרות עד כמה מאות הנחיות עם מטא-נתונים של references חשיבה רציונלית רב-שלבית, כללי דומיין מורכבים, משימות שניתנות לאימות (כמו יצירת קוד או SQL) ואופטימיזציה של מודלים של חשיבה בלי לפגוע באיכות החשיבה הרציונלית.

כוונון מפוקח (SFT)

כוונון מפוקח (SFT) משפר את הביצועים של המודל על ידי לימוד מיומנות חדשה. הנתונים מכילים מאות דוגמאות מתויגות שמשמשות כדי ללמד את המודל לחקות התנהגות או משימה מסוימת. כל דוגמה מתויגת ממחישה מה אתם רוצים שהמודל יפיק במהלך ההסקה.

כשמריצים משימת כוונון מפוקח, המודל לומד פרמטרים נוספים שעוזרים לו לקודד את המידע שנדרש כדי לבצע את משימת היעד או ללמוד את ההתנהגות הצפויה. הפרמטרים האלה משמשים במהלך ההסקה. הפלט של משימת הכוונון הוא מודל חדש שמשלב את הפרמטרים החדשים שנלמדו עם המודל המקורי.

כוונון מפוקח של מודל טקסט הוא אפשרות טובה כשהפלט של המודל לא מורכב וקל יחסית להגדיר אותו. כוונון מפוקח מומלץ לסיווג, לניתוח סנטימנטים, לחילוץ ישויות, לסיכום תוכן לא מורכב ולכתיבת שאילתות ספציפיות לתחום.

מודלים שתומכים בכוונון עדין בפיקוח (SFT)

המודלים הבאים של Gemini תומכים בכוונון בפיקוח:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

למידע נוסף על שימוש בכוונון מפוקח עם כל סוג נתונים, קראו את הדפים הבאים: כוונון סוגי נתונים של טקסט, תמונה, אודיו, וידאו ומסמך.

כוונון ההעדפות

כוונון ההעדפות ב-Agent Platform מתבסס על כוונון מפוקח (SFT) ומאפשר לכם לכוונן את מודלי Gemini באמצעות נתוני משוב אנושי.

כוונון העדפות מאפשר למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות וכוונון מפוקח (SFT) בלבד.

מודלים שתומכים בכוונון העדפות

המודלים הבאים של Gemini תומכים בכוונון לפי העדפות:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על כוונון העדפות זמין במאמר מידע על כוונון העדפות למודלים של Gemini.

כוונון באמצעות למידה מתחזקת

כוונון באמצעות למידה מתגמלת (RLFT) מתאים את מודלי Gemini באמצעות ניסוי וטעייה, בהנחיית פונקציות תגמול פרוגרמטיות או מבוססות-מודל. במהלך האימון, המודל דוגם כמה תשובות מועמדות ורצפי חשיבה (רמת חשיבה MINIMAL או HIGH) לכל הנחיה, מעריך אותן באמצעות הגדרת התגמול בסולם של [-1, 1], ומעדכן מתאם LoRA יעיל מבחינת פרמטרים כדי למקסם את התגמול.

בניגוד לכוונון מפוקח (SFT), שמשמיט טוקנים של חשיבה בשלב הביניים במהלך האימון, כוונון באמצעות למידה מחוזקת מבצע אופטימיזציה ישירה של חשיבה רציונלית רב-שלבית, ומכליל היטב עם קבוצות נתונים קטנות יותר (לרוב עשרות עד כמה מאות הנחיות). אתם יכולים להעריך את הפלט באמצעות פונקציית תגמול אחת או שילוב משוקלל של עד 16 פונקציות תגמול בארבעה סוגי ניקוד:

  • התאמת מחרוזת: השוואה בין הפלט מהמודל לבין שדות אמת קרקע (ground truth) במילון references של מערך הנתונים (התאמה מדויקת של מחרוזת או JSON, עם אפשרות לחילוץ ביטויים רגולריים).
  • מדרג אוטומטי מבוסס-Gemini: משתמש בקריטריון הערכה של LLM-as-a-judge כדי להחזיר ציון מספרי או פסיקה מובנית.
  • הרצת קוד: הרצה של פונקציית Python evaluate(example, response) מותאמת אישית בסביבת ארגז חול מנוהלת.
  • ‫Cloud Run: שליחת התשובות של המועמדים לנקודת קצה (endpoint) מותאמת אישית של HTTP שמתארחת ב-Cloud Run, לצורך אימות ספציפי לדומיין.

מודלים שתומכים בכוונון עדין באמצעות למידה מחוזקת

אפשר לבצע כוונון באמצעות למידה עם חיזוקים במודלים הבאים של Gemini:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על כוונון באמצעות למידה מחוזקת זמין במאמר מידע על כוונון באמצעות למידה מחוזקת.

נקודות ביקורת של כוונון מודל

נקודות ביקורת של כוונון מודל מאפשרות לכם לשמור את התקדמות הכוונון, להשוות בין הביצועים של נקודות הביקורת ולבחור את נקודת הביקורת עם הביצועים הטובים ביותר, לפי תקופה (epoch) לכוונון מפוקח (SFT) או לפי מרווח שלבים (checkpointInterval) לכוונון באמצעות למידה מתגמלת (RL).

מודלים שתומכים בנקודות ביקורת של כוונון מודל

אפשר להשתמש בנקודות ביקורת של כוונון מודל במודלים הבאים של Gemini:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על נקודות ביקורת של כוונון מודל זמין במאמרים שימוש בנקודות ביקורת בכוונון של Gemini וסטטוס המשימה, מדדים ומעקב אחרי כוונון עדין של למידת חיזוק.

כוונון רציף

כוונון רציף מאפשר לכם להמשיך לכוונן מודל או נקודת ביקורת של מודל שכבר כוונו. אתם יכולים להריץ תקופות נוספות של כוונון מפוקח (SFT) במודל מכוונן (SFT -> SFT), להחיל כוונון של למידה מתגמלת על נקודת ביקורת של כוונון מפוקח כדי לשלב פורמט קפדני עם חשיבה משופרת (SFT -> RLFT), או להמשיך את האימון מנקודת ביקורת קודמת של למידה מתגמלת (RLFT -> RLFT).

מודלים שתומכים בכוונון רציף

המודלים הבאים של Gemini תומכים בכוונון רציף:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על כוונון רציף זמין במאמרים מידע על כוונון רציף של מודלים של Gemini וכוונון רציף באמצעות כוונון עדין של למידת חיזוק.

המאמרים הבאים