מבוא לכוונון

כוונון המודל הוא תהליך חיוני להתאמת Gemini לביצוע משימות ספציפיות בצורה מדויקת יותר. כדי לכוונן מודל, מספקים לו מערך נתונים לאימון שמכיל קבוצה של דוגמאות למשימות ספציפיות במורד הזרם.

בדף הזה מוסבר איך מכווננים את המודלים של Gemini, אילו אפשרויות כוונון זמינות ל-Gemini ומתי כדאי להשתמש בכל אחת מהן.

היתרונות של כוונון מודלים

כוונון מודלים הוא דרך יעילה להתאים אישית מודלים גדולים למשימות שלכם. זהו שלב חשוב בשיפור האיכות והיעילות של המודל. כוונון מודלים מספק את היתרונות הבאים:

  • איכות גבוהה יותר למשימות ספציפיות
  • מודל חזק יותר
  • זמן אחזור נמוך יותר של הסקת מסקנות ועלות נמוכה יותר בגלל הנחיות קצרות יותר

כוונון לעומת עיצוב הנחיות

  • הנחיות למודלים מאומנים מראש של Gemini: הנחיה היא האומנות של יצירת הוראות יעילות כדי להנחות מודלים של AI כמו Gemini ליצור את הפלט הרצוי. התהליך כולל עיצוב של הנחיות שמעבירות בצורה ברורה את המשימה, את הפורמט הרצוי ואת ההקשר הרלוונטי. אתם יכולים להשתמש ביכולות של Gemini עם הגדרה מינימלית. הוא מתאים במיוחד:
    • נתונים מתויגים מוגבלים: אם יש לכם כמות קטנה של נתונים מתויגים או שאתם לא יכולים להרשות לעצמכם תהליך ארוך של כוונון עדין.
    • יצירת אב טיפוס מהיר: כשצריך לבדוק קונספט במהירות או לקבל ביצועים בסיסיים בלי להשקיע הרבה בכוונון.
  • כוונון מותאם אישית של מודלי Gemini: כדי לקבל תוצאות מותאמות יותר, Gemini מאפשר לכם לכוונן את המודלים שלו על סמך מערכי הנתונים הספציפיים שלכם. כדי ליצור מודל AI שמתאים לתחום הספציפי שלכם, כדאי לשקול כוונון עדין. התהליך הזה כולל אימון מחדש של מודל הבסיס על קבוצת נתונים מתויגת משלכם, והתאמה של המשקלים שלו למשימה ולנתונים שלכם. אתם יכולים להתאים את Gemini לתרחישי השימוש שלכם. כוונון עדין הוא הכי יעיל במקרים הבאים:
    • יש לכם נתונים מתויגים: קבוצת נתונים גדולה לאימון (למשל 100 דוגמאות או יותר), שמאפשרת למודל ללמוד לעומק את פרטי המשימה.
    • משימות מורכבות או ייחודיות: בתרחישים שבהם אסטרטגיות מתקדמות של הנחיות לא מספיקות, וצריך מודל שמותאם לנתונים שלכם.

כדי למצוא את ההנחיה האופטימלית, כדאי להתחיל בהנחיה. אחר כך, עוברים לכוונון עדין (אם צריך) כדי לשפר עוד יותר את הביצועים או לתקן שגיאות שחוזרות על עצמן. הוספת דוגמאות יכולה להועיל, אבל חשוב לבדוק איפה המודל טועה לפני שמוסיפים עוד נתונים. כדי להשיג ביצועים טובים, חשוב להשתמש בנתונים איכותיים עם תוויות מדויקות. האיכות חשובה יותר מהכמות. בנוסף, הנתונים שבהם אתם משתמשים לכוונון צריכים לשקף את ההתפלגות, הפורמט וההקשר של ההנחיות שהמודל נתקל בהן בסביבת הייצור.

הכוונה מספקת את היתרונות הבאים בהשוואה לעיצוב הנחיות:

  • מאפשרת התאמה אישית מעמיקה של המודל ומשפרת את הביצועים במשימות ספציפיות.
  • להתאים את המודל לתחביר, להוראות ולכללים סמנטיים ספציפיים לדומיין.
  • התוצאות עקביות ואמינות יותר.
  • יכולת לעבד יותר דוגמאות בבת אחת.
  • כדי לחסוך בעלויות ההיקש, אפשר להסיר מהפרומפטים דוגמאות מעטות (few-shot) והוראות ארוכות.

גישות לכוונון

כוונון יעיל בפרמטרים וכוונון מלא הן שתי גישות להתאמה אישית של מודלים גדולים. לכל אחת מהשיטות יש יתרונות והשלכות מבחינת איכות המודל ויעילות המשאבים.

כוונון יעיל בפרמטרים

כוונון יעיל בפרמטרים, שנקרא גם כוונון מתאם, מאפשר התאמה יעילה של מודלים גדולים למשימות או לתחום הספציפיים שלכם. בכוונון יעיל של פרמטרים, מעדכנים קבוצת משנה קטנה יחסית של הפרמטרים של המודל במהלך תהליך הכוונון.

כדי להבין איך Gemini Enterprise Agent Platform תומכת בכוונון ובהצגה של מתאמים, אתם יכולים לקרוא את המאמר Adaptation of Large Foundation Models.

כוונון מלא

בכוונון מלא, כל הפרמטרים של המודל מתעדכנים, ולכן הוא מתאים להתאמת המודל למשימות מורכבות מאוד, עם פוטנציאל להשגת איכות גבוהה יותר. עם זאת, כוונון מלא דורש משאבי מחשוב רבים יותר גם לכוונון וגם להצגה, מה שמוביל לעלויות כוללות גבוהות יותר.

כוונון יעיל בפרמטרים לעומת כוונון מלא

כוונון יעיל בפרמטרים הוא חסכוני יותר במשאבים ובעלויות בהשוואה לכוונון מלא. הוא משתמש בהרבה פחות משאבי מחשוב לאימון. הוא יכול להתאים את המודל מהר יותר באמצעות מערך נתונים קטן יותר. הגמישות של כוונון יעיל של פרמטרים מאפשרת למידה של כמה משימות בלי צורך באימון מחדש נרחב.

שיטות כוונון נתמכות

פלטפורמת Agent תומכת בכוונון מפוקח (SFT), בכוונון לפי העדפות ובכוונון באמצעות למידה מתגמלת כדי להתאים אישית מודלים בסיסיים. אתם יכולים גם להשתמש בנקודות ביקורת של כוונון מודל ובכוונון רציף בהרצות אימון.

בטבלה הבאה מוצגת השוואה בין השיטות העיקריות לכוונון:

שיטת הכוונון איך זה עובד גודל אופייני של מערך נתונים מתאים במיוחד בשביל
כוונון מפוקח (SFT) המודל מתאמן על הדגמות מתויגות של קלט ופלט מאות עד אלפי דוגמאות מתויגות עיצוב פלט קפדני, סיווג, ניתוח סנטימנטים, חילוץ ישויות וסגנון או טון ספציפיים לתחום.
כוונון ההעדפות אופטימיזציה של העדפות זוגיות (תשובות שנבחרו לעומת תשובות שנדחו) מאות עד אלפי צמדי העדפות התאמת ההתנהגות של המודל להעדפות סובייקטיביות של בני אדם, למידת התועלת או לטון השיחה.
כוונון באמצעות למידה מחוזקת (RLFT) יוצר מסלולי חשיבה ותשובות מועמדות (רמת חשיבה MINIMAL או HIGH) וממקסם את הציונים של עד 16 פונקציות תגמול משוקללות עשרות עד כמה מאות הנחיות עם מטא-נתונים של references חשיבה רציונלית רב-שלבית, כללי דומיין מורכבים, משימות שניתנות לאימות (כמו יצירת קוד או SQL) ואופטימיזציה של מודלים של חשיבה בלי לפגוע באיכות החשיבה הרציונלית.

כוונון מפוקח (SFT)

כוונון מפוקח משפר את הביצועים של המודל על ידי לימוד מיומנות חדשה. נתונים שמכילים מאות דוגמאות מתויגות משמשים כדי ללמד את המודל לחקות התנהגות או משימה מסוימת. כל דוגמה מתויגת ממחישה מה אתם רוצים שהמודל יפיק במהלך ההסקה.

כשמריצים משימת כוונון מפוקח, המודל לומד פרמטרים נוספים שעוזרים לו לקודד את המידע שנדרש כדי לבצע את משימת היעד או ללמוד את ההתנהגות הצפויה. הפרמטרים האלה משמשים במהלך ההסקה. הפלט של משימת הכוונון הוא מודל חדש שמשלב את הפרמטרים החדשים שנלמדו עם המודל המקורי.

כוונון מפוקח של מודל טקסט הוא אפשרות טובה כשהפלט של המודל לא מורכב וקל יחסית להגדרה. כוונון מפוקח מומלץ לסיווג, לניתוח סנטימנטים, לחילוץ ישויות, לסיכום תוכן לא מורכב ולכתיבת שאילתות ספציפיות לדומיין.

מודלים שתומכים בכוונון עדין בפיקוח (SFT)

המודלים הבאים של Gemini תומכים בכוונון בפיקוח:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

למידע נוסף על שימוש בכוונון מפוקח עם כל סוג נתונים, עיינו בדפים הבאים: כוונון סוגי נתונים של טקסט, תמונה, אודיו, וידאו ומסמך.

כוונון העדפות

כוונון העדפות ב-Agent Platform מתבסס על כוונון מפוקח (SFT) ומאפשר לכם לכוונן את מודלי Gemini באמצעות נתוני משוב אנושי.

כוונון העדפות מאפשר למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות וכוונון מפוקח (SFT) בלבד.

מודלים שתומכים בכוונון העדפות

המודלים הבאים של Gemini תומכים בכוונון לפי העדפות:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על כוונון העדפות זמין במאמר מידע על כוונון העדפות למודלים של Gemini.

כוונון באמצעות למידה מתחזקת

כוונון באמצעות למידה מתחזקת (RLFT) מתאים את מודלי Gemini באמצעות ניסוי וטעייה, בהנחיית פונקציות תגמול פרוגרמטיות או מבוססות-מודל. במהלך האימון, המודל דוגם כמה תשובות מועמדות ונתיבי חשיבה (רמת חשיבה MINIMAL או HIGH) לכל הנחיה, מעריך אותם באמצעות הגדרת התגמול בסולם של [-1, 1], ומעדכן מתאם LoRA יעיל מבחינת פרמטרים כדי למקסם את התגמול.

בניגוד לכוונון מפוקח (SFT), שמשמיט טוקנים של חשיבה בשלב הביניים במהלך האימון, כוונון באמצעות למידה מחוזקת מבצע אופטימיזציה ישירה של חשיבה רציונלית רב-שלבית, ומכליל היטב עם מערכי נתונים קטנים יותר (לרוב עשרות עד כמה מאות הנחיות). אתם יכולים להעריך את הפלט באמצעות פונקציית תגמול אחת או שילוב משוקלל של עד 16 פונקציות תגמול בארבעה סוגי ניקוד:

  • התאמת מחרוזת: השוואה בין הפלט מהמודל לבין שדות אמת קרקע (ground truth) במילון references של מערך הנתונים (התאמה מדויקת של מחרוזת או JSON, עם אפשרות לחילוץ ביטויים רגולריים).
  • מדרג אוטומטי מבוסס-Gemini: משתמש בקריטריון הערכה של LLM-as-a-judge כדי להחזיר ציון מספרי או פסיקה מובנית.
  • הרצת קוד: הרצה של פונקציית Python evaluate(example, response) מותאמת אישית בסביבת ארגז חול מנוהלת.
  • ‫Cloud Run: שליחת התשובות של המועמדים לנקודת קצה מותאמת אישית של HTTP שמתארחת ב-Cloud Run, לצורך אימות ספציפי לדומיין.

מודלים שתומכים בכוונון עדין באמצעות למידה מחוזקת

אפשר לבצע כוונון באמצעות למידה עם חיזוקים במודלים הבאים של Gemini:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על כוונון באמצעות למידה עם חיזוקים זמין במאמר מידע על כוונון באמצעות למידה עם חיזוקים.

נקודות ביקורת של כוונון מודל

נקודות ביקורת של כוונון מודל מאפשרות לכם לשמור את התקדמות הכוונון, להשוות בין הביצועים של נקודות הביקורת ולבחור את נקודת הביקורת עם הביצועים הטובים ביותר, לפי תקופה (epoch) לכוונון מפוקח (SFT) או לפי מרווח שלבים (checkpointInterval) לכוונון באמצעות למידה מתגמלת (RLHF).

מודלים שתומכים בנקודות ביקורת של כוונון מודל

אפשר להשתמש בנקודות ביקורת של כוונון מודל במודלים הבאים של Gemini:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על נקודות ביקורת של כוונון מודל זמין במאמרים שימוש בנקודות ביקורת בכוונון של Gemini וסטטוס משימה, מדדים ומעקב אחרי כוונון עדין של למידת חיזוק.

כוונון רציף

כוונון רציף מאפשר לכם להמשיך לכוונן מודל או נקודת ביקורת של מודל שכבר כוונו. אתם יכולים להריץ תקופות נוספות של כוונון מפוקח (SFT) במודל מכוונן (SFT -> SFT), להחיל כוונון של למידת חיזוק על נקודת ביקורת של כוונון מפוקח כדי לשלב עיצוב קפדני עם חשיבה משופרת (SFT -> RLFT), או להמשיך את האימון מנקודת ביקורת קודמת של למידת חיזוק (RLFT -> RLFT).

מודלים שתומכים בכוונון רציף

המודלים הבאים של Gemini תומכים בכוונון רציף:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מידע נוסף על כוונון רציף זמין במאמרים מידע על כוונון רציף של מודלים של Gemini וכוונון רציף באמצעות כוונון עדין של למידת חיזוק.

המאמרים הבאים