למידת חיזוק היא טכניקה יעילה להתאמת מודלים גדולים של שפה (LLMs) כדי למקסם את תגמולי המשוב שמוגדרים על ידי פונקציית תגמול שהוגדרה על ידי המשתמש. המודל בודק הרבה תשובות אפשריות, בודק את התגמול המספרי של כל אחת מהן, ומשנה בהדרגה את ההתנהגות שלו כך שהסיכוי לתשובות עם תגמול גבוה גדל והסיכוי לתשובות עם תגמול נמוך קטן. הגישה הזו מצטיינת בתרחישים שבהם נדרשת הסקת מסקנות מרובת שלבים, קבלת החלטות מורכבות או הבנה של ניואנסים עדינים בהנחיות.
הכוונון העדין של Gemini באמצעות למידת חיזוק מאפשר לכם לכוונן את Gemini באמצעות הנחיות משלכם ופונקציות תגמול שהגדרתם בעצמכם. אתם יכולים להשתמש בו כדי לשפר את יכולת החשיבה הרציונלית ואת איכות התוצאות של מודלים של Gemini לתרחישי שימוש ולתהליכי עבודה של סוכנים משלכם.
איך זה עובד
כוונון עדין של מודלים גדולים של שפה באמצעות למידת חיזוק פועל באופן איטרטיבי כדי לשפר את ההתנהגות של המודל. במהלך כל איטרציה, המודל יוצר תשובות לקבוצה של הנחיות. לאחר מכן, התשובות האלה מוערכות על ידי פונקציית תגמול שהוגדרה על ידי המשתמש, שמכמתת את איכות הפלט שנוצר על סמך הקריטריונים הרצויים. השירות משתמש באות התגמול הזו כדי לעדכן את הפרמטרים של המודל באמצעות אלגוריתמים של למידה חיזוקית, במטרה לעודד התנהגויות שמובילות לתגמולים גבוהים יותר. התהליך האיטרטיבי הזה של יצירה, הערכה ועדכון מאפשר למודל ללמוד ולהסתגל לתרחישי השימוש הספציפיים שלכם.
התרשים הבא מציג את תהליך ההתאמה העדינה של למידת חיזוק:
תכונות עיקריות
פונקציות תגמול שניתנות להתאמה אישית: אתם יכולים להגדיר פונקציות תגמול משלכם כדי לבצע אופטימיזציה מדויקת למגוון רחב של תרחישי שימוש מותאמים אישית, ולתאם את התנהגות המודל עם יעדים ספציפיים. מידע נוסף על סוגי התגמולים הנתמכים מופיע בדף פונקציות תגמול.
מתאמים להתאמה יעילה: התאמה עדינה של למידת חיזוק נעשית באמצעות מתאמים, שמאפשרים התאמה יעילה תוך שימוש חוזר בתשתית הקיימת להצגת מודעות.
כמה רמות חשיבה: השירות תומך בכוונון בשתי רמות חשיבה,
MINIMALו-HIGH(חשיבה דינמית), כך שתוכלו לבחור את הגישה שהכי מתאימה ליעדי הלמידה של המודל ולדפוסי יצירת התגובות הרצויים. פרטים נוספים מופיעים בדף היפרפרמטרים.כוונון מתמשך: שיפור נוסף של מודל שכבר כוונן על ידי שילוב של דוגמאות אימון או תקופות אימון נוספות. שימוש במודל או בנקודת ביקורת קיימים שעברו התאמה כבסיס מאפשר תהליך יעיל יותר של התאמת ניסויים. פרטים נוספים זמינים בדף בנושא התאמה מתמשכת.
מערכי נתונים מולטי-מודאליים: תמיכה במודאליות של נתוני טקסט, תמונה, וידאו (Gemini 3.5 Flash בלבד) ואודיו.
מתי כדאי להשתמש בכוונון עדין של למידת חיזוק
עדיף להשתמש בשיטת הכוונון העדין של למידת חיזוק כדי לכוונן מודלים של LLM במצבים שבהם לא ברור מהן האסטרטגיות האופטימליות באמצעות למידה מפוקחת. השימוש הזה כולל משימות שבהן המטרה היא לבצע אופטימיזציה של מדדים ספציפיים בלי תוויות של נתוני אמת שזמינות בקלות, משימות שבהן התאמה להעדפות של בני אדם היא חיונית (ויש שיטה להערכה), ומשימות שדורשות הרבה חשיבה ונהנות משיפורים חוזרים ומגילוי תובנות.
אלה כמה תרחישים שבהם מומלץ לבצע כוונון עדין של למידת חיזוק:
ביצוע הוראות מורכבות: כשהמודל צריך לבצע הוראות מורכבות שבהן הפלט ה"נכון" הוא לא תשובה אחת, אלא דורש סדרה של בדיקות. למידת חיזוק יכולה לעזור למודל ללמוד איך להתמודד עם קבוצות מורכבות כאלה של הוראות.
יצירת תוכן קריאייטיבי: למשימות כמו יצירת כתיבה קריאייטיבית, שירה או קוד מאוד מיוחד, שקשה להגדיר לגביהן מדדים אובייקטיביים. למידת חיזוק, עם פונקציית תגמול מתוכננת היטב (שעשויה לכלול משוב אנושי או הערכת מומחים), יכולה להנחות את המודל ליצירת פלט רצוי וחדשני יותר.
משימות שדורשות חשיבה רציונלית: במשימות שדורשות חשיבה רציונלית רבה, כמו פתרון של חידות מילים או בעיות מתמטיות, למידת חיזוק יכולה לעודד את המודל לבחון רצפים שונים של 'מחשבות' כדי ללמוד אילו דפוסי חשיבה רציונלית הם הכי יעילים בפתרון בעיות.
מודלים ואזורים נתמכים
המודלים הבאים של Gemini תומכים בשיפור דיוק באמצעות למידת חיזוק:
Gemini 3.5 Flash
| מפרט | ערך |
|---|---|
| נקודות קצה נתמכות לכוונון מודלים |
|
| נקודות קצה נתמכות לפריסת מודל שעבר התאמה |
|
| גרסת ה-API | v1beta1 בלבד |
Gemini 3.1 Flash-Lite
| מפרט | ערך |
|---|---|
| נקודות קצה נתמכות לכוונון מודלים |
|
| נקודות קצה נתמכות לפריסת מודל שעבר התאמה |
|
| גרסת ה-API | v1beta1 בלבד |
אמצעי כוונון נתמכים
התאמה עדינה של מודלים באמצעות למידת חיזוק תומכת במודלים הבאים של נתונים במערכי הנתונים להתאמה:
- טקסט
- אודיו
- תמונה
- סרטון (נתמך רק ב-Gemini 3.5 Flash)
לגבי מגבלות על מערכי נתונים לפי אופן שימוש (כמו מספר מקסימלי של קבצים לכל הנחיה, גודל קובץ מקסימלי ואורך כולל מקסימלי), אפשר לעיין בדף מערך נתונים לכוונון.
כוונון רציף
אפשר להשתמש בפלט של משימת כוונון קודמת כבסיס למשימת כוונון חדשה של למידת חיזוק. אלה התבניות של כוונון מתמשך שנתמכות:
- כוונון עדין מפוקח → כוונון עדין של למידת חיזוק
- כוונון עדין של למידת חיזוק → כוונון עדין של למידת חיזוק
פרטים על ההגדרה מופיעים בדף התאמה מתמשכת.
הכנסת המודל המכוונן לשימוש בסביבת הייצור
אחרי שמסיימים בהצלחה עבודת כוונון באמצעות למידת חיזוק במודל הבסיסי של מודל Gemini, מודל מכוונן שמבוסס על נקודת ביקורת אחרונה נפרס לנקודת קצה בפרויקט. מודלים שעברו התאמה משתמשים באותה אסטרטגיה של נקודת קצה להצגת מודלים כמו מודל הבסיס. לדוגמה, אם מריצים משימת אופטימיזציה ב-us-central1, המודל שעבר אופטימיזציה נפרס בנקודת קצה (mREP) של us במספר אזורים.
כדי לאחזר את נקודת הקצה של המודל המכוונן שנפרס ולהריץ עליו הסקה, אפשר לעיין במדריך למתחילים של מסוףGoogle Cloud או במדריך למתחילים של API.
תמחור
התאמת המחירים
התאמה עדינה של Gemini באמצעות למידת חיזוק יוצרת טוקנים בשני שלבים: שלב הדגימה ושלב האימון. האסימונים שנוצרים במהלך שלב האימון מחויבים בהתאם לקטע Model Tuning (התאמה של מודל) בדף Gemini Enterprise Agent Platform pricing (תמחור של Gemini Enterprise Agent Platform).
תמחור של הסקת מסקנות
אחרי הכוונון, עדיין חלות עלויות על הסקת מסקנות (בקשת חיזוי) עבור המודל המכוונן. המחיר של נקודת הקצה של המודל המכוונן לחיזוי מסקנות ממודל, החל מ-Gemini 3, הוא פי 1.5 מהמחיר של מודל הבסיס. מידע נוסף מופיע במאמר גרסאות יציבות זמינות של מודלים של Gemini.
אם מגדירים את שירות ההערכה של AI גנרטיבי להפעלה אוטומטית במהלך ההתאמה, החיוב על ההערכות מתבצע כעל משימות של חיזוי באצווה. מידע נוסף מופיע בקטע 'שיפור המודל' בדף התמחור של Gemini Enterprise Agent Platform.
המאמרים הבאים
- כדי ליצור את משימת הכוונון העדין הראשונה שלכם באמצעות למידת חיזוק, פועלים לפי ההוראות במאמר Google Cloud תחילת העבודה עם הקונסולה או במאמר תחילת העבודה עם API.
- איך מכינים מערך נתונים להתאמה ומגדירים פונקציות תגמול
- מידע על פריסת מודל Gemini שעבר התאמה