מידע על כוונון עדין של מודלים של Gemini באמצעות למידת חיזוק

למידת חיזוק היא שיטה יעילה להתאמת מודלים גדולים של שפה (LLM) כדי למקסם את התגמולים על משוב שניתנים על ידי פונקציית תגמול שמוגדרת על ידי המשתמש. המודל בוחן הרבה תשובות אפשריות, בודק את התגמול המספרי לכל אחת מהן, ומשנה בהדרגה את ההתנהגות שלו כך שהתשובות עם התגמול הגבוה יהיו סבירות יותר והתשובות עם התגמול הנמוך יהיו סבירות פחות. הגישה הזו מתאימה במיוחד לתרחישים שדורשים חשיבה רציונלית לאורך כמה שלבים, קבלת החלטות מורכבות או הבנה של ניואנסים דקים בהנחיות.

כוונון באמצעות למידה מחוזקת ב-Gemini מאפשר לכם לכוונן את Gemini באמצעות הנחיות משלכם ופונקציות תגמול שהגדרתם בעצמכם. אתם יכולים להשתמש בו כדי לשפר את יכולת החשיבה ואת איכות הפלט של מודלים של Gemini בתרחישי שימוש וב-Agentic Workflows שלכם.

איך זה עובד

כוונון עדין באמצעות למידה מתחזקת פועל באופן איטרטיבי כדי לשפר את ההתנהגות של ה-LLM. בכל איטרציה, המודל יוצר תשובות לקבוצה של הנחיות. לאחר מכן, התשובות האלה מוערכות על ידי פונקציית תגמול שהמשתמש מגדיר, שמכמתת את איכות הפלט שנוצר על סמך קריטריוני היעד. השירות משתמש באות התגמול הזה כדי לעדכן את הפרמטרים של המודל באמצעות אלגוריתמים של למידה חיזוקית, במטרה לעודד התנהגויות שמובילות לתגמולים גבוהים יותר. התהליך האיטרטיבי הזה של יצירה, הערכה ועדכון פרמטרים מתאים את המודל לתרחישי השימוש הספציפיים שלכם.

בתרשים הבא מוצג תהליך העבודה הכולל של כוונון עדין באמצעות למידת חיזוק:

לולאת המשוב של כוונון עדין באמצעות למידת חיזוק: המודל דוגם פלטים מקלט ללא תווית, פונקציית תגמול (מבוססת-פונקציה, מבוססת-LLM או מותאמת אישית) נותנת ציון לכל פלט, ושלב הכוונון העדין של RL מעדכן את משקולות המודל באמצעות ירידה הדרגתית במדיניות. הלולאה יוצרת נקודת ביקורת של LLM שעבר כוונון עדין.
לולאת המשוב של למידת חיזוק לכוונון מדויק של מודלים של Gemini.

תכונות עיקריות

התכונות העיקריות של כוונון באמצעות למידה עם חיזוקים:

  • פונקציות תגמול בהתאמה אישית: אתם יכולים להגדיר פונקציות תגמול משלכם כדי לבצע אופטימיזציה מדויקת למגוון רחב של תרחישי שימוש מותאמים אישית, ולהתאים את התנהגות המודל ליעדים ספציפיים. למידע נוסף על סוגי התגמולים הנתמכים, עיינו בדף פונקציות תגמול.

  • מתאמים לכוונון יעיל: בכוונון באמצעות למידה מחוזקת משתמשים במתאמים שמאפשרים התאמה יעילה תוך שימוש חוזר בתשתית ההצגה הקיימת.

  • רמות חשיבה מרובות: השירות תומך בכוונון בשתי רמות חשיבה, MINIMAL ו-HIGH (חשיבה דינמית), כדי שתוכלו לבחור את הגישה שהכי מתאימה ליעדי האופטימיזציה ולדפוסי יצירת התשובות שלכם. לפרטים נוספים, ראו הדף Hyperparameters.

  • כוונון רציף: שיפור נוסף של מודל שכבר כוונן, על ידי שילוב של דוגמאות אימון או תקופות נוספות. שימוש במודל מכוונן או בנקודת ביקורת קיימים כבסיס מאפשר תהליך יעיל יותר של ניסויים בכוונון. פרטים נוספים זמינים בדף כוונון רציף.

  • מערכי נתונים מולטי-מודאליים: תמיכה בנתונים מסוג טקסט, תמונה, וידאו (רק ב-Gemini 3.5 Flash) ואודיו.

מתי כדאי להשתמש בכוונון באמצעות למידה מחוזקת

כוונון עדין באמצעות למידת חיזוק עדיף לכוונון עדין של מודלי LLM במצבים שבהם האסטרטגיות האופטימליות לא ברורות באמצעות למידה בפיקוח. זה כולל משימות שהמטרה שלהן היא לבצע אופטימיזציה של מדדים ספציפיים בלי תוויות זמינות לערכי סף (ground truth), משימות שבהן ההתאמה להעדפות של בני אדם היא קריטית (וקיימת שיטת שיפוט), ומשימות שדורשות חשיבה מעמיקה ונהנות משיפור ומבדיקה חוזרים ונשנים.

הנה כמה תרחישים שבהם עדיף להשתמש בכוונון באמצעות למידה עם חיזוקים:

  • מילוי הוראות מורכבות: כשהמודל צריך למלא הוראות מורכבות, שבהן הפלט "הנכון" הוא לא תשובה אחת אלא דורש קבוצה של בדיקות. למידת חיזוק יכולה להתאים את המודל כדי לנווט בקבוצות ההוראות המורכבות האלה.

  • יצירת תוכן יצירתי: למשימות כמו יצירת כתיבה יצירתית, שירה או קוד מיוחד מאוד, שבהן קשה להגדיר מדדים אובייקטיביים. למידת חיזוק, עם פונקציית תגמול מתוכננת היטב (שעשויה לכלול משוב אנושי או הערכת מומחים), יכולה להנחות את המודל להפיק פלט יעיל וחדשני יותר.

  • משימות חשיבה: במשימות שדורשות חשיבה מעמיקה, כמו פתרון חידות מילים או בעיות מתמטיות, למידה חיזוקית יכולה לעודד את המודל לבחון רצפי חשיבה שונים כדי לזהות אילו דפוסים הכי יעילים לפתרון בעיות.

מודלים ואזורים נתמכים

המודלים הבאים של Gemini תומכים בכוונון באמצעות למידה מחוזקת:

Gemini 3.5 Flash

מפרט ערך
נקודות קצה (endpoints) נתמכות לכוונון מודלים
  • ‫us-central1: us-central1-aiplatform.googleapis.com
  • ‫europe-west4: europe-west4-aiplatform.googleapis.com
נקודות קצה נתמכות לפרסום מודל מכוונן
  • נקודת קצה (endpoint) של us במספר אזורים (aiplatform.us.rep.googleapis.com) כשמבצעים כוונון ב-us-central1
  • נקודת קצה (endpoint) של eu במספר אזורים (aiplatform.eu.rep.googleapis.com) כשמבצעים כוונון ב-europe-west4
גרסת ה-API ‫v1beta1 בלבד

Gemini 3.1 Flash-Lite

מפרט ערך
נקודות קצה (endpoints) נתמכות לכוונון מודלים
  • ‫us-central1: us-central1-aiplatform.googleapis.com
  • ‫europe-west4: europe-west4-aiplatform.googleapis.com
נקודות קצה נתמכות לפרסום מודל מכוונן
  • נקודת קצה (endpoint) של us במספר אזורים (aiplatform.us.rep.googleapis.com) כשמבצעים כוונון ב-us-central1
  • נקודת קצה (endpoint) של eu במספר אזורים (aiplatform.eu.rep.googleapis.com) כשמבצעים כוונון ב-europe-west4
גרסת ה-API ‫v1beta1 בלבד

מודליות נתמכות לכוונון

כוונון עדין באמצעות למידה מחוזקת תומך במודלים הבאים של נתונים בקבוצות הנתונים לכוונון:

  • טקסט
  • אודיו
  • תמונה
  • סרטון (נתמך רק ב-Gemini 3.5 Flash)

בדף מערך נתונים לכוונון מפורטות המגבלות על מערכי נתונים לכל מודל (כמו מספר הקבצים המקסימלי לכל הנחיה, גודל הקובץ המקסימלי והאורך הכולל המקסימלי).

כוונון רציף

אתם יכולים להשתמש בפלט של משימת כוונון קודמת כבסיס למשימה חדשה של כוונון באמצעות למידה מחוזקת. אלה דפוסי הכוונון הרציף שנתמכים:

  • כוונון מפוקח (SFT) ← כוונון באמצעות למידה מתגמלת (RL)
  • כוונון עדין באמצעות למידה מתגמלת ← כוונון עדין באמצעות למידה מתגמלת

פרטים על ההגדרה מופיעים בדף כוונון רציף.

הפעלת המודל המכוונן

אחרי שמסיימים בהצלחה את משימת הכוונון של מודל Gemini הבסיסי באמצעות למידה מחוזקת, המודל המכוונן שמבוסס על נקודת הבדיקה האחרונה נפרס בנקודת קצה בפרויקט. מודלים מכווננים משתמשים באותה אסטרטגיה של נקודת קצה להצגת מודעות כמו מודל הבסיס. לדוגמה, אם מריצים משימת כוונון ב-us-central1, המודל המכוונן נפרס בנקודת קצה (mREP) במספר אזורים ב-us.

כדי לאחזר את נקודת הקצה של המודל המכוונן שנפרס במסוף Google Cloud או באמצעות ה-API ולהריץ עליה הסקה, עיינו במדריך למתחילים של מסוףGoogle Cloud או במדריך למתחילים של ה-API.

תמחור

תמחור כוונון

כוונון עדין באמצעות למידת חיזוק ב-Gemini יוצר אסימונים בשני שלבים: שלב דגימה ושלב אימון. האסימונים שנוצרים בשלב האימון מחויבים בהתאם לקטע "כוונון מודל" בדף התמחור של Gemini Enterprise Agent Platform.

תמחור של הסקת מסקנות

אחרי הכוונון, עדיין תחויבו על עלויות ההסקה (בקשת חיזוי) של המודל המכוונן. ב-Gemini 3 ובמודלים מתקדמים יותר, מחיר החיזוי של נקודת הקצה של המודל המכוונן הוא פי 1.5 ממחיר המודל הבסיסי. מידע נוסף מופיע במאמר גרסאות המודלים היציבות של Gemini.

אם אתם מגדירים את שירות ההערכה של AI גנרטיבי כך שיפעל באופן אוטומטי במהלך הכוונון, ההערכות יחויבו כמשימות חיזוי באצווה. מידע נוסף מופיע בקטע "כוונון מודלים" בדף התמחור של Agent Platform.

המאמרים הבאים