התחלה מהירה: שיפור מודלים באמצעות למידת חיזוק במסוף Google Cloud

בדף הזה מוסבר תהליך העבודה מקצה לקצה של כוונון עדין של מודלים של Gemini באמצעות למידת חיזוק ב- Google Cloud Console: יצירת משימת כוונון, בדיקת הסטטוס שלה, אחזור נקודת הקצה של המודל המכוונן והפעלת הסקה לגביו. כדי לבצע את המשימות האלה באמצעות Agent Platform API, אפשר לעיין במאמר הפעלה מהירה של API.

לפני שמתחילים, כדאי לעיין במאמר מידע על כוונון עדין של מודלים באמצעות למידת חיזוק כדי לקבל סקירה כללית על התכונה, המודלים הנתמכים והאזורים הנתמכים.

יצירת משימת כוונון עדין של למידת חיזוק

כדי ליצור משימת כוונון עדין של למידת חיזוק באמצעות מסוף Google Cloud :

  1. במסוף Google Cloud , נכנסים לדף Models > Tuning.

    עוברים אל Tuning

  2. לוחצים על יצירת מודל שעבר התאמה.

  3. בקטע Model details (פרטי המודל), מגדירים את הפרטים הבאים:

    1. בקטע שיטת התאמה, בוחרים באפשרות התאמה עדינה של למידת חיזוק.
    2. בשדה Tuned model name (שם המודל שעבר התאמה), מזינים שם למודל שעבר התאמה (לדוגמה, my-rl-tuned-model).
    3. בקטע מודל בסיסי, בוחרים באפשרות שיפור מודל בסיס.
    4. ברשימה הנפתחת מודל בסיסי, בוחרים את המודל לכוונון (לדוגמה, gemini-3.5-flash).
    5. בתפריט הנפתח Region, בוחרים את האזור שבו יפעל תהליך ההתאמה (לדוגמה, us-central1 (Iowa)). המודל המותאם שיתקבל יופעל מנקודת הקצה של us במספר אזורים. הרשימה המלאה של האזורים הנתמכים לצורך התאמה והצגה מפורטת בקטע מודלים ואזורים נתמכים.
    6. אופציונלי: מרחיבים את האפשרויות המתקדמות כדי להתאים אישית את ההיפרפרמטרים:
      • מספר התקופות של זמן המערכת: מספר התקופות של זמן המערכת לאימון (לדוגמה, 15).
      • מכפיל של קצב הלמידה: המכפיל שמשמש לשינוי קצב הלמידה (לדוגמה, 1.0).
      • גודל המתאם: גודל המתאם לכוונון יעיל בפרמטרים (לדוגמה, 16).
      • דוגמאות לכל הנחיה: מספר התשובות האפשריות שהמודל יוצר לכל הנחיה במהלך האימון (לדוגמה, 16).
      • רמת ההעמקה: רמת ההעמקה של מודלים של נימוקים (לדוגמה, HIGH).
      • גודל האצווה: מספר הדוגמאות לאימון בכל אצווה (לדוגמה, 32).
      • מרווח בין נקודות ביקורת: התדירות בשלבים שבה נשמרות נקודות ביקורת ביניים (לדוגמה, 5).
      • ‫Max output token: המספר המקסימלי של טוקנים בפלט שנוצרים לכל דגימה (לדוגמה, 32768).
      • מרווח הערכה: התדירות בשלבים שבה מתבצעת הערכה של מערך האימות (לדוגמה, 5).
    7. לוחצים על Continue.

  4. בקטע Reward configuration (הגדרת תגמול), מגדירים פונקציית תגמול אחת או יותר כדי לתת ציון לתשובות של המודל במהלך האימון:

    1. בשדה שם התגמול, מזינים שם ייחודי לפונקציית התגמול (לדוגמה, my_reward_function_name). המדדים שמוצגים בתצוגת המעקב מתחילים בשם הזה.
    2. ברשימה הנפתחת סוג התגמול, בוחרים את סוג הניקוד:
      • תגמול על התאמה למחרוזת: הערכה של טקסט שנוצר בהשוואה להפניות באמצעות התאמה מדויקת או ביטויים רגולריים.
      • תגמול מבוסס LLM: משתמש במודל Gemini כמעריך אוטומטי כדי לתת ציון לתשובות על סמך פרומפט הערכה.
      • תגמול מבוסס פונקציית Python: מריץ קוד Python מותאם אישית בארגז חול מאובטח כדי להעריך תשובות.
      • תגמול שניתן להתאמה אישית מלאה באמצעות Cloud Run: מתבצעת קריאה לנקודת קצה (endpoint) חיצונית של HTTP שמארחת ב-Cloud Run כדי להעריך תגובות.

    3. מגדירים את ההגדרות של סוג התגמול שבחרתם. לדוגמה, עבור תגמול ב-Cloud Run:

      • בשדה Cloud Run URI (מזהה ה-URI של Cloud Run), מזינים את מזהה ה-URI של שירות ה-HTTPS שנפרס (לדוגמה, https://my.cloud.run.uri).
      • בשדה סוג הניתוח, בוחרים באפשרות IDENTITY.

      לחלופין, כדי לקבל תגמול על התאמה של מחרוזת:

      • בשדה Parse type (סוג הניתוח), בוחרים באפשרות REGEX_EXTRACT או IDENTITY. אם בוחרים באפשרות REGEX_EXTRACT, מזינים את הביטוי הרגולרי בביטוי לחילוץ Regex (לדוגמה, \text{(.*)}).
      • בשדה Wrong answer reward (תגמול על תשובה שגויה), מזינים את העונש על תשובה שגויה (לדוגמה, -1).
      • בשדה Correct answer reward (תגמול על תשובה נכונה), מזינים את הניקוד על תשובה נכונה (לדוגמה, 1).
      • בקטע סוג ביטוי להתאמת מחרוזת, בוחרים באפשרות התאמת מחרוזת או באפשרות התאמת JSON.
      • ברשימה הנפתחת פעולת התאמה, בוחרים את לוגיקת ההתאמה (לדוגמה, התאמה מדויקת).
      • בשדה Expression (ביטוי), מזינים את ביטוי ההפניה (לדוגמה, references.reference).

    4. בשדה משקל התגמול, מזינים את המשקל היחסי של פונקציית התגמול הזו (למשל, 1).

    5. לוחצים על סיום.

    6. אופציונלי: כדי להגדיר תגמול מורכב, לוחצים על + הוספת תגמול נוסף ומגדירים פונקציות תגמול נוספות. אפשר להוסיף עד 16 פונקציות תגמול ולהקצות לכל אחת מהן משקל יחסי.

    7. לוחצים על Continue.

  5. בקטע Test reward (Optional) (בדיקת התגמול (אופציונלי)), מאמתים את הגדרת התגמול לפני שמתחילים את משימת ההתאמה:

    1. בשדה Training Example (דוגמה לאימון), מזינים אובייקט JSON לדוגמה שמכיל את השדות contents ו-references.
    2. בשדה תשובה לדוגמה מהמודל, מזינים תשובה אפשרית או לוחצים על יצירה מדוגמה לאימון כדי ליצור תשובה לדוגמה באמצעות מודל הבסיס.
    3. לוחצים על בדיקה.
    4. מוודאים שההערכה מצליחה ובודקים את הציון המחושב. אם משתמשים בפרסים מורכבים, לוחצים על See individual reward information (הצגת פרטי פרס ספציפי) כדי לבדוק את פירוט הניקוד לכל פרס.
    5. לוחצים על Continue.

  6. בקטע Tuning dataset (ערכת נתונים להתאמה), מציינים את קובצי ערכת הנתונים שמאוחסנים ב-Cloud Storage:

    1. בשדה Training dataset (מערך נתונים לאימון), מזינים את ה-URI של Cloud Storage של קובץ ה-JSONL של מערך הנתונים לאימון (לדוגמה, gs://path/to/my/training_dataset.jsonl).
    2. בשדה קבוצת נתוני אימות, מזינים את ה-URI של Cloud Storage של קובץ ה-JSONL של קבוצת נתוני האימות (לדוגמה, gs://path/to/my/eval_dataset.jsonl).
    3. לוחצים על התחלת ההתאמה.

בדיקת הסטטוס של משימת כוונון עדין של למידת חיזוק

אחרי שלוחצים על התאמה אישית, המערכת מעבירה אתכם לדף Models > Tuning (מודלים > התאמה אישית). בטבלה של משימות האופטימיזציה, המשימה החדשה שנוצרה מופיעה בחלק העליון של הרשימה עם הפרטים הבאים:

  • שם המודל: השם המוצג שציינתם למודל המותאם.
  • סטטוס: הסטטוס הנוכחי של משימת ההתאמה (למשל בהמתנה, פועלת או הושלמה).
  • Method: ‏ Reinforcement Learning.
  • מודל בסיס: מודל הבסיס או מודל שעבר כוונון מראש.
  • אזור: המיקום שבו מופעלת משימת ההתאמה.

לוחצים על שם המודל כדי לפתוח את דף הפרטים של משימת ההתאמה. בדף מוצגות הכרטיסיות הבאות:

  • מעקב: מציג את התקדמות ההתאמה ואת תרשימי המדדים האינטראקטיביים:
    • התקדמות הכוונון: מציין אם הפעולה מתבצעת או הושלמה.
    • תרשימים משולבים: כשמספקים מערך נתונים לאימות, עקומות האימון והאימות (כמו /train_mean_reward ו-/eval_mean_reward) מוצגות יחד באותם תרשימים.
    • קבוצות של תרשימים שאפשר לכווץ: תרשימי המדדים מאורגנים בקבוצות, כולל מדדי כוונון כלליים (תגמול ממוצע, אורך טוקן של יצירה, אורך טוקן של חשיבה, זמן אחזור של דגימה וזמן אחזור של תגמול) ומדדים לכל תגמול עם הקידומת ${reward_name}.
    • הערות לגבי נקודות ביקורת: נקודות ביקורת ביניים שנשמרו במהלך ההתאמה מסומנות ישירות בתרשימים לאורך ציר הזמן של האימון.
    • סרגל הסינון: משתמשים בסרגל הסינון כדי לחפש מדדים לפי שם או לסנן לפי קטגוריה (Show Category). כשמסננים, סרגל הסינון נשאר קבוע בחלק העליון של התצוגה.
    • טבלת נקודות ביקורת: רשימה של נקודות ביקורת ביניים שנשמרו, עם מספרי שלבים וערכי מדדים. משתמשים בבורר העמודות כדי לבחור אילו עמודות יוצגו.
  • מערך נתונים: הצגת פרטים של מערך נתונים, שיחות לדוגמה וערכי הפניה.
  • פרטים: סיכום של הגדרת המשימה, כולל מודל הבסיס, שיטת ההתאמה, ההיפר-פרמטרים והגדרות התגמול. לוחצים על הצגת הפרטים בכרטיס של הגדרת תגמול כדי לראות את ערכי הפרמטרים שלא מוגדרים כברירת מחדל.

רשימה מלאה של המדדים שמועברים והסבר על המשמעות שלהם זמינים בדף מדדים וניטור.

זמן האימון

זמן האימון מושפע מהגורמים הבאים:

בהתאם להגדרה, עבודת כוונון עדין של Gemini באמצעות למידת חיזוק יכולה להימשך שעות או ימים.

קבלת נקודת הקצה של המודל שעבר התאמה

אחרי שפעולת הכוונון מגיעה למצב Succeeded, נקודת הבדיקה של המודל נפרסת לנקודת קצה. אתם יכולים לראות ולנהל את המודל המכוונן שפרסתם ישירות במסוףGoogle Cloud :

  1. בכותרת של דף הפרטים של משימת ההתאמה, לוחצים על הצגת פרטי המודל. הדף מרשם המודלים נפתח עם פרטים על המודל שעבר כוונון.
  2. בדף פרטי המודל, מחפשים את הכרטיסייה Deploy & test (פריסה ובדיקה) כדי לראות את נתיב המשאב של נקודת הקצה שנפרסה (בפורמט projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. לחלופין, בכרטיסייה Monitor (מעקב) בדף הפרטים של משימת ההתאמה, מאתרים את הטבלה Checkpoints (נקודות ביניים) כדי לבדוק נקודות ביניים. אפשר לפרוס ולבדוק כל נקודת ביקורת בנפרד.

אם פעולת הכוונון בוצעה ב-us-central1, המודל המכוונן מוגש מנקודת הקצה של us במספר אזורים.

הרצת הסקה על המודל המכוונן

אתם יכולים לבדוק ולהריץ הסקה במודל שעבר כוונון ישירות במסוףGoogle Cloud . לשם כך:

  1. בכותרת של דף הפרטים של משימת האופטימיזציה, לוחצים על Test (בדיקה).

    ‫Agent Studio ייפתח עם המודל המותאם מראש.

  2. בשדה ההנחיה, מזינים הנחיית קלט (למשל, "Why is the sky blue?" או שאלה מהדומיין שלכם).

  3. לוחצים על Run (או על Send) כדי ליצור תשובה.

  4. בודקים את הפלט שנוצר כדי להעריך את מידת ההתאמה של המודל לסגנון החשיבה הרציונלית, לפורמט ולמטרות התגמול הרצויים.

המאמרים הבאים