הערכת סוכן

במסמך הזה מוסבר איך להשתמש בהערכת סוכנים כדי למדוד ולשפר את הביצועים, הבטיחות והאיכות של הסוכנים.

מידע נוסף על הערכת מודלים זמין במאמר סקירה כללית על שירות הערכת AI גנרטיבי.

סיכום ההליך

שלב פעילות מטרה
עיצוב הגדרת מקרים להערכה מציינים את המשימות של הסוכן ואת התוצאות הרצויות.
הרצה הרצת הסקת מסקנות יצירת עקבות של שיחות מהעולם האמיתי או של שיחות מדומה.
Scoring מדדי Compute דירוג עקבות באמצעות בודקים אוטומטיים (הצלחת המשימה, בטיחות).
שיפור סוכן אופטימיזציה להציע שיפורים בהוראות או בכלים ולאמת אותם.

תהליך הבדיקה

ההערכה מתבצעת בתהליך עבודה מובנה ואיטרטיבי:

  1. הגדרת תרחישי הערכה: תרחיש הערכה הוא מפרט שמגדיר את המשימה של הסוכן. תרחיש הערכה יכול לכלול שלב אחד או יותר בשיחה, את הקשר של השיחה (המצב של הסוכן) ומפרט לסימולציה של תגובות משתמש במהלך ההסקה.
  2. הפעלת מסקנות: מסקנה היא ההפעלה של תרחיש הערכה. אם פנייה להערכה מכילה תוכנית שיחה, התגובות של המשתמש מדומות במהלך ההסקה.
  3. יצירת עקבות: כל הפעלה של הסקה מתעדת את התנהגות הסוכן בעקבות. עקבות הן תיעוד עובדתי ובלתי ניתן לשינוי של התנהגות הסוכן, כולל קלט המודל, התגובות והקריאות לכלים.
  4. מדדי חישוב: מדדים הם ציונים שמחושבים לכל עקבה באמצעות כלים מוכנים מראש או כלים מותאמים אישית לדירוג. חלק מהמדדים, כמו התאמה מדויקת, הם מבוססי-הפניה ודורשים מקרה הערכה עם תשובת הפניה. מדדים אחרים, כמו מועילות, הם לא מבוססי-הפניה ומעריכים את העקבה בפני עצמה. ההערכה האוטומטית הזו מאפשרת לכם לתת ציון לעקבות שנאספו מתנועת נתונים של סביבת ייצור או מיומנים חיצוניים, ללא קשר לסביבת בדיקה מנוהלת.
  5. עריכת ניתוח: ניתוח מדדים, קריטריונים ופסיקות כדי לזהות בעיות מרכזיות בסוכן, לקשר את הבעיות בסוכן לתרחישי בדיקה וליצור תובנות לשיפור.
  6. אופטימיזציה של הסוכן: אפשר להשתמש באופטימיזציה כדי לנהל את כל מחזור ההערכה. בתהליך האוטומטי הזה, המערכת מנתחת את התוצאות, מציעה שיפורים לסוכן ומריצה את התהליך שוב ושוב כדי לוודא שיש שיפור בביצועים.

תהליך העבודה של ההערכה

אפשר לשלב את ההערכה בשני שלבים עיקריים בתהליך העבודה:

  • איטרציה של פיתוח מקומי: הערכה מקומית של סוכן שמבוסס על Agent Development Kit (ADK) כדי לבצע איטרציה מהירה של הנדסת הנחיות ושל הגדרות כלי.
  • הערכת סוכן שנפרס: מדידת האיכות של סוכנים שנפרסו על ידי ניתוח עקבות היסטוריים או הפעלת מדדים סינתטיים בהשוואה לנקודות קצה של סוכנים.

יכולות מרכזיות

הערכת סוכנים עוזרת לכם ליצור חבילת הערכה ראשונית, גם אם אין לכם נתוני בדיקה קיימים. התכונות הבאות עוזרות לאוטומט את התהליך של יצירת תרחישי בדיקה ושיפור המערכות שלכם:

  • יצירת תרחישים וסימולציה של משתמשים: יצירה אוטומטית של תרחישי בדיקה סינתטיים מגוונים ורב-שלביים, על סמך ההוראות והגדרות הכלים של הסוכן. האוטומציה הזו מאפשרת לכם להתחיל לבדוק באופן מיידי, כי היא מבטלת את הצורך ליצור ידנית תרחישי בדיקה ראשוניים.

  • סימולציה של סביבה: יירוט קריאות ספציפיות של כלים כדי להחדיר התנהגויות מותאמות אישית, נתונים מדומים או שגיאות מדומות (כמו שגיאות HTTP 503 או עליות חדות בזמן אחזור). סימולציה זו מאפשרת לכם לאמת את חוסן הסוכן בלי להשפיע על מערכות קצה עורפיות בסביבת הייצור.

  • הערכה רב-שלבית: הערכה אוטומטית של היסטוריית שיחות שלמה באמצעות בודקים אוטומטיים רב-שלביים. המעריכים האלה מנתחים את חילוץ הכוונות, יוצרים באופן דינמי קריטריונים להערכה ומספקים פסקי דין אובייקטיביים של אימות כדי לוודא שההוראות מיושמות.

  • אופטימיזציה של הנחיות: יצירה ואימות של הוראות מערכת משופרות באופן פרוגרמטי באמצעות אופטימיזציה של הנחיות. מסגרת האופטימיזציה מזהה נקודות כשל ומציעה באופן איטרטיבי עדכונים ממוקדים.

הערכה באמצעות עוזרים מבוססי-AI לתכנות

אם אתם משתמשים ב-Gemini CLI או בעוזר תכנות מבוסס-AI אחר, אתם יכולים להתקין מיומנויות של סוכן שמלמדות את העוזר שלכם את מתודולוגיית הערכת הסוכן שמתוארת בדף הזה. כל מיומנות מספקת את תהליך העבודה של ההערכה, סכימת מערך הנתונים, הנחיות לבחירת מדדים ושלבים לניתוח כשלים ישירות בסשן הקידוד, כך שהעוזר הדיגיטלי יכול ליצור הערכות, לדרג אותן ולשפר אותן בלי לצאת מהעורך.

הוראות ההתקנה מופיעות אחרי כל מיומנות.

Agents CLI eval skill

תהליך עבודה מבוסס-CLI להערכה ולאופטימיזציה של סוכנים של ערכה לפיתוח סוכנים (ADK) באמצעות פקודות agents-cli eval. מיומנות זו כוללת:

  • הכנת מערכי נתונים להערכה וסינתוז של תרחישים רב-שלביים באמצעות סימולציה של משתמשים
  • הפעלת הסקה, בדיקת עקבות וניתוח של אשכולות כשלים
  • שיפור הנחיות וכלים באמצעות לולאת הערכה-תיקון

כדי להתקין, מריצים את הפקודה הבאה:

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

יכולת הליבה של Agent Platform GenAI Evaluation Service

מדריך מבוסס-SDK להערכה ולשיפור של מודלים וסוכנים באמצעות שירות ההערכה של AI גנרטיבי בפלטפורמת Agent Platform, באמצעות Agent Platform GenAI Evaluation SDK ‏(client.evals.evaluate()). המיומנות הזו כוללת:

  • יצירת מערכי נתונים להערכה ממעקב אחר סשנים, מ-DataFrames או מיצירה סינתטית
  • בחירה, הגדרה וכתיבה של מדדים מותאמים אישית באמצעות ניקוד של מודל שפה גדול (LLM) כשופט
  • ניתוח של קביעות לגבי קריטריונים ודפוסי אובדן כדי להניב שיפורים קונקרטיים

כדי להתקין, מריצים את הפקודה הבאה:

npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel

המאמרים הבאים