הערכת סוכן

במאמר הזה מוסבר איך להשתמש בהערכת תפקוד הסוכנים כדי למדוד ולשפר את הביצועים, הבטיחות והאיכות של הסוכנים.

סקירה כללית על שירות ההערכה ל-AI גנרטיבי

סיכום ההליך

שלב פעילות מטרה
עיצוב הגדרת מקרי הערכה מגדירים את המשימות של הסוכן ואת התוצאות הרצויות.
ביצוע הרצת הסקות ליצור עקבות של שיחות בעולם האמיתי או שיחות מדומות.
ניקוד מדדי Compute דירוג עקבות באמצעות מדרגים אוטומטיים (הצלחת המשימה, בטיחות).
שיפור סוכן אופטימיזציה להציע שיפורים להוראות או לכלים ולבדוק אותם.

תהליך ההערכה

תהליך ההערכה הוא מובנה ואיטרטיבי:

  1. הגדרת תרחישי הערכה: תרחיש הערכה הוא מפרט שמגדיר את המשימה של הנציג. תרחיש הערכה יכול לכלול שלב אחד או כמה שלבים בשיחה, את ההקשר של השיחה (המצב של הנציג) ומפרט להדמיה של תגובות המשתמשים במהלך ההסקה.
  2. הרצת הסקות: הסקה היא הרצה של מקרה הערכה. אם מקרה הערכה מכיל תוכנית שיחה, תגובות המשתמשים מדומות במהלך ההסקה.
  3. יצירת מעקבים: כל הרצת הסקה מתעדת את התנהגות הסוכן במעקב. מעקב הוא תיעוד עובדתי ובלתי ניתן לשינוי של התנהגות הנציג, כולל קלט למודל, תשובות וקריאות לכלים.
  4. מדדי Compute: מדדים הם ציונים שמחושבים לכל מעקב באמצעות מדרגים מובְנים או מותאמים אישית. מדדים מסוימים, כמו התאמה מדויקת, הם מבוססי-הפניה ודורשים מקרה הערכה עם תשובת עזר. מדדים אחרים, כמו מידת התועלת, הם ללא הפניה ומעריכים את המעקב בפני עצמו. ההערכה האוטומטית הזו מאפשרת לכם לדרג את המעקבים שתועדו מתנועת הייצור או מיומנים חיצוניים, בלי קשר לסביבת בדיקה מנוהלת.
  5. ניתוח: מנתחים את המדדים, קריטריוני ההערכה וההחלטות כדי לזהות בעיות מרכזיות בנציג, לקשר את הבעיות האלה למקרי הבדיקה וליצור תובנות שנוצרו על ידי AI לשיפור.
  6. אופטימיזציה של הנציג: משתמשים באופטימיזציה כדי לנהל את כל מחזור ההערכה. התהליך האוטומטי הזה מנתח את התוצאות, מציע שיפורים לנציג ומריץ מחדש את התהליך באופן איטרטיבי כדי לאמת את השיפורים בביצועים.

תהליך עבודה של הערכה

אתם יכולים לשלב את ההערכה בשני שלבים עיקריים בתהליך העבודה:

  • איטרציית פיתוח מקומית: הערכת סוכן שמבוסס על ערכה לפיתוח סוכנים (ADK) באופן מקומי כדי לשפר במהירות את הנדסת פרומפטים ואת הגדרות הכלים.
  • הערכת נציגים שנפרסו: מדידת האיכות של נציגים שנפרסו על ידי ניתוח של נתוני מעקב היסטוריים או הרצת נקודות השוואה סינתטיות מול נקודות קצה של נציגים.

יכולות ליבה

הכלי להערכת סוכנים עוזר לכם ליצור חבילת הערכה ראשונית, גם בלי נתוני בדיקה קיימים. התכונות הבאות עוזרות להפוך את תהליך היצירה של מקרי בדיקה ושיפור המערכות מבוססות-הסוכנים לאוטומטי:

  • יצירת תרחישים וסימולציה של משתמשים: יצירה אוטומטית של תרחישי בדיקה סינתטיים מגוונים, עם כמה שלבים, על סמך ההוראות וההגדרות של הכלים של הנציג. האוטומציה הזו מאפשרת לכם להתחיל לבדוק מיד, כי לא צריך ליצור באופן ידני את מקרי הבדיקה הראשוניים.

  • הדמיית סביבה: אתם יכולים ליירט קריאות ספציפיות לפונקציות כדי להוסיף התנהגויות בהתאמה אישית, נתונים מדומים או שגיאות מדומות (כמו שגיאות HTTP 503 או קפיצות בזמן האחזור). הסימולציה הזו מאפשרת לכם לבדוק את העמידות של הנציג בלי להשפיע על ה-backend בסביבת הייצור.

  • הערכה רב-שלבית: הערכה אוטומטית של היסטוריית השיחות המלאה באמצעות מדרגים אוטומטיים רב-שלביים. המעריכים האלה מנתחים את חילוץ הכוונה, יוצרים קריטריונים באופן דינמי ומספקים פסקי דין אובייקטיביים לאימות כדי לוודא שההוראות מיושמות.

  • אופטימיזציה של הנחיות: אתם יכולים ליצור ולאמת באופן פרוגרמטי הוראות מערכת משופרות באמצעות אופטימיזציה של הנחיות. מסגרת האופטימיזציה מזהה נקודות כשל ומציעה עדכונים ממוקדים באופן איטרטיבי.

הערכה באמצעות עוזרי תכנות מבוססי-AI

אם אתם משתמשים ב-Gemini CLI או בכלי אחר של עזרה בתכנות של AI, אתם יכולים להתקין מיומנויות של Agent שמלמדות את העוזר הדיגיטלי את המתודולוגיה להערכת תפקוד הסוכנים שמתוארת בדף הזה. כל סקיל מספק את תהליך העבודה של ההערכה, את הסכימה של קבוצת הנתונים, הנחיות לבחירת מדדים ושלבים לניתוח כשלים ישירות בסשן התכנות, כך שהעוזר הדיגיטלי יכול ליצור, לדרג ולשפר את ההערכות בלי לצאת מהעורך.

הוראות ההתקנה מופיעות אחרי כל מיומנות.

סקיל הערכה של Agents CLI

תהליך עבודה מבוסס-CLI להערכה ולאופטימיזציה של סוכני ADK באמצעות הפקודות של agents-cli eval. הנושאים של המיומנות הזו:

  • הכנת מערכי נתונים להערכה וסינתזה של תרחישים מרובי-שלבים באמצעות סימולציית משתמשים
  • הרצת הסקה, דירוג מעקבים וניתוח אשכולות של כשלים
  • איטרציה על הנחיות וכלים באמצעות לולאת eval-fix

כדי להתקין, מריצים את הפקודה הבאה:

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

מיומנות של שירות הערכה ל-AI גנרטיבי ב-Agent Platform

מדריך מבוסס-SDK להערכה ולשיפור של מודלים וסוכנים באמצעות שירות ההערכה של Agent Platform Gen AI ב-Gemini Enterprise, בעזרת Agent Platform GenAI Evaluation SDK‏ (client.evals.evaluate()). המיומנות הזו כוללת:

  • יצירת מערכי נתונים להערכה ממעקבי סשנים, מ-DataFrames או מיצירה סינתטית
  • בחירה, הגדרה וכתיבה של מדדים מותאמים אישית עם ניקוד של LLM-as-a-judge
  • ניתוח של קביעות הרובריקה ודפוסי ההפסד כדי להשיג שיפורים קונקרטיים

כדי להתקין, מריצים את הפקודה הבאה:

npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel

המאמרים הבאים