הערכת הסוכנים

התכונה הזו מאפשרת להעריך סוכני AI. אתם יכולים להשתמש בשירות ההערכה של AI גנרטיבי כדי למדוד ולשפר את הביצועים, הבטיחות והאיכות של הסוכנים שלכם.

סוגי הערכות

סוג ההערכה	תרחיש לדוגמה	תדירות
Rapid Evaluation	בדיקת לוגיקה חדשה של סוכן או שינויים במודל.	תדיר (פיתוח)
Test Case Evaluation	בדיקת רגרסיה מול מערך נתונים ספציפי.	מתוזמן (CI/CD)
Online Monitoring	מעקב אחרי איכות הפריסה של סוכן הפקה.	Continuous (Production)

תהליך עבודה של הערכה

אפשר להעריך את הסוכנים באמצעות Google Cloud המסוף או ה-SDK של Agent Platform.

מסוףGoogle Cloud

כדי להריץ הערכה בסיסית לפריסת סוכן:

1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
2. בתפריט הניווט הימני, לוחצים על פריסות ובוחרים את הסוכן.

   מעבר לדף Deployments

3. לוחצים על הכרטיסייה מרכז בקרה ואז על קטע המשנה הערכה.
4. לוחצים על הערכה חדשה.
5. פועלים לפי ההנחיות כדי להגדיר את תרחישי הבדיקה ולבחור מדדים.
6. לוחצים על הפעלת ההערכה.

מדריכים מפורטים יותר זמינים במאמרים הפעלת הערכות אופליין או הערכה מתמשכת באמצעות כלי מעקב אונליין.

Agent Platform SDK

תהליך העבודה לשיפור הסוכן מבוסס על גלגל האיכות, מחזור מתמשך של הערכה, ניתוח ואופטימיזציה. אתם מעריכים את הביצועים של הסוכן, מנתחים את התוצאות כדי לזהות אשכולות של כשלים, ואז מבצעים אופטימיזציה של ההנחיות או ההגדרות כדי לטפל בבעיות האלה. התהליך האיטרטיבי הזה עוזר לכם לזהות ולפתור באופן יזום פערי ביצועים.

לפני שמתחילים

1. מתקינים את Agent Platform SDK עם התוספים הנדרשים:

   pip install google-cloud-aiplatform[adk,evaluation]

2. מאתחלים את הלקוח של Agent Platform SDK:

   import vertexai
   from vertexai import Client
   
   client = Client(project="YOUR_PROJECT_ID", location="YOUR_LOCATION")

   כאשר:

   • ‫YOUR_PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫YOUR_LOCATION: האזור בענן, לדוגמה, us-central1.

‫1. הגדרת תרחישי הערכה (סימולציה של משתמשים)

במקום ליצור תרחישי בדיקה באופן ידני, אפשר להשתמש בסימולציה של משתמשים כדי ליצור תוכניות שיחה סינתטיות רב-שלביות שמבוססות על ההוראות של הסוכן.

# Generate scenarios from agent info
eval_dataset = client.evals.generate_conversation_scenarios(
    agent_info=my_agent_info,
    config={
        "count": 5,
        "generation_instruction": "Generate scenarios where a user asks for a refund.",
    },
)

מידע נוסף זמין במאמר בנושא הפניה ל-SDK של Agent Platform.

2. הרצת הסקת מסקנות

מריצים את תרחישי ההערכה מול הסוכן כדי לתעד עקבות.

# Generate behavior traces using a multi-turn user simulator
traces = client.evals.run_inference(
    agent=my_agent,
    src=eval_dataset,
    config={"user_simulator_config": {"max_turn": 5}}
)

3. חישוב מדדים (AutoRaters)

משתמשים בבוחנים אוטומטיים רב-שלביים כדי לתת ציון למעקב אחרי השימוש. הבודקים האלה מנתחים את היסטוריית השיחות המלאה כדי לוודא שההוראות בוצעו ושהשימוש בכלי היה נכון.

# Evaluate the traces using multi-turn metrics
eval_result = client.evals.evaluate(
    traces=traces,
    metrics=[
        "MULTI_TURN_TASK_SUCCESS",
        "MULTI_TURN_TOOL_USE_QUALITY"
    ]
)

4. ביצוע ניתוח (אשכולות של כשלים)

המערכת מקבצת באופן אוטומטי את ההערכות שנכשלו באשכולות של הפסדים כדי לזהות בעיות מרכזיות אצל נציגים.

# Identify the top failure patterns in the results
loss_clusters = client.evals.generate_loss_clusters(eval_result=eval_result)

5. אופטימיזציה של הסוכן

לבסוף, אפשר להשתמש בשירות Optimizer כדי לשפר באופן אוטומטי את הוראות המערכת או את תיאורי הכלים של הסוכן על סמך נתוני הכשל.

# Automatically refine the system prompt to fix identified issues
optimize_result = client.optimizer.optimize(
    targets=["system_prompt"],
    benchmark=eval_result,
    tests=eval_dataset
)

המאמרים הבאים

• הפעלת הערכות אופליין
• איך רואים את תוצאות ההערכה
• מידע נוסף על שירות ההערכה של AI גנרטיבי