הערכת הסוכנים

התכונה הזו מאפשרת לכם להעריך סוכני AI. אתם יכולים להשתמש בשירות ההערכה של AI גנרטיבי כדי למדוד ולשפר את הביצועים, הבטיחות והאיכות של הסוכנים שלכם.

סוגי הערכות

סוג ההערכה תרחיש לדוגמה תדירות
Rapid Evaluation בדיקת לוגיקה חדשה של סוכן או שינויים במודל. תדיר (פיתוח)
Test Case Evaluation בדיקת רגרסיה מול מערך נתונים ספציפי. מתוזמן (CI/CD)
Online Monitoring מעקב אחרי איכות הפריסה של סוכן הפקה. Continuous (Production)

תהליך העבודה של ההערכה

אפשר להעריך את הסוכנים באמצעות Google Cloud המסוף או ה-SDK של Agent Platform.

מסוףGoogle Cloud

כדי להריץ הערכה בסיסית לפריסת סוכן:

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
  2. בתפריט הניווט שמימין, בוחרים באפשרות פריסות ובוחרים את הסוכן.

    מעבר לדף Deployments

  3. לוחצים על הכרטיסייה מרכז בקרה ואז על קטע המשנה הערכה.
  4. לוחצים על הערכה חדשה.
  5. פועלים לפי ההנחיות כדי להגדיר את תרחישי הבדיקה ולבחור מדדים.
  6. לוחצים על הפעלת ההערכה.

מדריכים מפורטים יותר זמינים במאמרים הפעלת הערכות אופליין או הערכה מתמשכת באמצעות כלי מעקב אונליין.

Agent Platform SDK

תהליך העבודה לשיפור הסוכן מבוסס על מעגל האיכות, מחזור מתמשך של הערכה, ניתוח ואופטימיזציה. אתם מעריכים את הביצועים של הסוכן, מנתחים את התוצאות כדי לזהות קבוצות של כשלים, ואז מבצעים אופטימיזציה של ההנחיות או ההגדרות כדי לטפל בבעיות האלה. התהליך האיטרטיבי הזה עוזר לכם לזהות ולפתור באופן יזום פערים בביצועים.

לפני שמתחילים

  1. מתקינים את Agent Platform SDK עם התוספים הנדרשים:

    pip install google-cloud-aiplatform[adk,evaluation]

  2. מאתחלים את הלקוח של Agent Platform SDK:

    import vertexai
from vertexai import Client

client = Client(project="YOUR_PROJECT_ID", location="YOUR_LOCATION")

    כאשר:

    • ‫YOUR_PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
    • ‫YOUR_LOCATION: האזור ב-Cloud, לדוגמה, us-central1.

1. הגדרת תרחישי הערכה (סימולציה של משתמשים)

במקום ליצור תרחישי בדיקה באופן ידני, אפשר להשתמש בסימולציה של משתמשים כדי ליצור תוכניות שיחה סינתטיות רב-שלביות שמבוססות על ההוראות של הסוכן.

# Generate scenarios from agent info
eval_dataset = client.evals.generate_conversation_scenarios(
    agent_info=my_agent_info,
    config={
        "count": 5,
        "generation_instruction": "Generate scenarios where a user asks for a refund.",
    },
)

מידע נוסף זמין במאמר בנושא הפניה ל-SDK של Agent Platform.

‫2. הרצת הסקת מסקנות

מריצים את תרחישי ההערכה מול הסוכן כדי לתעד עקבות.

# Generate behavior traces using a multi-turn user simulator
traces = client.evals.run_inference(
    agent=my_agent,
    src=eval_dataset,
    config={"user_simulator_config": {"max_turn": 5}}
)

3. חישוב מדדים (AutoRaters)

משתמשים במדרגים אוטומטיים מרובי-שלבים כדי לתת ציון למעקב אחרי השיחות. המדרגים האלה מנתחים את היסטוריית השיחות המלאה כדי לוודא שההוראות מולאו ושהשימוש בכלי היה נכון.

# Evaluate the traces using multi-turn metrics
eval_result = client.evals.evaluate(
    traces=traces,
    metrics=[
        "MULTI_TURN_TASK_SUCCESS",
        "MULTI_TURN_TOOL_USE_QUALITY"
    ]
)

4. ביצוע ניתוח (אשכולות של כשלים)

המערכת מקבצת באופן אוטומטי את ההערכות שנכשלו באשכולות של הפסדים כדי לזהות בעיות מרכזיות אצל נציגים.

# Identify the top failure patterns in the results
loss_clusters = client.evals.generate_loss_clusters(eval_result=eval_result)

5. אופטימיזציה של הסוכן

לבסוף, אפשר להשתמש בשירות Optimizer כדי לשפר באופן אוטומטי את הוראות המערכת או את תיאורי הכלים של הסוכן על סמך נתוני הכשל.

# Automatically refine the system prompt to fix identified issues
optimize_result = client.optimizer.optimize(
    targets=["system_prompt"],
    benchmark=eval_result,
    tests=eval_dataset
)

המאמרים הבאים