העלאה של קבוצת תמונות לבדיקה

בדף הזה מתואר הפורמט שנדרש להעלאת הערכות מוזהבות בקובץ CSV. פרטים על הערכות מוזהבות זמינים במסמכי התיעוד בנושא הערכות מוזהבות.

הורדת התבנית

  • עוברים לכרטיסייה Evaluate ולוחצים על + Add test case -> Golden.
  • בתפריט שמופיע, לוחצים על הורדת תבנית.
  • אחרי שמשתמשים בתבנית כדי ליצור קובץ CSV עם הערכות הזהב, אפשר להעלות אותו בלחיצה על העלאת קובץ באותו תפריט.

מבנה כללי

  • קובץ CSV אחד יכול להכיל כמה הערכות. כל הערכה יכולה להתפרס על פני כמה שורות.
  • השורה הראשונה של הערכה היא שורה של הערכה, והיא מגדירה את המאפיינים הכלליים שלה (שם ומטא-נתונים).
  • כל שורה עוקבת היא שורה של שיחה ומגדירה תור יחיד בשיחה בהערכה (לדוגמה, משתמש קצה אומר משהו, הנציג אמור להשיב או שצפוי שימוש בכלי).
  • כדי להתחיל תרחיש בדיקה חדש, צריך להזין שם חדש בעמודה display_name. כל ערך חדש של display_name מגדיר את ההתחלה של הערכה חדשה.

שורת כותרת

קובץ ה-CSV חייב לכלול שורת כותרת כשורה הראשונה. הכותרת הזו מגדירה משתנה נתונים בכל עמודה. כל המשתנים מלבד המשתנים הנדרשים הם אופציונליים, אלא אם נדרש ערך action_type. עמודות של משתנים אופציונליים יכולות להופיע בכל סדר אחרי המשתנים הנדרשים.

  • משתנים נדרשים: display_name, turn_index, action_type.

הגדרת הערכה של שיחה

כל הערכה חדשה מתחילה בשורה של הערכה. כל שורה של שיחה מתחת לשורת ההערכה מתאימה לתור אחד של שיחה, עד לשורת ההערכה הבאה.

שורת ההערכה

השורה הראשונה אחרי שורת הכותרת חייבת להיות שורת הערכה. כל שורה של הערכה מגדירה הערכה חדשה.

שורת השיחה

כל שורה תואמת לנתונים ממהלך שיחה אחד.

  • חובה: מזינים ערכים בשדות turn_index ו-action_type. חובה להשאיר את השדה display_name ריק.
  • אופציונלי: מזינים ערכים לכל עמודה של כותרת, מלבד משתני מטא-נתונים או display_name.

משתנים

בטבלאות הבאות מתוארים משתני הנתונים הזמינים. כל המשתנים, מלבד המשתנים הנדרשים, הם אופציונליים, אלא אם נדרש ערך של action_type. כל המשתנים צריכים להיות מוגדרים בשורת הכותרת, משתנה אחד לכל עמודה. עמודות משתנים אופציונליות יכולות להיות בכל סדר אחרי העמודות הנדרשות.

משתני כותרת נדרשים

שם עמודה תיאור
display_name השם של ההערכה שלכם, בפורמט שקריא לבני אדם. השדה הזה מתמלא רק בשורה הראשונה של הערכה חדשה. כל ערך חדש של display_name מגדיר הערכה חדשה.
turn_index מספר (1, 2, 3...) שמציין את הסדר הרציף של תור השיחה. לכל השורות בתור אחד יש את אותו ערך אינדקס. הערכים חייבים להתחיל מ-1 בכל הערכה. הערך בכל שורה צריך להיות גדול מהערך בשורה הקודמת או שווה לו.
action_type מציין מה מייצגים הנתונים בשורה הזו. לכל ערך יש ערכי משתנים אופציונליים שצריך למלא (כפי שמצוין) כדי שהתור לשיחה יזין את הנתונים בצורה נכונה. ערך הקלט צריך להיות אחד מהערכים הבאים:

INPUT_TEXT: קלט טקסט של משתמש קצה.‫
– (חובה) text_content.‫

INPUT_IMAGE: קלט של תמונה ממשתמש קצה.‫
– (חובה) image_mime_type, image_content.

INPUT_TOOL_RESPONSE: קלט של תגובה לכלי.
- (חובה) tool_name.
- (אופציונלי) tool_response_json.‫

INPUT_UPDATED_VARIABLES: עדכון משתנים מקלט.
- (חובה) updated_variables_json

EXPECTATION_TEXT: פלט צפוי מתשובת טקסט של סוכן.
- (חובה) response_agent, text_content.
- (אופציונלי) expectation_note.

EXPECTATION_TOOL_CALL: קריאה צפויה לכלי.
- (חובה) tool_name.
- (אופציונלי) tool_call_args_json, expectation_note.

EXPECTATION_TOOL_RESPONSE: התשובה הצפויה של הכלי.
- (חובה) tool_name.
- (אופציונלי) expectation_note.

EXPECTATION_AGENT_TRANSFER: העברה צפויה של סוכן.
- (חובה) agent_transfer_target.
- (אופציונלי) expectation_note.

משתני מטא-נתונים

שם עמודה תיאור
evaluation_id מזהה ייחודי של הבדיקה. כל ערך evaluation_id צריך להיות ייחודי לנציג שלכם ב-Customer Experience Agent Studio. אם לא מזינים ערך בעמודה הזו באופן ידני, המערכת יוצרת מזהה ייחודי באופן אוטומטי.
description הערות בטקסט חופשי או תיאור של מטרת הבדיקה.
tags תגים מופרדים באמצעות נקודה ופסיק לארגון ההערכות (לדוגמה, tag1;tag2).
evaluation_groups שמות של קבוצות הערכה שההערכה שייכת אליהן, מופרדים באמצעות נקודה-פסיק (לדוגמה, 'שם קבוצה 1;שם קבוצה 2'). המערכת תתעלם מערכים של evaluation_groups שיוזנו בעמודה הזו אבל לא יוגדרו בשורה הראשונה.

משתנים של שלבי שיחה

שם עמודה תיאור
response_agent שם הנציג שסיפק את התשובה. חובה רק ל-EXPECTATION_TEXT.
text_content הטקסט של INPUT_TEXT או EXPECTATION_TEXT.
image_mime_type סוג ה-MIME של תמונת המקור לפי תקן IANA. ערכים נתמכים: image/png, ‏ image/jpeg, ‏ image/webp, ‏ image/heic, ‏ image/heif.
image_content מחרוזת הבייטים של INPUT_IMAGE.
tool_name ה-display_name של הכלי שאליו מתקשרים או שממנו מתקבלת תשובה. ההגעה צפויה עד INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALL או עד EXPECTATION_TOOL_RESPONSE.
tool_call_args_json ארגומנטים של JSON ל-EXPECTATION_TOOL_CALL.
tool_response_json תוכן ה-JSON של INPUT_TOOL_RESPONSE.
updated_variables_json תוכן ה-JSON של INPUT_UPDATED_VARIABLES.
agent_transfer_target השם המוצג של סוכן היעד של EXPECTATION_AGENT_TRANSFER.
expectation_note הערה או תיאור של הציפייה.