בדף הזה מתואר הפורמט שנדרש להעלאת הערכות מוזהבות בקובץ CSV. פרטים על הערכות מוזהבות זמינים במסמכי התיעוד בנושא הערכות מוזהבות.
הורדת התבנית
- עוברים לכרטיסייה Evaluate ולוחצים על + Add test case -> Golden.
- בתפריט שמופיע, לוחצים על הורדת תבנית.
- אחרי שמשתמשים בתבנית כדי ליצור קובץ CSV עם הערכות הזהב, אפשר להעלות אותו בלחיצה על העלאת קובץ באותו תפריט.
מבנה כללי
- קובץ CSV אחד יכול להכיל כמה הערכות. כל הערכה יכולה להתפרס על פני כמה שורות.
- השורה הראשונה של הערכה היא שורה של הערכה, והיא מגדירה את המאפיינים הכלליים שלה (שם ומטא-נתונים).
- כל שורה עוקבת היא שורה של שיחה ומגדירה תור יחיד בשיחה בהערכה (לדוגמה, משתמש קצה אומר משהו, הנציג אמור להשיב או שצפוי שימוש בכלי).
- כדי להתחיל תרחיש בדיקה חדש, צריך להזין שם חדש בעמודה
display_name. כל ערך חדש שלdisplay_nameמגדיר את ההתחלה של הערכה חדשה.
שורת כותרת
קובץ ה-CSV חייב לכלול שורת כותרת כשורה הראשונה. הכותרת הזו מגדירה משתנה נתונים בכל עמודה. כל המשתנים מלבד המשתנים הנדרשים הם אופציונליים, אלא אם נדרש ערך action_type.
עמודות של משתנים אופציונליים יכולות להופיע בכל סדר אחרי המשתנים הנדרשים.
- משתנים נדרשים:
display_name,turn_index,action_type.
הגדרת הערכה של שיחה
כל הערכה חדשה מתחילה בשורה של הערכה. כל שורה של שיחה מתחת לשורת ההערכה מתאימה לתור אחד של שיחה, עד לשורת ההערכה הבאה.
שורת ההערכה
השורה הראשונה אחרי שורת הכותרת חייבת להיות שורת הערכה. כל שורה של הערכה מגדירה הערכה חדשה.
- חובה: בשדה
display_nameמזינים שם ייחודי שקריא לבני אדם לתיאור הבדיקה. - אופציונלי: אפשר להוסיף בשורה הזו נתונים של משתני מטא-נתונים.
שורת השיחה
כל שורה תואמת לנתונים ממהלך שיחה אחד.
- חובה: מזינים ערכים בשדות
turn_indexו-action_type. חובה להשאיר את השדהdisplay_nameריק. - אופציונלי: מזינים ערכים לכל עמודה של כותרת, מלבד משתני מטא-נתונים או
display_name.
משתנים
בטבלאות הבאות מתוארים משתני הנתונים הזמינים. כל המשתנים, מלבד המשתנים הנדרשים, הם אופציונליים, אלא אם נדרש ערך של action_type. כל המשתנים צריכים להיות מוגדרים בשורת הכותרת, משתנה אחד לכל עמודה.
עמודות משתנים אופציונליות יכולות להיות בכל סדר אחרי העמודות הנדרשות.
משתני כותרת נדרשים
| שם עמודה | תיאור |
|---|---|
display_name |
השם של ההערכה שלכם, בפורמט שקריא לבני אדם. השדה הזה מתמלא רק בשורה הראשונה של הערכה חדשה. כל ערך חדש של display_name מגדיר הערכה חדשה. |
turn_index |
מספר (1, 2, 3...) שמציין את הסדר הרציף של תור השיחה. לכל השורות בתור אחד יש את אותו ערך אינדקס. הערכים חייבים להתחיל מ-1 בכל הערכה. הערך בכל שורה צריך להיות גדול מהערך בשורה הקודמת או שווה לו. |
action_type |
מציין מה מייצגים הנתונים בשורה הזו. לכל ערך יש ערכי משתנים אופציונליים שצריך למלא (כפי שמצוין) כדי שהתור לשיחה יזין את הנתונים בצורה נכונה. ערך הקלט צריך להיות אחד מהערכים הבאים:INPUT_TEXT: קלט טקסט של משתמש קצה.– (חובה) text_content.INPUT_IMAGE: קלט של תמונה ממשתמש קצה.– (חובה) image_mime_type, image_content.INPUT_TOOL_RESPONSE: קלט של תגובה לכלי.- (חובה) tool_name.- (אופציונלי) tool_response_json.INPUT_UPDATED_VARIABLES: עדכון משתנים מקלט.- (חובה) updated_variables_jsonEXPECTATION_TEXT: פלט צפוי מתשובת טקסט של סוכן.- (חובה) response_agent, text_content.- (אופציונלי) expectation_note.EXPECTATION_TOOL_CALL: קריאה צפויה לכלי.- (חובה) tool_name.- (אופציונלי) tool_call_args_json, expectation_note.EXPECTATION_TOOL_RESPONSE: התשובה הצפויה של הכלי.- (חובה) tool_name.- (אופציונלי) expectation_note.EXPECTATION_AGENT_TRANSFER: העברה צפויה של סוכן.- (חובה) agent_transfer_target.- (אופציונלי) expectation_note. |
משתני מטא-נתונים
| שם עמודה | תיאור |
|---|---|
evaluation_id |
מזהה ייחודי של הבדיקה. כל ערך evaluation_id צריך להיות ייחודי לנציג שלכם ב-Customer Experience Agent Studio. אם לא מזינים ערך בעמודה הזו באופן ידני, המערכת יוצרת מזהה ייחודי באופן אוטומטי. |
description |
הערות בטקסט חופשי או תיאור של מטרת הבדיקה. |
tags |
תגים מופרדים באמצעות נקודה ופסיק לארגון ההערכות (לדוגמה, tag1;tag2). |
evaluation_groups |
שמות של קבוצות הערכה שההערכה שייכת אליהן, מופרדים באמצעות נקודה-פסיק (לדוגמה, 'שם קבוצה 1;שם קבוצה 2'). המערכת תתעלם מערכים של evaluation_groups שיוזנו בעמודה הזו אבל לא יוגדרו בשורה הראשונה. |
משתנים של שלבי שיחה
| שם עמודה | תיאור |
|---|---|
response_agent |
שם הנציג שסיפק את התשובה. חובה רק ל-EXPECTATION_TEXT. |
text_content |
הטקסט של INPUT_TEXT או EXPECTATION_TEXT. |
image_mime_type |
סוג ה-MIME של תמונת המקור לפי תקן IANA. ערכים נתמכים: image/png, image/jpeg, image/webp, image/heic, image/heif. |
image_content |
מחרוזת הבייטים של INPUT_IMAGE. |
tool_name |
ה-display_name של הכלי שאליו מתקשרים או שממנו מתקבלת תשובה. ההגעה צפויה עד INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALL או עד EXPECTATION_TOOL_RESPONSE. |
tool_call_args_json |
ארגומנטים של JSON ל-EXPECTATION_TOOL_CALL. |
tool_response_json |
תוכן ה-JSON של INPUT_TOOL_RESPONSE. |
updated_variables_json |
תוכן ה-JSON של INPUT_UPDATED_VARIABLES. |
agent_transfer_target |
השם המוצג של סוכן היעד של EXPECTATION_AGENT_TRANSFER. |
expectation_note |
הערה או תיאור של הציפייה. |