הערכות של מדריכים

במדריך הזה מוסבר איך להשתמש בתכונת ההערכות המובנית במסוף Dialogflow CX כדי לאמת את הפונקציונליות של הסוכן ולמנוע רגרסיות אחרי עדכונים. ב-Dialogflow CX יש מדדים מוכנים לשימוש שיעזרו לכם להעריך את הביצועים של הסוכן.

לכל המדדים, למעט זמן האחזור, נדרש לפחות תרחיש בדיקה, כלומר 'תשובה מושלמת' ש-Dialogflow CX משווה את הביצועים של הסוכן אליה כדי לחשב את הביצועים שלו. אפשר למדוד כל תרחיש בדיקה בהקשר של סביבה, שמאפשרת לציין גרסאות שונות של תרשימי הפעולות, תהליכים וכלי עבודה לשימוש בהערכת הביצועים של הסוכן.

(אופציונלי) יצירת סביבה

יצירת סביבה היא אופציונלית. אם לא יוצרים תווית, ערך ברירת המחדל הוא Draft.

1. כדי ליצור סביבה, לוחצים על Environments בתפריט הימני ובוחרים באפשרות + Create.
2. בוחרים את הגרסאות של מדריכי ההפעלה, התהליכים והכלים שרוצים להשתמש בהם כדי למדוד את הביצועים של הנציג.
3. לוחצים על שמירה כדי לשמור את הסביבה.

יצירת תרחיש בדיקה

יש לכם אפשרות ליצור תרחיש בדיקה משיחה קיימת בהיסטוריית השיחות, ליצור שיחה חדשה כדי לשמור אותה כתרחיש בדיקה או לייבא תרחישי בדיקה ל-Dialogflow CX.

יצירת תרחיש בדיקה במסוף

1. בתפריט הימני, עוברים אל היסטוריית השיחות.
2. כדי ליצור שיחה חדשה, מפעילים את הנציג (לדוגמה, מתקשרים למספר הטלפון של הנציג) כדי ליצור שיחה בהיסטוריית השיחות. בוחרים שיחה שרוצים להשתמש בה כתרחיש בדיקה.
3. לצפות בשיחה ולאמת את התשובות של הסוכן, את הכלים שהופעלו ואת האופן שבו כל תשובה נשמעת. כשמרוצים מהתוצאות, לוחצים על יצירת תרחיש בדיקה בפינה השמאלית העליונה של החלון.
4. צריך לספק שם מוצג לתרחיש הבדיקה ולציין את הציפיות שלכם לגבי אירועים שצריכים לקרות ברמת השיחה. הכלים האלה יכולים לכלול כלים, מדריכים וזרימות שאתם מצפים שיפעלו במהלך השיחה. לוחצים על +הוספת ציפייה כדי להוסיף עוד ציפיות. כדי שהציפיות ייבדקו בסדר רציף כמו ברשימה (מלמעלה למטה), מעבירים את המתג Sequential validation (אימות רציף) למצב מופעל.
5. לוחצים על שמירה כדי לשמור את תרחיש הבדיקה.

העלאת מקרי בדיקה

1. תרחישי הבדיקה צריכים להיות בפורמט ה-CSV הבא.
2. כדי להעלות תרחישי בדיקה למערכת, לוחצים על ייבוא בחלק העליון של תפריט תרחישי הבדיקה.
3. בתפריט שמופיע, בוחרים את הקובץ ששמור באופן מקומי או מזינים את הנתיב לקטגוריה שלו ב-Cloud Storage.
4. עכשיו תרחישי הבדיקה אמורים להופיע בתפריט של תרחישי הבדיקה.

הרצת מקרה בדיקה

1. בתפריט הימני, לוחצים על תרחישי בדיקה ובוחרים את תרחישי הבדיקה שרוצים להשוות את הסוכן אליהם. יכול להיות שזו בדיקה אחת או כמה בדיקות.
2. לוחצים על הפעלת תרחישי הבדיקה שנבחרו.

תוצאות הבדיקה

1. גישה לתוצאות: התוצאות האחרונות של הרצת הבדיקה מוצגות לכל מקרה בדיקה בתצוגה Test Case לאחר השלמת הבדיקה:
   1. דמיון סמנטי: מדד שבודק עד כמה השיחות של הסוכן דומות ל"תשובה המושלמת" (תשובות בתרחיש הבדיקה). כדי לקבל את המדד הזה, צריך להשתמש בתשובות מוזהבות. הערכים יכולים להיות 0 (לא עקבי), 0.5 (עקבי במידה מסוימת) או 1 (עקבי מאוד).
   2. דיוק של קריאות לכלים: ערך שמשקף את מידת ההתאמה בין הכלים שמופעלים במהלך השיחה לבין הכלים שצפויים להיות מופעלים במהלך השיחה. הערכים נעים בין 0 ל-1. אם לא נעשה שימוש בכלים בשיחה, רמת הדיוק תוצג כ--- (לא רלוונטי).
   3. זמן האחזור: הזמן הכולל שנדרש לסוכן כדי לעבד בקשה של משתמש קצה ולהגיב למשתמש (ההפרש בין סוף האמירה של המשתמש לבין תחילת התגובה של הסוכן). היחידות הן בשניות.
2. עדכון של תרחיש בדיקה מוזהב: אם הריצה האחרונה משקפת שינויים צפויים בעקבות עדכון של הסוכן, אפשר ללחוץ על 'שמירה כתרחיש בדיקה מוזהב' כדי לדרוס את תרחיש הבדיקה המקורי.
3. סינון ומיון של התוצאות: אתם יכולים לסנן ולמיין את תוצאות ההערכה לפי כל אחד מהמדדים שנוצרו או לפי סביבה ספציפית. האפשרות הזו שימושית למעקב אחרי שינויים בביצועים אחרי כל עדכון.

עיצוב של מקרי בדיקה לייבוא באצווה

בקטע הזה מוסבר איך לעצב קובץ CSV לייבוא של קבוצת תרחישי בדיקה עבור הסוכן. המערכת קוראת את הקובץ הזה כדי ליצור קבוצה מובנית של תרחישי בדיקה, שכל אחד מהם מכיל תור אחד או יותר של שיחה.

מקרה בדיקה יחיד יכול להתפרס על פני כמה שורות בקובץ ה-CSV. השורה הראשונה של תרחיש בדיקה מגדירה את המאפיינים הכלליים שלו (כמו השם והשפה). כל שורה עוקבת לתרחיש הבדיקה הזה מגדירה תור אחד של שיחה (המשתמש אומר משהו, והסוכן אמור להשיב).

כותרת

קובץ ה-CSV חייב לכלול שורת כותרת בתור השורה הראשונה. הכותרת הזו מגדירה את הנתונים בכל עמודה.

כותרות חובה

שתי כותרות החובה צריכות להיות בסדר שמוצג. שני הערכים האלה נדרשים בשורה הראשונה של תרחיש בדיקה חדש. כדי להתחיל תרחיש בדיקה חדש, צריך לספק ערכים חדשים של DisplayName ו-LanguageCode.

• ‫DisplayName: השם של תרחיש הבדיקה. השדה הזה מתמלא רק בשורה הראשונה של תרחיש בדיקה חדש.
• ‫LanguageCode: קוד השפה של הבדיקה (לדוגמה, en, en-US, es).

כותרות אופציונליות

כדי לספק פרטים נוספים על תרחישי הבדיקה, אפשר לכלול את הכותרות האופציונליות הבאות. הן יכולות להופיע בכל סדר אחרי שתי העמודות הראשונות הנדרשות.

מטא-נתונים של תרחיש בדיקה

• תגים: תגים מופרדים ברווחים לארגון הבדיקות (לדוגמה, payments onboarding).
• הערות: הערות בטקסט חופשי או תיאור של מטרת תרחיש הבדיקה.
• TestCaseConfigV2.StartResource: מציינים את התהליך או את תוכנית הפעולה שרוצים להתחיל איתם את הבדיקה.

קלט של משתמשים

• ‫UserInput.Input.Text: הטקסט שהמשתמש 'מקליד' בתור מסוים.
• ‫UserInput.InjectedParameters: פרמטרים להוספה לשיחה בתחילת תור, בפורמט של מחרוזת JSON.

פלט של סוכן

• ‫AgentOutput.QueryResult.ResponseMessages.Text: הטקסט המדויק שבו הסוכן השיב.
• ‫AgentOutput.QueryResult.Parameters: הפרמטרים שלטענתכם חולצו על ידי הסוכן, בפורמט של מחרוזת JSON.

מה אמור לקרות

• ‫OrderedExpectations.ExpectedFlow: ה-Flow שצפוי להיות פעיל אחרי התור.
• ‫OrderedExpectations.ExpectedIntent: הכוונה שצפויה להתאים לתור.
• OrderedExpectations.ExpectedAgentReply: הטקסט שאתם מצפים שהסוכן ישיב. יכול להיות מחרוזת משנה של התשובה המלאה.
• ‫OrderedExpectations.ExpectedOutputParameter: הפרמטרים שאתם מצפים שיוגדרו בסוף התור, בפורמט של מחרוזת JSON.

מטא-נתונים של אודיו

• AudioTurnMetadata מטא-נתונים של בדיקות מבוססות-אודיו, בפורמט של מחרוזת JSON.

יצירת תרחיש בדיקה

תרחישי הבדיקה מאורגנים לפי שורות נתונים.

1. כדי להתחיל תרחיש בדיקה חדש, ממלאים את שורת המטא-נתונים שלו.
   • כלל: בשורה הזו צריך להיות ערך בעמודה DisplayName.
   • פעולה: מזינים ערכים עבור DisplayName ו-LanguageCode. אפשר גם להוסיף תגים, הערות או TestCaseConfigV2.StartResource בשורה הזו. אם משתמשים בתגים, צריך להפריד בין התגים ברווח. אם משתמשים בעמודות של תורות בשיחה (כמו UserInput.Input.Text), צריך להשאיר את השורה הזו ריקה. דוגמה: tag1 tag2 tag3. אם משתמשים ב-TestCaseConfigV2.StartResource, צריך להוסיף לשם המשאב את הקידומת start_flow: או start_playbook:. דוגמה: start_flow:projects/p/locations/l/agents/a/flows/f.
2. מוסיפים תור לשיחה לתרחיש הבדיקה שהתחלתם עכשיו, על ידי הוספת שורה חדשה מיד מתחתיו.
   • כלל: העמודה DisplayName חייבת להיות ריקה. התג הזה מציין לניתוח התחביר שמדובר בתור ששייך לתרחיש הבדיקה הקודם.
   • פעולה: ממלאים את העמודות שמתארות את פעולת המשתמש ואת התגובה הצפויה של הסוכן בתור הזה, כמו UserInput.Input.Text ו-OrderedExpectations.ExpectedAgentReply. עבור עמודות שנדרש בהן JSON, צריך לספק אובייקט JSON תקין כמחרוזת. דוגמה: {"param_name": "param_value", "number_param": 123}.