פלטפורמת הנציגים הווירטואליים היא תכונה ב-Quality AI שמספקת תובנות לגבי הביצועים של נציגים וירטואליים שנוצרו באמצעות Dialogflow ו-Customer Experience Agent Studio (CX Agent Studio). CX Agent Studio הוא כלי ליצירת נציגים וירטואליים שמאפשר ליצור מערכות אסינכרוניות מרובות סוכנים עם סטרימינג דו-כיווני.
הצגת הפלטפורמה
כדי לראות את הפלטפורמה במסוף Customer Experience Insights (תובנות לגבי חוויית הלקוח), פועלים לפי השלבים הבאים.
- לוחצים על Quality AI (AI לבדיקת איכות) > Agents (סוכנים) > Virtual agent (נציג וירטואלי).
- בוחרים נציג תמיכה.
ביצועים של נציג וירטואלי
פלטפורמת הנציג הווירטואלי מספקת פרטים על הביצועים של הנציג הווירטואלי. בפלטפורמה מוצגים פרטים של מדדים תפעוליים ושל מדדי איכות מבוססי AI.
מדדים תפעוליים
בפלטפורמת הנציג הווירטואלי מוצג כל אחד מהמדדים הבאים כמספר או כאחוז.
| שם | הגדרה | קוד |
|---|---|---|
| נפח או סה"כ סשנים | המספר הכולל של שיחות שטופלו על ידי הסוכן הזה. | volume או total_sessions |
| שיעור ההסלמה | אחוז השיחות שהועברו לנציג אנושי. | escalation_rate |
| מספר הפניות לכל סשן | המספר הממוצע של תורות בכל שיחה. | turns_per_session |
| שיעור ההתאמה | אחוז השיחות שלא תאמו לאף כוונה. המדד הזה רלוונטי רק לנציגים וירטואליים שמבוססים על תהליך. | no_match_rate |
בפלטפורמת הנציג הווירטואלי מוצג תרשים של השינוי לאורך זמן עבור כל אחד מהמדדים הבאים.
| שם | הגדרה | קוד |
|---|---|---|
| נפח או סה"כ סשנים | המספר הכולל של שיחות שטופלו על ידי הסוכן הזה. | volume או total_sessions |
| פירוט של זמן האחזור מקצה לקצה | משך הזמן בין סוף האמירה של המשתמש לבין תחילת האמירה הבאה של הסוכן. | percentile_end_to_end_latency |
| שיעור ההסלמה | אחוז השיחות שהועברו לנציג אנושי. | escalation_rate |
| פירוט של סוג ההסלמה | מספר השיחות לכל משתמש שיזם העברה לטיפול ברמה גבוהה יותר. | escalation_type_breakdown |
| שיעור הכשלים בכלי | אחוז הקריאות לכלים שנכשלו בכל השימושים בכלי בשיחות עם סוכן ספציפי בתקופה שנבחרה ובאמצעי התקשורת שצוין. | tool_failure_rate |
| זמן האחזור של הכלי | זמן האחזור הממוצע של קריאה לכלי בכל השימושים בכלי בשיחות עם הסוכן הספציפי, בתקופת הזמן ובאמצעי התקשורת שנבחרו. | tool_latency |
| שיעור ההתאמה | אחוז השיחות שלא תאמו לאף כוונה. המדד הזה רלוונטי רק לנציגים וירטואליים שמבוססים על תהליך. | no_match_rate |
פירוט של זמן האחזור מקצה לקצה (E2E)
השהיית זמן כוללת (E2E) היא משך הזמן שחלף בין סוף האמירה של המשתמש לבין תחילת האמירה הבאה של הסוכן. פלטפורמת הנציג הווירטואלי מחשבת את זמן האחזור מקצה לקצה לכל אינטראקציה של סוכן משתמש בשיחות בצ'אט ובשיחות קוליות.
בפלטפורמת הנציג הווירטואלי מוצג תרשים בשם E2E latency breakdown (פירוט של זמן האחזור מקצה לקצה), שממחיש את זמן האחזור מקצה לקצה ברמת האמירה. בציר ה-Y מוצג הזמן במרווחים של 50 אלפיות השנייה. ציר ה-x מציין שאפשר לראות את זמן האחזור מקצה לקצה של כלים, מודל שפה גדול (LLM) וטקסט לדיבור (TTS). לבסוף, בתרשים מוצג חביון מקצה לקצה כעמודות נפרדות לשלוש קטגוריות של אחוזונים: P50 הוא האחוזון ה-50, P90 הוא האחוזון ה-90 ו-P99 הוא האחוזון ה-99. לדוגמה, אם זמן האחזור של מודל שפה גדול (LLM) ברמת P99 הוא 5 שניות, המשמעות היא ש-99% מערכי זמן האחזור של מודל שפה גדול (LLM) ברמת האמירה הם פחות מ-5 שניות.
שיעור ההסלמה
כדי לחשב את שיעור ההסלמה, משתמשים בשיטות הבאות:
- Dialogflow: מחושב באמצעות אות מ-Dialogflow.
- CX Agent Studio: מחושב באמצעות אות ממעקב אחר סיום הסשן ב-CX Agent Studio.
כדי להגדיר את שיעור ההסלמה באמצעות הכלי end_session ב-CX Agent Studio:
- מוסיפים את הכלי
end_sessionלצומת הסוכן. עוברים לדף Agent (נציג) ב-Quality AI. לוחצים על כלים כדי להציג את הכליend_session. צריך לתת הנחיה לסוכן.
דוגמה: כשלקוח מבקש לדבר עם נציג תמיכה, מפעילים את הכלי
end_sessionעם הארגומנט{session_escalated = true}
בכלי end_session, המדד 'שיעור ההסלמה' מחושב על סמך הארגומנט session_escalated והפרמטר endSession.
פירוט של סוגי ההסלמה
בפירוט של סוג ההעברה מוצג מספר השיחות של כל יוזם העברה: משתמש או נציג. ה-AI האיכותי קובע מי יזם את ההעברה על ידי מענה לשאלה מוגדרת מראש מי העביר את השיחה? אתם יכולים ללחוץ על יוזם ההסלמה כדי לראות רשימה של שיחות איתו.
כלים
מדדי הכלים מחושבים עבור כלים של סוכנים וירטואליים. מדדים מצטברים כמו זמן האחזור של הכלי ושיעורי הכשלים עוזרים לבוני בוטים לזהות צווארי בקבוק בביצועים בשיחות.
מדדי איכות של AI
בפלטפורמת הנציג הווירטואלי מוצגים המדדים הבאים של AI איכותי.
- ציון איכות: ציון האיכות הממוצע לכל כרטיס מידע בשיחות שטופלו על ידי הנציג הזה.
- סנטימנט כללי: ציון הסנטימנט הממוצע בשיחות שטופלו על ידי הסוכן הזה.
- פירוט הסנטימנט: תרשים עמודות עם קוד צבע שמציג את מספר השיחות של הסוכן הזה לפי קטגוריית סנטימנט ברמת השיחה: שלילי, ניטרלי או חיובי.
- תוצאת השיחה: מספר השיחות לכל תוצאה אפשרית.
- סנטימנט לפי גילוי: פירוט של מספר השיחות לפי קטגוריית סנטימנט ברמת השיחה עבור המדד הזה.
בפלטפורמה מוצגים גם גרפים של השינויים לאורך זמן במדדים הבאים של איכות ה-AI.
- ציון איכות: אחוז ציוני האיכות של כל השיחות שהנציג טיפל בהן.
- פירוט של קטגוריות הציון: מספרי ציון האיכות לכל קטגוריה מוגדרת מראש: עסק, עמידה בדרישות, לקוח וכל קטגוריה בהתאמה אישית.
תוצאת השיחה
בתרשים של תוצאות השיחות מוצג מספר השיחות שהסתיימו בכל אחת מהתוצאות האפשריות הבאות:
- ננטש
- נפתרה חלקית
- הועברה לטיפול ברמה גבוהה יותר
- מופנה מחדש
- הבעיה נפתרה בהצלחה
- לא ידוע
חישוב תוצאות השיחה באמצעות שאלות מוגדרות מראש בגיליון התוצאות המוכנות מראש ב-AI לבדיקת איכות.
- כדי לראות את נתוני התוצאות בתרשים הזה, מריצים ניתוח של AI לאיכות באמצעות כרטיס ניקוד מוכן מראש.
- לוחצים על תוצאה כדי לראות רשימה של שיחות עם התוצאה הזו.
פירוט הסנטימנט
אחרי שמריצים ניתוח סנטימנט על כל השיחות, בתרשים פירוט הסנטימנט מוצג מספר השיחות עם סנטימנט כולל בכל קטגוריה: שלילי, ניטרלי וחיובי.