במדריך הזה מוסבר איך להגדיר בדיקות A/B של סוכנים בממשק שיחה באמצעות פלטפורמת CCAI.
למה כדאי לבצע בדיקות A/B של סוכנים וירטואליים?
בדיקות A/B (או בדיקות פיצול) הן מתודולוגיה יעילה לאופטימיזציה של הביצועים של AI בממשק שיחה. במקום להסתמך על אינטואיציה כשמעדכנים זרימת נתונים, אפשר להסתמך על נתונים בזמן אמת כדי לקבל החלטות.
היתרונות המרכזיים כוללים:
- צמצום הסיכון: לפני השקה מלאה, כדאי לבדוק סוכן חדש (לדוגמה, סוכן ב') עם אחוז קטן מהתנועה (לדוגמה, 10%) כדי לוודא שהוא לא משפיע לרעה על שיעורי ההכלה.
- השוואת ביצועים: השוואה בין מדדי KPI ספציפיים כמו דיוק בהתאמה לכוונת המשתמש, שיעור השלמת המשימות וסנטימנט הלקוחות בגרסאות שונות.
- שיפור איטרטיבי: כדאי להתנסות בהנחיות שונות, בפרסונות שונות או בגנרטורים שמופעלים על ידי מודלים גדולים של שפה (LLM), כדי למצוא את הדרך הכי יעילה לפתור את השאילתות של המשתמשים.
הגדרת בדיקות
בקטע הזה מוסבר איך להגדיר את CCAI Platform כך שתתמוך בבדיקות A/B של היכולות של נציג. ההגדרה הזו חלה גם על סוכני קול וגם על ערוצים דיגיטליים כמו נייד ואינטרנט.
הכנה של סוכנים וירטואליים
לפני שמגדירים את הטלפוניה או הניתוב, צריך לוודא שיש בסביבה שלכם שני יעדים נפרדים של נציגים וירטואליים. במסמכי התיעוד מוסבר איך להגדיר סוכנים וירטואליים. סביר להניח שתצטרכו שני פרופילים נפרדים לשיחות. הנציגים הווירטואליים בפועל יכולים להיות נציגים נפרדים או אותו נציג עם סביבות שונות.
סוכן א' (קבוצת בקרה): הסוכן הווירטואלי הקיים והיציב שלכם.
סוכן ב' (וריאנט): הסוכן שמכיל את התכונות החדשות, ההנחיות או השינויים בלוגיקה שרוצים לבדוק.
יצירת תורים ייעודיים ב-CCAI Platform
בפורטל של פלטפורמת CCAI, צריך ליצור היררכיה של תורים כדי לנהל את זרימת התנועה. התשובה תלויה בסוג הערוץ שבו אתם משתמשים – קולי או דיגיטלי. פרטים נוספים על יצירת תורים מופיעים במסמכי התיעוד.
יצירת תור א': עוברים לניהול תורים. יוצרים תור חדש בשם Queue_A_Test. הקצאת הסוכן הווירטואלי א' כמטפל הראשי בתור הזה.
יוצרים את תור ב': יוצרים תור שני בשם Queue_B_Test. הקצאת הסוכן הווירטואלי ב' כמטפל הראשי בתור הזה.
יצירת תור של הורה (נקודת כניסה): יוצרים תור בשם Main_Entry_Point. לתור הזה לא יוקצה נציג וירטואלי באופן ישיר, והוא ישמש כ'מפצל התנועה'.
הטמעה של לוגיקת ניתוב
כדי להפיץ את התנועה, צריך להגדיר את כללי הניתוב בתור Main_Entry_Point. המערכת תשתמש בתכונת ההפניה האוטומטית כדי לציין את קבוצות הניתוב. כל קבוצת ניתוב תכלול את הניתוב לתור היחסי. הקצאת האחוזים תשויך גם לקבוצת הניתוב הספציפית. פרטים נוספים על הגדרת כללי הניתוב מופיעים במסמכי התיעוד.
הגדרת חלוקת התנועה
תשתמשו בכלל חלוקה שמבוסס על אחוזים. כך תוכלו לקבוע בדיוק כמה שיחות יתקבלו אצל כל נציג.
| רכיב | לוגיקה | מטרה |
|---|---|---|
| Trigger | כל השיחות הנכנסות או הצ'אטים עם Main_Entry_Point. |
ללכוד את כל התנועה. |
| פעולה 1 | הפניית X% מהתנועה אל Queue_A_Test. |
מגדירים את קבוצת הבקרה. |
| פעולה 2 | הפניית שאר התנועה (Queue_B_Test%) אל Queue_B_Test. |
מקימים את קבוצת הבדיקה. |
תהליך עבודה של הגדרה
- פותחים את ההגדרה הפניה אוטומטית של התור
Main_Entry_Point. - מוסיפים קבוצה.
- בוחרים באפשרות בחירת הפניה של התור.
- בוחרים את התור שרוצים לשייך לקבוצה לניתוב שיחות A.
- בוחרים באפשרות פיצול באחוזים.
- לוחצים על הוספה.
- מוסיפים קבוצה.
- בוחרים באפשרות בחירת הפניה של התור.
- בוחרים את התור שרוצים לשייך לקבוצת הניתוב הזו (B).
- בוחרים באפשרות פיצול באחוזים.
- לוחצים על הוספה.
- מגדירים את היחס (לדוגמה, 50/50 לבדיקה מאוזנת או 90/10 להשקת קנרי).
- שומרים את ההגדרה.
מעקב וניתוח
כשהתנועה זורמת, אפשר להשתמש בלוח הבקרה של ניתוח הנתונים ב-CCaaS כדי להשוות את הביצועים.
- סינון דוחות לפי
Queue_A_TestלעומתQueue_B_Test. - כדאי לחפש מובהקות סטטיסטית בזמן הטיפול הממוצע (AHT) ובשיעור ההעברה לסוכן אנושי.
- כדאי לעיין בניתוח הנתונים של הסוכן הדיגיטלי כדי לחפש פרטים נוספים שיצביעו על השפעה חיובית או שלילית על הביצועים.