הערכה אוטומטית של סיכומים (הערכה עצמית) היא קריטית למעבר מ-בקרת איכות ידנית שמבוססת על גיליונות אלקטרוניים לאימות אוטומטי וניתן להרחבה של מודלים לסיכום. התכונה הזו מספקת את ההוכחות האמפיריות שדרושות כדי לשדרג גרסאות של מודלים או כדי לאמת שינויים בהנחיות מותאמות אישית.
לפני ההערכה האוטומטית, כדי לאמת מודל סיכום היה צריך שאנשים יקראו תמלילים וידרגו סיכומים באופן ידני. זה היה תהליך איטי, יקר וסובייקטיבי. ההערכה האוטומטית של סיכומים משפרת את האימות של מודל הסיכום בדרכים הבאות:
- היקף: הערכה של מאות שיחות תוך כ-20 עד 30 דקות.
- עקביות: שופטים שמבוססים על LLM מדרגים את הדיוק, ההיצמדות והשלמות.
- השוואה: מספקת הוכחות להשוואה בין מודל א' למודל ב', ומראה שמודל א' מניב ביצועים טובים יותר.
לפני שמתחילים
- כדי להריץ הערכה, צריך מחולל סיכומים (הגדרת המודל) ומערך נתונים (השיחות).
- אם אתם רוצים להשתמש במערך נתונים של Customer Experience Insights אבל לא יצרתם כזה, אתם יכולים לעבור אל מסוף Customer Experience Insights. אם יש לכם קובצי תמליל גולמיים, אתם צריכים להמיר אותם לפורמט הנתמך כדי להעלות אותם.
שני מקורות הנתונים
יש שתי אפשרויות להעברת נתוני שיחות.
| סוג המקור | מתאים במיוחד ל… | איך זה עובד |
| נפח האחסון של Agent Assist | תנועה בזמן אמת/תנועת ייצור | בוחרים טווח תאריכים וגודל מדגם. ההערכה האוטומטית של הסיכום בוחרת באופן אקראי דוגמאות מתוך תעבורת הנתונים בפועל שמאוחסנת במערכת. |
| Conversational Insights Dataset | בדיקת תרחישים ספציפיים | בוחרים מערך נתונים שנאסף ונוצר ב-Customer Experience Insights. האפשרות הזו מתאימה במיוחד למערכי נתונים מוזהבים או למקרי בדיקה ספציפיים. |
שלב 1: יצירת גנרטור
- עוברים אל הערכות ולוחצים על הערכה חדשה.
- ממלאים את הפרטים הבאים:
- השם המוצג: כדאי להשתמש במוסכמת שמות שכוללת את גרסת המודל והתאריך.
- תכונה: בוחרים באפשרות סיכום.
- גנרטור: בוחרים את הגנרטור הספציפי שרוצים לבדוק.
שלב 2: יוצרים קבוצת נתונים של שיחות
בוחרים אחד ממקורות הנתונים הבאים של סיכום.
- יצירת סיכומים חדשים לכל השיחות: מומלץ לבדיקת גרסאות חדשות של מודלים.
- יצירת תקצירים רק לשיחות שחסרים להן תקצירים במערך הנתונים: מומלץ אם לא לכל תמלילי השיחות יש תקצירים תואמים על סמך הגנרטור שנבחר בשלב הקודם.
- שימוש בסיכומים קיימים ממערך הנתונים. אל תיצור סיכומים: מומלץ לדירוג של מה שכבר נוצר בלי ליצור מחדש או להשוואה בין הביצועים של מחוללי סיכומים שונים.
שלב 3: בוחרים משאב של Cloud Storage
בוחרים תיקייה ב-Cloud Storage בקטגוריה לאחסון התוצאה.
במסוף Agent Assist מוצגות תוצאות ברמה גבוהה, אבל אפשר לייצא את הנתונים המפורטים שורה אחר שורה כקובץ CSV. זה המקור המהימן לפתרון בעיות מורכבות.
שלב 4: פירוש המדדים
אחרי שההרצה מסתיימת, מוצג כרטיס מידע עם ציונים לכל מדד הערכה.
הצגת פירוט
אפשר ללחוץ על שורה של שיחה ספציפית כדי לראות את הפרטים הבאים:
- התמליל עם הדיאלוג הגולמי
- המועמדים לסיכום
- הסבר על ציון ספציפי שניתן על ידי הערכה אוטומטית של סיכום
שלב 5: שימוש במצב השוואה
אתם יכולים לבחור שני הפעלות שונות של הערכה ולהשוות ביניהן. כדי לוודא שאתם משווים את אותם נתונים, כדאי להשוות בין מודלים של הערכה לאותו מערך נתונים. אם משנים את מערך הנתונים בין הפעלות, ההשוואה לא תהיה תקפה. חשוב לוודא שמזהה מערך הנתונים זהה במטא-נתונים.
כדי לראות הוכחות לשדרוג מודל הסיכום לגרסה העדכנית, פועלים לפי השלבים הבאים.
- מריצים את הערכה א' באמצעות המודל הנוכחי.
- מריצים הערכה ב' על אותו מערך נתונים באמצעות המודל החדש ביותר.
- בוחרים את שתי ההערכות ברשימה ולוחצים על השוואה.
במסוף של Agent Assist, הציונים הגבוהים מודגשים.
טיפים ושיטות מומלצות לפתרון בעיות
- להעלות קובצי טקסט גולמיים משלכם לבדיקה. קודם צריך ליצור מערך נתונים של Customer Experience Insights.
- המסוף מציג את הקטע Concise Situation (תמצית המצב), אבל הטקסט של הסיכום מציג אותו במקום השני. יכול להיות שהסדר בסרגל הצד לא יהיה זהה לסדר של יצירת הטקסט. כדי לקבל את המבנה המדויק, צריך להסתמך על תוכן הטקסט ועל ייצוא ה-CSV.
- מידע על ציונים אוטומטיים הם מהימנים, אבל כדאי לבדוק. מודל ההערכה האוטומטית מכויל כך שידמה אינטראקציה אנושית, אבל יש מקרים חריגים. כדי לבנות אמון בציון האוטומטי, מומלץ תמיד להשתמש בייצוא CSV של Cloud Storage כדי לבדוק ידנית מדגם קטן.