במסמך הזה מפורטות ההמלצות של Google לשימוש מיטבי ב-AI לבדיקת איכות. ההנחיות במסמך הזה יעזרו לכם לוודא ש-AI איכותי יספק את המידע הכי מדויק ושימושי לצרכים העסקיים שלכם.
כרטיסי מידע
כרטיסי הניקוד מספקים גישה למדדי הביצועים של הנציגים ולהוראות מפורטות למענה על שאלות לגבי שיחה. אתם צריכים להזין את נתוני השיחה, השאלות ואפשרויות התשובה האפשריות, וגם הוראות לפענוח התשובות. כדי להשיג את התוצאות הטובות ביותר, מומלץ להשתמש בדף כרטיסי הניקוד במסוף Quality AI כדי להעלות את דוגמאות השיחות.
כרטיסי הניקוד הם דרך אחת לקבץ את השאלות ולראות ציונים נפרדים לכל קבוצה. כדי להעריך שיחות לפי קריטריונים שונים, אפשר ליצור כמה כרטיסי ניקוד עם שאלות שונות בכל אחד מהם. לאחר מכן תוכלו לראות את ציוני האיכות והשיחה של כל כרטיס ניקוד כדי להעריך את הסוכן על סמך קריטריונים נפרדים.
נתוני שיחות
נתוני השיחות הם תמלילים של שיחות קוליות או צ'אט עם הסרת פרטים אישיים מזהים. מעלים לפחות 2,000 שיחות לכל יחידה עסקית או מוקד טלפוני.
אפשר גם להעלות הקלטות אודיו של שיחות קוליות. כדי לקבל את התוצאות הטובות ביותר, כדאי להקליט אודיו לפי המפרט הבא:
- שני ערוצים
- תדירות דגימה של 16,000 Hz (או 8,000-48,000 Hz)
- קידוד ללא אובדן נתונים: FLAC או LINEAR16
- קידוד ללא אובדן נתונים לקובצי אודיו בפורמט WAV: LINEAR16 או MULAW
המטא-נתונים של הקלטות אודיו של שיחות קוליות צריכים לכלול את הפרטים הבאים:
- תוויות של ערוצים לזיהוי הנציג והלקוח
- מזהה הנציג, שם, מיקום, צוות ו-CSAT
- שפת האודיו כתג שפה BCP-47, כמו en-US
שאלות
בכל כרטיס מידע מופיעות שאלות והוראות למענה עליהן, שמספקות מידע חשוב ל-AI איכותי לצורך הערכת שיחות וביצועי נציגים. כדי להגדיל את מידת הדיוק של ההערכות האוטומטיות, כדאי לכתוב את השאלות וההוראות תוך התחשבות במושגים הבאים:
- בהירות: חשוב לכתוב שאלות ברורות שאפשר להבין אותן.
- ספציפיות: כדאי להוסיף תשובות אפשריות והוראות ספציפיות ככל האפשר.
- פרטים: כוללים הוראות עם מספיק פרטים כדי שאדם יוכל להעריך את השיחות בביטחון ובאמינות.
- דוגמאות: כדי לקבל תשובות מדויקות יותר מ-AI איכותי, כדאי לספק דוגמאות משיחות אמיתיות שממחישות כל תשובה לשאלות שלכם.
השאלות יכולות להיות מנוסחות במגוון דרכים. הנה כמה תבניות שימושיות לשאלות:
- "האם הסוכן…?" עם פעולה ספציפית. הפורמט הזה מציין שהמעריך צריך לחפש משהו שהסוכן אמר.
- "האם הלקוח…?" עם פעולה ספציפית. הפורמט הזה מציין שהבודק צריך לחפש משהו שהלקוח אמר.
- התחלה עם מילות שאלה כמו מה או למה מעודדת הערכה של השיחה כולה.
שאלות עם כמה תשובות
משתמשים כותבים לעיתים קרובות שאלות שהתשובות עליהן הן רק 'כן' או 'לא'. עם זאת, יכול להיות שהשאלה לא רלוונטית לשיחה, ולכן התשובה תהיה לא רלוונטי.
לחלופין, אפשר לפרש את השאלה כשאלה עם תשובה של כן או לא במגוון נסיבות, מה שמוביל לתשובות לא עקביות עם שתי אפשרויות בלבד. הוספת שאלות שדורשות סוגים אחרים של תשובות מאפשרת למודל ה-AI להבין את השיחה בצורה מעמיקה יותר.
ניתוח אקוסטי
ה-AI של איכות השיחות מעריך את תמלילי השיחות, ולא יכול לבצע ניתוח אקוסטי. אל תכללו שאלות שמצריכות ניתוח אקוסטי. לדוגמה, אף אחד – לא בן אדם ולא AI לבדיקת איכות – לא יכול לענות על השאלה 'האם הסוכן השתמש בברכה עם טון קול אופטימי?' רק על סמך קריאת תמליל השיחה.
תגים
תג אופציונלי שמאפשר ליצור קטגוריה קטנה יותר כדי לקבץ שאלות קשורות. בשיחה אחת, ה-AI לאיכות מחשב ציון כולל לשיחה. אפשר לקבץ שאלות באמצעות אחד משלושת התגים הבאים: עסק, לקוח או תאימות. לכל תג, ה-AI של איכות התוצאות מחשב גם ציון שכולל רק שאלות שהתג הזה הוחל עליהן.
הוראות
ההוראות מגדירות איך כל תשובה מתפרשת, ולכן הן צריכות להיות ספציפיות ולא להשאיר מקום לפרשנות. ההגדרה מבטיחה שכל הערכה של שיחה תספק את אותה תשובה.
פורמט
כוללים תיאור קצר של מטרת השאלה, ואחריו תיאור של הקריטריונים לכל אחת מהתשובות האפשריות. המשמעות היא שאתם צריכים להגדיר את הנסיבות המדויקות שבהן מישהו יבחר בכל אחת מהתשובות.
לדוגמה, ההוראות הבאות רלוונטיות לשאלה עם תשובות של כן או לא: "האם הנציג התייחס לבעיה העיקרית של הלקוח לפני שהציע לו מוצרים נוספים?"
הוראות:
מטרת השאלה הזו היא להבין אם הנציג התייחס לבעיה העיקרית של הלקוח לפני שניסה למכור לו מוצר נוסף. כך אפשר ליצור חוויה חיובית יותר למותג שלנו.
הציון הוא 'כן' אם הנציג פתר את הבעיה העיקרית ואז ניסה למכור. דוגמה: "עדכנתי את פרטי החשבון שלך. הבנתי שסימנת את מכשיר הבית החכם שלך כפגום. רוצה להזמין מכשיר חלופי?"
הציון הוא 'לא' אם הסוכן ניסה למכור מוצר לפני שפתר את הבעיה העיקרית. דוגמה: "לפני שאעדכן את פרטי החשבון שלך, אני רואה שרכשת מאיתנו מחשב נייד לפני חמש שנים. רוצה לנסות את המודל החדש שלנו?"
אם לא נעשה ניסיון מכירה, הציון יהיה 'לא רלוונטי'.
נתוני מעקב
כדי לשפר את הדיוק של כרטיס הניקוד של איכות המודעות, מומלץ להפעיל את האפשרות 'מעקב אחר נתונים'. במהלך שיחה עם שירות הלקוחות, המערכת מתעדת אירועים ומטא-נתונים. אירועים במערכת כוללים קריאות לכלים וכוונות של Dialogflow. המעקב משפר באופן ספציפי את הדיוק של שאלות שתלויות בכלי בגיליונות התוצאות של QAI.
סוגי תשובות
סוג התשובה תלוי במבנה השאלה. בקטע הזה מופיעות הצעות שיעזרו לכם להתחיל, אבל לא רשימה מלאה של שימושים.
כן/לא
התשובה 'כן/לא' היא סוג התשובה הנפוץ ביותר, כי אפשר להעריך את השאלות האלה במהירות, והתשובות לרוב אינטואיטיביות יותר מסוגי תשובות אחרים. שאלות שמתאים לענות עליהן ב"כן" או ב"לא" מתחילות בדרך כלל במילה "האם" ושואלות אם פעולה מסוימת התרחשה. אפשר גם לכתוב את השאלות האלה כהצהרות שצריך לקבוע אם הן נכונות או לא נכונות.
בדוגמאות לשיחות, תשובות של כן/לא נרשמות כערך true או false בפורמטים הבאים:
- התשובה 'כן' היא
true. - התשובה 'אין תשובה' היא
false.
Numbers
תשובות מספריות שימושיות לשאלות שבהן צריך לספור משהו, לציין סכום כסף או לדרג משהו בסולם. שאלות שמתאים להן סוג התשובה הזה מתחילות בדרך כלל במילים "כמה...", "כמה..." או "בסולם של..." ומבקשים ממך לקבוע תשובה אחת.
בדוגמאות לשיחות, תשובות מספריות מופיעות בפורמט הבא:
- התשובה 40.5 היא
40.5.
טקסט
תשובות טקסט ידרשו הכי הרבה עבודה ממאייר אנושי. שאלות שמומלץ להשיב עליהן באמצעות טקסט מתחילות בדרך כלל במילות שאלה כמו "מה..." או "למה...", ולעתים קרובות דורשות הערכה של השיחה כולה. תשובות טקסט מאפשרות לקבל מגוון רחב יותר של תשובות, ולכן ההוראות צריכות להסביר בצורה ברורה איך לפרש את השאלה ומתי להקצות כל תשובה אפשרית.
בדוגמאות לשיחות, תשובות טקסט מופיעות בפורמט הבא:
- תשובה מסוג Concluded היא
"CONCLUDED".
הקצאת תוצאות
כשיוצרים שאלה, אפשר להקצות ציון מספרי לכל אחת מהתשובות האפשריות. הציונים האלה מייצגים את החשיבות של כל תשובה לחישוב הציון הכולל של השיחה.
טווח שימושי לציונים של אפשרויות תשובה הוא 0-10. הטווח הזה מאפשר להגדיר את רמת הספציפיות בצורה מגוונת, והוא דומה לאחוז. תשובה עם ניקוד 0 לא משפיעה על חישוב הניקוד של השיחה. תשובה עם ציון של 10 משפיעה הכי הרבה על ציון השיחה. במילים אחרות, התשובה עם הציון 10 מעלה את ציון השיחה יותר מכל תשובה עם ציון נמוך יותר. תשובה עם ציון של 5 מעלה את ציון השיחה בחצי מהערך של תשובה עם ציון של 10.
לא רלוונטי
מסמנים את תיבת הסימון כדי להפעיל את האפשרות לא רלוונטי כתשובה לשאלה שלא רלוונטית לשיחה. אם ה-AI לבדיקת איכות בוחר באפשרות 'לא רלוונטי' כתשובה, השאלה מוסרת מהחישוב של ציון השיחה.
דוגמאות לקלט של כרטיסי מידע
בדוגמאות הבאות מוסבר איך להוסיף את כל המידע שנדרש ליצירת כרטיס מידע שימושי. כל כרטיס ניקוד דורש את הפרטים הבאים:
- כל שאלה לגבי השיחה.
- הוראות לפירוש השאלה והגדרת כל אפשרות תשובה.
- מעקב אחרי נתונים.
- סוג התשובה (יכול להיות טקסט, מספר או כן/לא).
- אפשרויות תשובה שמגדירות את התשובות האפשריות על סמך סוג התשובה (יכולות להיות כן ולא, רשימת מספרים או תשובות טקסט מסוימות).
- הניקוד שיוגדר לכל תשובה. הציון המקסימלי לשאלה אחת נקבע לפי הציון הכי גבוה מבין כל התשובות האפשריות.
אפשר לכלול את הפרטים הבאים כדי לארגן את השאלות בכרטיס הניקוד, אבל הם לא חובה:
- מתייגים כדי לקבץ את השאלות לקטגוריות (יכולות להיות קטגוריות של עסק, לקוח או תאימות).
דוגמה 1
- שאלה: מה הייתה התוצאה של השיחה?
- תג: לקוח
הוראות: המטרה של כל שיחה היא להגיע לפתרון או לתוצאה שמשתייכים לאחת מארבע קטגוריות אפשריות: הסתיימה, הועברה, הופנתה או הועברה לטיפול ברמה גבוהה יותר.
שיחות שהסתיימו הן שיחות שהבעיות בהן נפתרו בהצלחה ולא נדרשת בהן פעולה נוספת. הבעיה של הלקוח נפתרה והשיחה הסתיימה.
שיחות שהועברו הן שיחות שצריך לטפל בהן במחלקה אחרת או אצל נציג אחר. יכול להיות שהלקוח הועבר למומחה שיכול לעזור לו טוב יותר לפתור את הבעיה.
שיחות שמופנות אוטומטית הן שיחות שצריך לטפל בהן בערוץ אחר. לדוגמה, לקוח יכול להיות מופנה משיחה טלפונית לצ'אט באינטרנט.
שיחות שהועברו לטיפול ברמה גבוהה יותר הן שיחות שנדרשת בהן מעורבות של מנהל או מפקח. יכול להיות שהעברנו את הלקוח לטיפול ברמה גבוהה יותר בגלל חומרת הבעיה או בגלל שהלקוח לא מרוצה מהפתרון שהוצע על ידי הנציג הראשוני.
סוג התשובה: טקסט
אפשרות לתשובה Score הסתיים 1 הועבר 1 מופנה מחדש 1 הועברה לטיפול ברמה גבוהה יותר 0 מוסיפים את האפשרות 'לא רלוונטי' כתשובה. אם בוחרים באפשרות הזו, השאלה לא תיכלל בחישוב של הציון הכולל.
דוגמה 2
- שאלה: בסולם של 0 עד 5, מה הייתה רמת היעילות של התקשורת בין הנציג ללקוח?
- תג: עסק, תאימות, לקוח
הוראות: קנה מידה וקריטריונים
0, גרוע מאוד: אין תקשורת או שיש אי הבנה מוחלטת. שפה פוגענית, מטרידה או מזיקה. חוסר מוחלט של כבוד או אמפתיה.
1, גרוע מאוד: קשיים משמעותיים בתקשורת. הפרעות תכופות או דיבור אחד על השני. מינימום מאמץ כדי להבין או להתחבר. התנהגות מזלזלת או חסרת כבוד.
2, גרועה: יש כמה בעיות בתקשורת. אי-הבנות מדי פעם או חוסר בהירות. האינטראקציה או העניין מוגבלים. חוסר כבוד או חוסר רגישות מדי פעם.
3, ממוצע: השגת תקשורת בסיסית. השקעת מאמץ מסוים כדי להבין ולהיות מובן.רמת מעורבות וקשר בינונית. בדרך כלל מכבד, אבל יש מקום לשיפור.
4, טוב: תקשורת ברורה ויעילה. הקשבה פעילה והבנה. מעורבות וחיבור משמעותיים. הפגנת אמפתיה וכבוד הדדי.
5, מצוין: תקשורת והבנה יוצאות דופן. מעורבות עמוקה וקשר. תחושת שיתוף פעולה חזקה ותמיכה הדדית. רמות גבוהות של כבוד, אמפתיה וחמלה.
גורמים שכדאי להביא בחשבון כשמעריכים את התוכן:
בהירות: האם התקשורת הייתה ברורה וקלה להבנה?
הבנה: האם המשתתפים הפגינו הקשבה פעילה והבנה של נקודות המבט של האחרים?
השתתפות: האם המשתתפים היו מעורבים באופן פעיל בשיחה והתעניינו במה שהיה לאחרים לומר?
כבוד: האם במהלך השיחה היה כבוד הדדי והתחשבות?
אמפתיה: האם המשתתפים הפגינו אמפתיה והבנה של הרגשות של זה?
שיתוף פעולה: האם הייתה תחושה של שיתוף פעולה ועבודת צוות, או שהמשתתפים הרגישו שהם מתחרים זה בזה?
תוצאה: האם השיחה השיגה את המטרות המיועדות שלה או הובילה לתוצאה חיובית?
חשוב לזכור: ההקשר חשוב. כדאי לקחת בחשבון את ההקשר והמטרה של השיחה. מה שמתאים בהקשר אחד לא בהכרח מתאים בהקשר אחר.
סובייקטיביות: ההערכה יכולה להיות סובייקטיבית. לאנשים שונים יכולות להיות פרשנויות שונות מעט לאותה שיחה.
התמקדות בשיפור: כדאי להשתמש בהערכות ככלי ללמידה ולשיפור, ולא רק כדרך לשפוט או לבקר.
המסגרת הזו מספקת מדריך בסיסי להערכת שיחות, אבל אתם יכולים להתאים את הקריטריונים לצרכים ולמטרות הספציפיים שלכם.
סוג התשובה: מספר
אפשרויות לתשובה וציונים:
אפשרות לתשובה Score 0 0 1 1 2 2 3 3 4 4 5 5
מוסיפים את האפשרות 'לא רלוונטי' כתשובה. אם בוחרים באפשרות הזו, השאלה לא תיכלל בחישוב של הציון הכולל.
דוגמה 3
- שאלה: האם הנציג (הסוכן) פתח את השיחה עם הלקוח בצורה נאותה?
- תג: לקוח
- הוראות: הנציג (הסוכן) צריך תמיד להתחיל את השיחות עם פתיחה מתאימה, ברכה. זהו שלב חשוב ביצירת קשר חיובי ומקצועי עם הלקוח. פתיחת השיחה צריכה להיות חמה, ידידותית ומזמינה, וליצור אווירה שבה הלקוח מרגיש מוערך ומכובד. הנציג (הסוכן) צריך גם לוודא שהברכה מתאימה להקשר ולרקע התרבותי של הלקוח. אם הנציג יתחיל את השיחה עם פתיחה וברכה מתאימות, הוא יוכל ליצור רושם ראשוני חיובי, לבנות אמון ולהניח את הבסיס לאינטראקציה מוצלחת עם הלקוח.
- סוג התשובה: כן/לא
אפשרויות לתשובה וציונים:
אפשרות לתשובה Score "Yes" (כן) 1 "לא" 0
מוסיפים את האפשרות 'לא רלוונטי' כתשובה. אם בוחרים באפשרות הזו, השאלה לא תיכלל בחישוב של הציון הכולל.
הוספת שיחות לדוגמה
שיחות לדוגמה יכולות לעזור להבין איך Gemini מפרש את השאלות. כדי לכייל ולהתאים אישית את מודל ה-AI, צריך דוגמאות לשיחות עם תשובות שמוקצות לכל שאלה. מודל ה-AI לומד מנתוני שיחות אמיתיים, לכן כדאי לקחת דוגמאות מהשיחות הקיימות שלכם ב-Customer Experience Insights. אם לא מספקים שיחות לדוגמה, ה-AI האיכותי משתמש במודל בסיסי שלא יודע מהן התשובות הצפויות לשאלות.
כדי לשפר את הביצועים של מודל ה-AI, כדאי לכלול לפחות את הפרטים הבאים:
- 100 שיחות לדוגמה לכל שאלה
- 40 שיחות לדוגמה לכל תשובה אפשרית
אם תספקו פחות מ-100 שיחות לדוגמה לשאלה אחת, מודל ה-AI לא ילמד איך לתת ציון מדויק לשאלה הספציפית הזו. השיחות לדוגמה נשמרות והמודל לומד אחרי שיש מספיק שיחות. שיחה אחת יכולה ללמד את המודל איך לתת ציון לכמה שאלות, ואפשר לשפר עוד יותר את דיוק הניקוד של כל שאלה על ידי הוספת שיחות לדוגמה.
בכל שאלה בכרטיס המידע, כדאי לכלול אחוז של שיחות כדי להמחיש כל אחת מהתשובות האפשריות. בדוגמה הבאה אפשר לראות כמה שיחות אפשר לכלול כדי להמחיש שתי אפשרויות תשובה. הפיצול הספציפי הזה לא נדרש.
אם אחת השאלות בכרטיס הניקוד היא 'האם הסוכן גילה אמפתיה כלפי הלקוח?' והתשובה לשאלה הזו יכולה להיות 'כן' או 'לא', צריך לכלול את שני הדברים הבאים:
| שאלה | תשובות אפשריות | נתח השיחות |
|---|---|---|
| האם הנציג גילה אמפתיה כלפי הלקוח? | "Yes" (כן) | 75% |
| "לא" | 25% |
דוגמה לפורמט של שיחה
דוגמאות לשיחות צריכות לכלול לפחות מזהים לכל שיחה, כרטיס ניקוד ושאלה, וגם את התשובה הצפויה. השיחות לדוגמה יכולות לכלול גם את התשובות האפשריות, הציונים וההוראות. שיחות לדוגמה מועלות כמשאב FeedbackLabel. במדריך ההגדרה מוסבר איך לערוך שיחות לדוגמה באמצעות ה-API.
CSV
צריך להעלות שיחות לדוגמה בקובץ CSV. השורה הראשונה בקובץ ה-CSV חייבת להיות הכותרת, והקובץ חייב להכיל את הקטגוריות הבאות:
- ConversationId
- QaScorecardId
- QaQuestionId
- QaAnswerLabel או שדות פרטניים כמו QaAnswerScore ו-QaAnswerValue
AI איכותי יכול ליצור באופן אוטומטי תבנית של שיחה לדוגמה עם מזהי השיחות הקודמות. אתם יכולים לבחור את כרטיס הניקוד שבו תרצו להשתמש לשיחות לדוגמה, ולסנן את התבנית כך שתכלול רק חלק מהשיחות. הוראות ליצירת תבנית ולהעלאת שיחות לדוגמה מופיעות במדריך ההגדרה של AI איכותי.
קובצי שיחות לדוגמה בפורמט CSV יכולים להיות במגוון פורמטים. לדוגמה, תשובות של כן/לא מתאימות לערך True או False, מספרים נשארים זהים ותשובות טקסט מוקפות במירכאות. המשמעות היא שהשאלה true מוצגת כסוג תשובה של כן/לא, והתשובה שנבחרה היא כן. לעומת זאת, "Yes" מוצג כסוג תשובה טקסטואלית עם תשובה נבחרת של 'כן'. בדוגמאות הבאות מוצגים כמה פורמטים אפשריים של קובצי CSV.
- הכותרת הנפרדת
QaAnswerValueלא מקצה ניקוד.ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue convo_id,scorecard_test_id,question_id_q3,"NO" convo_id,scorecard_test_id,question_id_q6,"YES" convo_id,scorecard_test_id,question_id_q6,true convo_id,scorecard_test_id,question_id_q6,false convo_id,scorecard_test_id,question_id_q6,40.5
- כולל כותרות של
QaAnswerValueושלQaAnswerScore.ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue,QaAnswerScore convo_id,scorecard_test_id,question_id_q3,"NO",score: 1.0 convo_id,scorecard_test_id,question_id_q6,"YES",score: 1.0
- הכותרת
QaAnswerLabelכוללת גם ציון וגם תשובה, אבל אין פסיק שמפריד ביניהם.ConversationId,QaScorecardId,QaQuestionId,QaAnswerLabel convo_id,scorecard_test_id,question_id_q3,score: 1.0 "NO" convo_id,scorecard_test_id,question_id_q6,score: 0.5 40.5 convo_id,scorecard_test_id,question_id_q6,na_value:true convo_id,scorecard_test_id,question_id_q3,true
טבלה
בגיליון אלקטרוני, הפורמט החזותי של שיחות לדוגמה הוא טבלה שבה כל שורה מכילה מידע לזיהוי תשובה אחת, וכל עמודה מכילה זיהויים נפרדים, כמו שמוצג בטבלה הבאה:
| מזהה השיחה | מזהה כרטיס המידע | מזהה השאלה | תשובה |
|---|---|---|---|
| 44748735396 | 5727080762913918243 | 4097398336657302301 | "YES" |
| 44748735396 | 5727080762913918243 | 3576133206121890384 | "NO" |
| 3495523396 | 5727080762913918243 | 4097398336657302301 | "YES" |
| 3495523396 | 5727080762913918243 | 3576133206121890384 | "NO" |
הערכה של שיחה
מבצעי הערות אנושיים משתמשים בשאלות ובהוראות של כרטיס הניקוד כדי להעריך שיחות באופן ידני ולקבוע את התשובות הנכונות לכל שאלה בשיחות לדוגמה. כשכמה אנשים מעריכים את אותה שיחה, לפעמים הם מספקים תשובות שונות לכל שאלה. חוסר העקביות הזה בין ההערכות יוצר רעשי רקע ובלבול בתהליך של למידת המכונה. במהלך שיחה, אם אותה שאלה או שאלה דומה משויכת לכמה תשובות שונות, ל-AI לבדיקת איכות אין דרך ללמוד את המיפוי בין שאלות לתשובות.
כל אחת מהסיבות הבאות עלולה לגרום לחוסר עקביות כשכמה אנשים עונים על אותן שאלות לגבי שיחה אחת:
- שאלות סובייקטיביות שמובילות לפרשנויות שונות בין המבארים.
- קריטריונים עם פרטים לא מספיקים או הנחיות לא ברורות.
- גרסאות שונות של שאלה, אפשרויות תשובה או הוראות, לדוגמה:
- אפשר להתחיל עם אפשרויות תשובה של כן/לא בלבד, ואחר כך לעבור לגישה מפורטת יותר עם האפשרויות לא-א, לא-ב ולא-ג.
- עם זאת, שילוב של גישת התשובות כן/לא עם האפשרויות לא א', לא ב' ולא ג' יבלבל את המודל.
- משימת הערכה שדורשת עומס קוגניטיבי גבוה.
מדידת עקביות
כדי למדוד את העקביות בשיחות לדוגמה, אפשר לבקש מכמה אנשי הערות להעריך באופן עצמאי את אותה שיחה. לאחר מכן, מחשבים את ההסכמים ביניהם באמצעות מקדם קאפה של כהן. מומלץ לקבל מקדם קאפה של כהן של לפחות 0.2. אם העקביות נמוכה, אפשר לנסות אחת מהאפשרויות הבאות:
- כדאי לשפר את השאלה וההוראות כדי להקטין את הסיכוי לפרשנות שגויה.
- לתקשר בין המבארים כדי לפתור אי-התאמות ולהסכים על תקן דירוג יחיד.
- לנטר באופן רציף את העקביות בין המבארים.
- מספקים הדרכה נוספת למבצעי ההערות שהתשובות שלהם שונות לעיתים קרובות מתקן הדירוג.