Best Practices für KI mit hoher Qualität

In diesem Dokument werden die Empfehlungen von Google für die optimale Nutzung von Quality AI beschrieben. Wenn Sie die Richtlinien in diesem Dokument befolgen, kann Quality AI die genauesten und nützlichsten Informationen für Ihre geschäftlichen Anforderungen liefern.

Übersichten

Scorecards bieten Zugriff auf Messwerte zur Agentenleistung und detaillierte Anleitungen zum Beantworten von Fragen zu einem Gespräch. Sie müssen Ihre Konversationsdaten, Fragen und möglichen Antwortoptionen sowie Anleitungen zur Interpretation dieser Antworten eingeben. Die besten Ergebnisse erzielen Sie, wenn Sie Ihre Beispielkonversationen auf der Seite Übersichten in der Quality AI Console hochladen.

Mit Scorecards können Sie Ihre Fragen gruppieren und für jede Gruppe separate Ergebnisse ansehen. Erstellen Sie mehrere Scorecards mit unterschiedlichen Fragen, um Unterhaltungen anhand verschiedener Kriterien zu bewerten. Anschließend können Sie die Qualitäts- und Konversationsscores für jede Scorecard ansehen, um einen Kundenservicemitarbeiter anhand separater Kriterien zu bewerten.

Konversationsdaten

Konversationsdaten sind Transkripte von Sprach- oder Chatunterhaltungen, in denen personenidentifizierbare Informationen entfernt wurden. Laden Sie mindestens 2.000 Unterhaltungen für jede Geschäftseinheit oder jedes Callcenter hoch.

Sie können auch Audioaufzeichnungen von Sprachunterhaltungen hochladen. Für optimale Ergebnisse sollten Sie Audioaufnahmen mit den folgenden Spezifikationen erstellen:

  • Zwei Channels
  • Abtastrate von 16.000 Hz (oder 8.000–48.000 Hz)
  • Verlustfreie Codierung: FLAC oder LINEAR16
  • Verlustfreie Codierung für WAV-Audiodateien: LINEAR16 oder MULAW

Die Metadaten für Audioaufzeichnungen eines Sprachanrufs sollten die folgenden Informationen enthalten:

  • Channel-Labels zur Identifizierung des Kundenservicemitarbeiters und des Kunden
  • Agent-ID, Name, Standort, Team und CSAT
  • Die Sprache der Audiodaten als BCP-47-Sprachcode, z. B. „en-US“

Fragen

Die Fragen und Anleitungen zum Beantworten der Fragen in jeder Scorecard liefern wertvolle Informationen für Quality AI, um Unterhaltungen und die Leistung von Kundenservicemitarbeitern zu bewerten. Um die Genauigkeit automatischer Bewertungen zu maximieren, sollten Sie Fragen und Anweisungen unter Berücksichtigung der folgenden Konzepte formulieren:

  • Klarheit: Stellen Sie Fragen, die klar formuliert sind und von einem Menschen verstanden werden können.
  • Spezifität: Fügen Sie Antwortoptionen und Anweisungen hinzu, die so spezifisch wie möglich sind.
  • Details: Geben Sie Anweisungen an, die genügend Details enthalten, damit ein Mensch die Konversationen zuverlässig und sicher bewerten kann.
  • Beispiele: Quality AI ist noch genauer, wenn Sie Beispiele aus echten Unterhaltungen angeben, die jede Antwort auf Ihre Fragen veranschaulichen.

Fragen können ganz unterschiedlich aussehen. Hier sind einige nützliche Fragetemplates:

  1. „Hat der Kundenservicemitarbeiter…?“ mit einer bestimmten Aktion. Dieses Format gibt an, dass der Prüfer nach etwas suchen muss, das der Agent gesagt hat.
  2. „Hat der Kunde …?“ mit einer bestimmten Aktion. Dieses Format weist darauf hin, dass der Prüfer nach etwas suchen muss, das der Kunde gesagt hat.
  3. Wenn Sie mit Fragewörtern wie was oder warum beginnen, wird die Bewertung der gesamten Unterhaltung gefördert.

Fragen mit mehreren Antworten

Nutzer stellen oft Fragen, die nur mit „Ja“ oder „Nein“ beantwortet werden können. Eine Frage kann sich jedoch nicht auf die Unterhaltung beziehen, was N/A rechtfertigt.

Alternativ könnte die Frage in verschiedenen Situationen als „Ja“ oder „Nein“ interpretiert werden, was zu inkonsistenten Antworten mit nur zwei Optionen führt. Wenn Sie Fragen einbeziehen, die andere Arten von Antworten erfordern, erhält das KI-Modell ein besseres Verständnis der Unterhaltung.

Akustische Analyse

Quality AI analysiert Transkripte von Unterhaltungen und kann keine akustische Analyse durchführen. Fragen ausschließen, die eine akustische Analyse erfordern. Weder ein Mensch noch Quality AI können beispielsweise die Frage „Hat der Kundenservicemitarbeiter eine Begrüßung mit einem optimistischen Ton verwendet?“ allein durch Lesen eines Transkripts des Gesprächs beantworten.

Tags

Mit dem optionalen Tag können Sie eine kleinere Kategorie erstellen, um ähnliche Fragen zu gruppieren. Für jede einzelne Unterhaltung berechnet Quality AI einen Gesamtscore. Sie können Fragen mit einem der drei Tags gruppieren: „business“ (geschäftlich), „customer“ (Kunde) oder „compliance“ (Compliance). Für jedes Tag berechnet Quality AI auch einen Wert, der nur Fragen mit diesem Tag berücksichtigt.

Anleitung

Anweisungen definieren, wie jede Antwort interpretiert wird. Sie müssen daher spezifisch sein und keinen Raum für Interpretationen lassen. Die Definition sorgt dafür, dass bei jeder Bewertung einer Unterhaltung dieselbe Antwort gegeben wird.

Format

Fügen Sie eine kurze Beschreibung des Zwecks der Frage und dann eine Beschreibung der Kriterien für jede mögliche Antwortmöglichkeit hinzu. Das bedeutet, dass Sie die genauen Umstände definieren müssen, unter denen jemand die jeweilige Antwortmöglichkeit geben würde.

Die folgenden Anweisungen gelten beispielsweise für eine Ja/Nein-Frage, in der gefragt wird: „Hat der Kundenservicemitarbeiter das Hauptanliegen des Kunden vor dem Cross-Selling behandelt?“

Anleitung:

Mit dieser Frage soll ermittelt werden, ob der Kundenservicemitarbeiter das Hauptanliegen des Kunden bearbeitet hat, bevor er versucht hat, ein zusätzliches Produkt zu verkaufen. Das sorgt für ein positiveres Image unserer Marke.

  • Bewerte mit „Ja“, wenn der Kundenservicemitarbeiter das primäre Problem behoben und dann versucht hat, etwas zu verkaufen. Beispiel: „Ich habe gerade Ihre Kontoinformationen aktualisiert. Ich sehe, dass du dein Smart-Home-Gerät als defekt markiert hast. Möchten Sie ein Ersatzgerät bestellen?“

  • Bewerte mit „Nein“, wenn der Kundenservicemitarbeiter versucht hat, ein Produkt zu verkaufen, bevor er das primäre Problem behoben hat. Beispiel: „Bevor ich Ihre Kontoinformationen aktualisiere, sehe ich, dass Sie vor fünf Jahren einen Laptop bei uns gekauft haben. Möchten Sie unser neues Modell ausprobieren?“

  • Geben Sie „–“ ein, wenn kein Verkaufsversuch unternommen wurde.

Trace-Daten

Aktivieren Sie die Datenverfolgung, um die Genauigkeit der QAI-Scorecard zu verbessern. Beim Tracing werden Systemereignisse und Metadaten während einer Kundenservice-Unterhaltung erfasst. Systemereignisse umfassen Tool-Aufrufe und Dialogflow-Intents. Das Tracing verbessert insbesondere die Genauigkeit von toolabhängigen Fragen in QAI-Scorecards.

Antworttypen

Der Antworttyp hängt von der Struktur der Frage ab. In diesem Abschnitt finden Sie Vorschläge für den Einstieg, aber keine vollständige Liste der Anwendungsfälle.

Ja/Nein

„Ja“/„Nein“ ist der häufigste Antworttyp, da diese Fragen schnell ausgewertet werden können und die Antworten oft intuitiver sind als bei anderen Antworttypen. Fragen, die von einem Ja/Nein-Antworttyp profitieren, beginnen oft mit „Hat…“ und fragen, ob eine bestimmte Aktion stattgefunden hat. Diese Fragen können auch als Richtig-oder-falsch-Fragen formuliert werden.

In Beispielunterhaltungen werden Ja/Nein-Antworten als „Wahr“- oder „Falsch“-Wert in den folgenden Formaten aufgezeichnet:

  • Die Antwort „Ja“ ist true.
  • Die Antwort „Nein“ istfalse.

Numbers

Numerische Antworten sind nützlich für Fragen, bei denen es um die Anzahl von etwas, einen Geldbetrag oder eine Bewertung auf einer Skala geht. Fragen, die von diesem Antworttyp profitieren, beginnen oft mit „Wie viele…“. „Wie viel…“ oder „Auf einer Skala von…“ und Sie werden aufgefordert, eine einzige Antwort zu geben.

In Beispielunterhaltungen haben numerische Antworten das folgende Format:

  • Die Antwort auf 40.5 ist 40.5.

Text

Textantworten erfordern den größten Aufwand von einem menschlichen Annotator. Fragen, die von Textantworten profitieren, beginnen oft mit Fragewörtern wie „Was…“ oder „Warum…“ und erfordern oft eine Bewertung des gesamten Gesprächs. Textantworten fördern eine größere Vielfalt bei den Antworten. Daher muss in der Anleitung klar erklärt werden, wie die Frage zu interpretieren ist und wann die einzelnen Antwortmöglichkeiten zugewiesen werden sollen.

In Beispielunterhaltungen haben Textantworten das folgende Format:

  • Die Antwort „Abgeschlossen“ ist "CONCLUDED".

Bewertungen zuweisen

Wenn Sie eine Frage erstellen, können Sie jeder Antwortmöglichkeit eine numerische Punktzahl zuweisen. Diese Werte geben die Wichtigkeit jeder Antwortmöglichkeit für die Berechnung der Gesamtbewertung der Konversation an.

Ein nützlicher Bereich für die Punktzahlen der Antwortmöglichkeiten ist 0–10. Dieser Bereich bietet eine gewisse Variation für die Spezifität und ist mit einem Prozentsatz vergleichbar. Eine Antwort mit einem Score von 0 hat keine Auswirkungen auf die Berechnung des Gesprächs-Scores. Eine Antwortmöglichkeit mit einem Wert von 10 hat den größten Einfluss auf die Konversationsbewertung. Mit anderen Worten: Die Antwortmöglichkeit mit einer 10 erhöht die Konversationsbewertung stärker als jede Antwortmöglichkeit mit einer niedrigeren Punktzahl. Eine Antwortmöglichkeit mit einem Wert von 5 erhöht den Unterhaltungswert um die Hälfte des Werts der Antwort mit 10.

–

Klicken Sie auf das Kästchen, um N/A als Antwortoption zu aktivieren, wenn eine Frage nicht für ein Gespräch gilt. Wenn Quality AI „N/A“ als Antwort auswählt, wird die Frage aus der Berechnung der Konversationsbewertung entfernt.

Beispiele für Eingaben für die Kurzübersicht

Die folgenden Beispiele zeigen, wie Sie alle Informationen hinzufügen, die für eine nützliche Übersicht erforderlich sind. Für jede Übersicht sind die folgenden Informationen erforderlich:

  • Fragen zur Unterhaltung
  • Anweisungen zur Interpretation der Frage und zur Definition der einzelnen Antwortmöglichkeiten.
  • Tracing-Daten
  • Antworttyp (kann Text, Zahl oder Ja/Nein sein).
  • Antwortmöglichkeiten, die die möglichen Antworten basierend auf dem Antworttyp definieren (können „Ja“ und „Nein“, eine Liste von Zahlen oder einige Textantworten sein).
  • Mit dieser Einstellung legen Sie die Punkte fest, die für jede Antwortmöglichkeit vergeben werden. Die maximale Punktzahl für eine einzelne Frage wird durch die höchste Punktzahl unter allen Antwortmöglichkeiten bestimmt.

Sie können die folgenden Elemente einfügen, um die Fragen auf Ihrer Scorecard zu organisieren. Sie sind jedoch nicht erforderlich:

  • Tag zum Gruppieren der Fragen in Kategorien (kann geschäftlich, kundenbezogen oder Compliance-bezogen sein).

Beispiel 1

  • Frage: Was war das Ergebnis des Gesprächs?
  • Tag: Kunde

  • Anleitung: Ziel jeder Unterhaltung ist es, eine Lösung oder ein Ergebnis zu erzielen, das in eine von vier möglichen Kategorien fällt: abgeschlossen, weitergeleitet, umgeleitet oder eskaliert.

    • Abgeschlossene Unterhaltungen sind solche, die erfolgreich gelöst wurden und keine weiteren Maßnahmen erfordern. Das Problem des Kunden wurde behoben und die Unterhaltung wurde beendet.

    • Übertragene Unterhaltungen sind solche, die von einer anderen Abteilung oder einem anderen Kundenservicemitarbeiter bearbeitet werden müssen. Der Kunde wurde möglicherweise an einen Spezialisten weitergeleitet, der ihm bei seinem Problem besser helfen kann.

    • Umgeleitete Unterhaltungen sind solche, die über einen anderen Channel bearbeitet werden müssen. Ein Kunde wurde beispielsweise von einem Telefonanruf zu einer Onlinechatsitzung weitergeleitet.

    • Eskalierte Unterhaltungen sind solche, bei denen ein Manager oder Vorgesetzter hinzugezogen werden muss. Der Kunde wurde möglicherweise aufgrund der Schwere des Problems eskaliert oder weil er mit der vom ursprünglichen Kundenservicemitarbeiter angebotenen Lösung nicht zufrieden ist.

  • Antworttyp: Text

    Antwortoption Punktzahl
    Abgeschlossen 1
    Übertragen 1
    Weitergeleitet 1
    Eskaliert 0

    Fügen Sie „N/A“ als Antwortoption hinzu. Wenn diese Option ausgewählt ist, wird die Frage nicht in die Berechnung der Gesamtpunktzahl einbezogen.

Beispiel 2

  • Frage: Wie effektiv war die Kommunikation zwischen dem Kundenservicemitarbeiter und dem Kunden auf einer Skala von 0 bis 5?
  • Tag: Business, Compliance, Customer

  • Anleitung: Skalierung und Kriterien

    • 0, Sehr schlecht: Keine Kommunikation oder völliges Missverständnis. Anstößige, missbräuchliche oder schädliche Sprache. Völliger Mangel an Respekt oder Empathie.

    • 1. Sehr schlecht: Erhebliche Kommunikationsschwierigkeiten. Häufige Unterbrechungen oder gegenseitiges Überreden. Minimaler Aufwand, um die Inhalte zu verstehen oder sich mit ihnen zu identifizieren. Abweisendes oder respektloses Verhalten

    • 2. Schlecht: Einige Kommunikationsschwierigkeiten. Gelegentliche Missverständnisse oder Unklarheiten. Geringes Interesse oder Engagement Gelegentliche Respektlosigkeit oder Unsensibilität.

    • 3. Durchschnittlich: Grundlegende Kommunikation möglich. Es ist etwas Aufwand erforderlich, um sich zu verständigen und verstanden zu werden.Das Engagement und die Verbindung sind moderat. Im Allgemeinen respektvoll, aber mit Verbesserungspotenzial.

    • 4. Gut: Klare und effektive Kommunikation. Aktives Zuhören und Verstehen. Sinnvolles Engagement und Kontakte. Gegenseitiger Respekt und Empathie werden gezeigt.

    • 5 – Ausgezeichnet: Außergewöhnliche Kommunikation und außergewöhnliches Verständnis. Intensive Interaktion und Verbindung. Starkes Gefühl der Zusammenarbeit und gegenseitigen Unterstützung. Hohes Maß an Respekt, Empathie und Mitgefühl.

    Bei der Bewertung zu berücksichtigende Faktoren:

    • Klarheit: War die Kommunikation klar und leicht verständlich?

    • Verständnis: Haben die Teilnehmer aktiv zugehört und die Perspektiven der anderen verstanden?

    • Engagement: Waren die Teilnehmer aktiv in das Gespräch eingebunden und an den Beiträgen der anderen interessiert?

    • Respekt: Wurde während der gesamten Unterhaltung gegenseitiger Respekt und Rücksichtnahme gezeigt?

    • Empathie: Haben die Teilnehmer Empathie und Verständnis für die Gefühle der anderen gezeigt?

    • Zusammenarbeit: Hatten die Teilnehmer das Gefühl, dass sie zusammenarbeiten und im Team arbeiten, oder hatten sie das Gefühl, dass sie gegeneinander antreten?

    • Ergebnis: Wurden die beabsichtigten Ziele der Unterhaltung erreicht oder hat sie zu einem positiven Ergebnis geführt?

    Denken Sie daran: Der Kontext ist wichtig. Berücksichtigen Sie den Kontext und den Zweck der Unterhaltung. Was in einem Kontext angemessen ist, muss es in einem anderen nicht sein.

    Subjektivität: Die Bewertung kann subjektiv sein. Verschiedene Personen können dasselbe Gespräch leicht unterschiedlich interpretieren.

    Fokus auf Verbesserung: Nutzen Sie Bewertungen als Tool zum Lernen und zur Verbesserung und nicht nur als Möglichkeit, zu urteilen oder zu kritisieren.

    Dieses Framework bietet eine grundlegende Anleitung zur Bewertung von Unterhaltungen. Sie können die Kriterien jedoch an Ihre spezifischen Anforderungen und Ziele anpassen.

  • Antworttyp: Zahl

  • Antwortmöglichkeiten und Punktzahl:

    Antwortoption Punktzahl
    0 0
    1 1
    2 2
    3 3
    4 4
    5 5

Fügen Sie „N/A“ als Antwortoption hinzu. Wenn diese Option ausgewählt ist, wird die Frage nicht in die Berechnung der Gesamtpunktzahl einbezogen.

Beispiel 3

  • Frage: Hat die Kundenservicemitarbeiterin oder der Kundenservicemitarbeiter die Kundin oder den Kunden angemessen begrüßt?
  • Tag: Kunde
  • Anleitung: Die Unterhaltung sollte immer mit einer angemessenen Begrüßung beginnen. Das ist ein wichtiger Schritt, um eine positive und professionelle Beziehung zur Kundin beziehungsweise zum Kunden aufzubauen. Die Begrüßung sollte freundlich und offen sein, damit sich die Kundin oder der Kunde wertgeschätzt und respektiert fühlt. Die Kundenservicemitarbeiterin oder der Kundenservicemitarbeiter sollte auch darauf achten, dass die Begrüßung zum Kontext und zum kulturellen Hintergrund des Gegenübers passt. Mit einer angemessenen Begrüßung kann der Kundenservice einen positiven ersten Eindruck hinterlassen, eine Beziehung aufbauen und die Grundlage für eine erfolgreiche Kundeninteraktion schaffen.
  • Antworttyp: Ja/Nein

  • Antwortmöglichkeiten und Punktzahl:

    Antwortoption Punktzahl
    „Ja“ 1
    „Nein“ 0

Fügen Sie „N/A“ als Antwortoption hinzu. Wenn diese Option ausgewählt ist, wird die Frage nicht in die Berechnung der Gesamtpunktzahl einbezogen.

Beispielunterhaltungen hinzufügen

Beispielkonversationen sind hilfreich, um die Interpretation von Fragen zu verdeutlichen. Für die Abstimmung und Anpassung des KI-Modells sind Beispielunterhaltungen mit Antworten für jede Frage erforderlich. Das KI-Modell lernt aus echten Unterhaltungsdaten. Verwenden Sie daher Beispiele aus Ihren bestehenden Unterhaltungen in Customer Experience Insights. Wenn Sie keine Beispielunterhaltungen angeben, verwendet Quality AI ein Fundierungsmodell, das die erwarteten Antworten auf Ihre Fragen nicht kennt.

Um die Leistung des KI-Modells zu verbessern, sollten Sie mindestens Folgendes angeben:

  • 100 Beispielunterhaltungen pro Frage
  • 40 Beispielunterhaltungen pro Antwortmöglichkeit

Wenn Sie weniger als 100 Beispielkonversationen für eine einzelne Frage angeben, lernt das KI-Modell nicht, wie diese Frage richtig bewertet wird. Ihre Beispielunterhaltungen werden gespeichert und das Modell lernt, sobald Sie genügend haben. In einem einzelnen Gespräch kann dem Modell beigebracht werden, wie mehrere Fragen bewertet werden. Sie können die Genauigkeit der Bewertung für jede Frage weiter verbessern, indem Sie weitere Beispielkonversationen hinzufügen.

Geben Sie für jede Frage in Ihrer Scorecard einen Prozentsatz der Konversationen an, um die einzelnen Antwortmöglichkeiten zu veranschaulichen. Im folgenden Beispiel sehen Sie, wie viele Unterhaltungen Sie einbeziehen könnten, um zwei mögliche Antworten zu veranschaulichen. Diese Aufteilung ist nicht erforderlich.

Wenn eine Frage auf einer Scorecard lautet: „Hat der Kundenservicemitarbeiter Empathie gegenüber dem Kunden gezeigt?“ und die Antwort auf diese Frage „Ja“ oder „Nein“ lauten kann, fügen Sie Folgendes hinzu:

Frage Mögliche Antworten Anteil der Unterhaltungen
Hat der Kundenservicemitarbeiter Einfühlungsvermögen gegenüber dem Kunden gezeigt? „Ja“ 75 %
„Nein“ 25 %

Beispiel für das Format einer Unterhaltung

Beispielunterhaltungen müssen mindestens Kennzeichnungen für jede Unterhaltung, Scorecard und Frage sowie die erwartete Antwort enthalten. Ihre Beispielunterhaltungen können auch die Antwortmöglichkeiten, Bewertungen und Anleitungen enthalten. Beispielunterhaltungen werden als FeedbackLabel-Ressource hochgeladen. Informationen zum Bearbeiten von Beispielkonversationen mit der API finden Sie im Einrichtungsleitfaden.

CSV

Sie müssen Beispielkonversationen in einer CSV-Datei hochladen. Die erste Zeile Ihrer CSV-Datei muss die Kopfzeile sein und die Datei muss die folgenden Kategorien enthalten:

  • ConversationId
  • QaScorecardId
  • QaQuestionId
  • QaAnswerLabel oder individuelle Felder wie QaAnswerScore und QaAnswerValue

Quality AI kann automatisch eine Beispielvorlage für Unterhaltungen mit den oben genannten IDs erstellen. Sie können auswählen, welche Scorecard für Ihre Beispielunterhaltungen verwendet werden soll, und die Vorlage filtern, damit nur bestimmte Unterhaltungen berücksichtigt werden. Eine Anleitung zum Erstellen einer Vorlage und zum Hochladen von Beispielkonversationen finden Sie im Einrichtungsleitfaden für Quality AI.

Beispieldateien für CSV-Konversationen können verschiedene Formate haben. Ja-/Nein-Antworten entsprechen beispielsweise dem Wert „true“ (wahr) oder „false“ (falsch), Zahlen bleiben gleich und Textantworten werden in Anführungszeichen gesetzt. Das bedeutet, dass true als Ja/Nein-Antworttyp angezeigt wird und die ausgewählte Antwortoption „Ja“ ist. "Yes" wird dagegen als Textantworttyp mit der ausgewählten Antwortoption „Ja“ angezeigt. Die folgenden Beispiele veranschaulichen einige mögliche CSV-Formate.

  • Für den einzelnen Header QaAnswerValue wird keine Punktzahl zugewiesen. 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue
convo_id,scorecard_test_id,question_id_q3,"NO"
convo_id,scorecard_test_id,question_id_q6,"YES"
convo_id,scorecard_test_id,question_id_q6,true
convo_id,scorecard_test_id,question_id_q6,false
convo_id,scorecard_test_id,question_id_q6,40.5
  • Umfasst sowohl QaAnswerValue- als auch QaAnswerScore-Header. 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue,QaAnswerScore
convo_id,scorecard_test_id,question_id_q3,"NO",score: 1.0
convo_id,scorecard_test_id,question_id_q6,"YES",score: 1.0
  • Der Header QaAnswerLabel umfasst sowohl eine Punktzahl als auch eine Antwort, die jedoch nicht durch ein Komma getrennt sind. 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerLabel
convo_id,scorecard_test_id,question_id_q3,score: 1.0 "NO"
convo_id,scorecard_test_id,question_id_q6,score: 0.5 40.5
convo_id,scorecard_test_id,question_id_q6,na_value:true
convo_id,scorecard_test_id,question_id_q3,true

Tabelle

In einer Tabelle enthält jede Zeile Informationen zur Identifizierung einer einzelnen Antwort und jede Spalte separate Identifikationen, wie in der folgenden Tabelle dargestellt:

Unterhaltungs-ID Kurzübersichts-ID Frage-ID Antwort
44748735396 5727080762913918243 4097398336657302301 "YES"
44748735396 5727080762913918243 3576133206121890384 "NO"
3495523396 5727080762913918243 4097398336657302301 "YES"
3495523396 5727080762913918243 3576133206121890384 "NO"

Unterhaltung bewerten

Menschliche Kommentatoren verwenden Kurzübersichtsfragen und ‑anweisungen, um Unterhaltungen manuell zu bewerten und die richtigen Antworten auf jede Frage in Beispielunterhaltungen zu ermitteln. Wenn mehrere Personen dieselbe Unterhaltung bewerten, geben sie manchmal unterschiedliche Antworten auf die einzelnen Fragen. Diese Inkonsistenz zwischen den Bewertungen führt zu Rauschen und Verwirrung im Machine-Learning-Prozess. Wenn in einer Unterhaltung dieselbe oder eine ähnliche Frage mit mehreren unterschiedlichen Antworten verknüpft ist, kann die Quality AI die Zuordnung zwischen Fragen und Antworten nicht lernen.

Die folgenden Faktoren können zu Inkonsistenzen führen, wenn mehrere Personen dieselben Fragen für eine einzelne Konversation beantworten:

  • Subjektive Fragen, die zu unterschiedlichen Interpretationen zwischen den Annotatoren führen.
  • Rubriken mit unzureichenden Details oder unklaren Richtlinien.
  • Verschiedene Versionen einer Frage, Antwortoptionen oder Anweisungen, z. B.:
    • Sie können mit Ja/Nein-Antwortoptionen beginnen und später zu einem detaillierteren Ansatz mit den Optionen „Nein – A“, „Nein – B“ und „Nein – C“ wechseln.
    • Wenn Sie den Ja/Nein-Ansatz jedoch mit den Optionen „no-a“, „no-b“ und „no-c“ kombinieren, wird das Modell verwirrt.
  • Eine Bewertungsaufgabe, die eine hohe kognitive Belastung erfordert.

Konsistenz messen

Um die Konsistenz in Ihren Beispielunterhaltungen zu messen, bitten Sie mehrere Annotatoren, dieselbe Unterhaltung unabhängig voneinander zu bewerten. Berechnen Sie dann die Übereinstimmungen zwischen ihnen mithilfe des Cohen-Kappa-Koeffizienten. Sie möchten einen Cohen-Kappa-Koeffizienten von mindestens 0,2 sehen. Wenn die Konsistenz niedrig ist, haben Sie folgende Möglichkeiten:

  • Formulieren Sie die Frage und die Anleitung so, dass weniger Raum für Interpretationen bleibt.
  • Kommunizieren Sie mit den Annotatoren, damit sie Unstimmigkeiten beheben und sich auf einen einheitlichen Bewertungsstandard einigen können.
  • Kontinuierliche Überwachung der Konsistenz zwischen den Annotatoren.
  • Zusätzliche Schulungen für Annotatoren, deren Antworten häufig vom Bewertungsstandard abweichen.