Quality AI 最佳实践

本文档概述了 Google 关于如何以最佳方式使用 Quality AI 的建议。遵循本文档中的准则将确保 Quality AI 能够为您的业务需求提供尽可能准确且有用的信息。

记分卡

通过记分卡，您可以访问客服人员绩效指标，并获取有关如何回答对话相关问题的详细说明。您必须输入对话数据、问题和可能的答案选项，以及有关如何解读这些答案的说明。为获得最佳效果，请使用 Quality AI 控制台中的记分卡 页面上传示例对话。

记分卡提供了一种对问题进行分组的方式，并可查看每个分组的单独得分。您可以创建多个记分卡，每个记分卡中包含不同的问题，以便根据不同的标准评估对话。然后，您可以查看每个记分卡的质量得分和对话得分，以便根据不同的标准评估客服人员。

对话数据

对话数据是指语音对话或聊天对话的转写文稿，其中个人身份信息已隐去。请为每个业务单位或呼叫中心上传至少 2,000 个对话。

您还可以上传语音对话的录音。为获得最佳效果，请使用以下规范录制音频：

  • 两个声道
  • 16,000 Hz 采样率（或 8,000-48,000 Hz）
  • 无损编码：FLAC 或 LINEAR16
  • WAV 音频文件的无损编码：LINEAR16 或 MULAW

语音通话录音的元数据应包含以下信息：

  • 用于标识客服人员和客户的声道标签
  • 客服人员 ID、姓名、位置、团队和 CSAT
  • 音频语言，以 BCP-47 语言标记形式表示，例如 en-US

问题

在每个记分卡中，问题和回答说明为 Quality AI 评估对话和客服人员绩效提供了宝贵的信息。为了最大限度地提高自动评估的准确性，请在编写问题和说明时牢记以下概念：

  • 清晰度：编写清晰且人类可以理解的问题。
  • 具体性：添加尽可能具体的答案选项和说明。
  • 详细信息：添加说明，提供足够的详细信息，以便人类能够自信且可靠地评估对话。
  • 示例：如果您提供真实对话中的示例来阐述问题的每个答案，Quality AI 会更加准确。

问题可以采用多种形式。以下是一些有用的问题模板：

  1. “客服人员是否…？”后跟具体操作。 此格式表示评估者必须查找客服人员所说的内容。
  2. “客户是否…？”后跟具体操作。 此格式表示评估者必须查找客户所说的内容。
  3. 以“什么”或“为什么”等疑问词开头，鼓励对整个对话进行评估。

包含多个答案的问题

用户通常编写的问题只有“是”和“否”两个答案。但是，问题可能不适用于对话，因此需要选择 N/A 。

或者，在各种情况下，问题都可以解读为“是”或“否”，这会导致仅有两个选项的回答不一致。添加需要其他类型答案的问题，可以使 AI 模型更深入地了解对话。

声学分析

Quality AI 会评估对话转写文稿，无法执行声学分析。请排除需要声学分析的问题。例如，无论是人还是 Quality AI，都无法仅通过阅读对话的转写文稿来回答“客服人员是否使用了语气欢快的问候语？”这个问题。

标记

可选标记提供了一个较小的类别，用于将相关问题分组在一起。对于单个对话，Quality AI 会计算总体对话得分。您可以使用以下三个标记之一对问题进行分组：业务、客户或合规性。对于每个标记，Quality AI 还会计算一个得分，其中仅包含应用了该标记的问题。

说明

说明定义了如何解读每个答案；因此，说明必须具体，不留任何解读空间。该定义确保每次对话评估都提供相同的答案。

格式

添加对问题目的的简要说明，然后说明每个可能答案选项的标准。这意味着您必须定义某人给出每个答案选项的确切情况。

例如，以下说明适用于一个是非问题，该问题询问“客服人员是否在追加销售之前解决了客户的主要顾虑？”

说明：

此问题的目的是了解客服人员是否在尝试销售其他产品之前解决了客户的主要顾虑。这会为我们的品牌创造更积极的体验。

  • 如果客服人员解决了主要问题，然后尝试销售，则得分为“是”。示例：“我刚刚更新了您的账号信息。我看到您将智能家居设备标记为损坏。您想订购替换设备吗？”

  • 如果客服人员在解决主要问题之前尝试销售产品，则得分为“否”。示例：“在更新您的账号信息之前，我看到您五年前从我们这里购买了一台笔记本电脑。您想试试我们的新款吗？”

  • 如果没有尝试销售，则得分为“不适用”。

跟踪记录数据

如需提高 QAI 记分卡的准确性，请启用数据跟踪。跟踪会在客户服务对话期间捕获系统事件和元数据。系统事件包括工具调用和 Dialogflow 意图。跟踪功能专门提高了 QAI 记分卡中依赖工具的问题的准确性。

答案类型

答案类型取决于问题的结构。本部分提供了一些建议，可帮助您入门，但并非详尽的使用列表。

是/否

“是/否”是最常见的答案类型，因为您可以快速评估这些问题，并且答案通常比其他答案类型更直观。受益于“是/否”答案类型的问题通常以“是否…”开头，并询问是否发生了特定操作。这些问题也可以写成判断题。

在示例对话中，“是/否”答案以以下格式记录为 true 或 false 值：

  • “是”答案为 true。
  • “否”答案为 false。

数字

数值答案适用于询问某项内容的数量、金额或要求您按比例对某项内容进行评分的问题。受益于此答案类型的问题通常以“有多少…”、“多少…”或“按…比例”开头，并要求您确定一个答案。

在示例对话中，数值答案的格式如下：

  • 40.5 的答案为 40.5。

文本

文本答案需要人工注释者完成的工作最多。受益于文本答案的问题通常以“什么…”或“为什么…”等疑问词开头，并且通常需要对整个对话进行评估。文本答案鼓励回答更加多样化，因此说明必须清楚地解释如何解读问题以及何时分配每个答案选项。

在示例对话中，文本答案的格式如下：

  • “已结束”的答案为 "CONCLUDED"。

指定得分

创建问题时，您可以为每个答案选项指定一个数值得分。这些得分表示每个答案选项对于总体对话得分计算的重要性。

答案选项得分的有用范围是 0-10。此范围为具体性提供了一些变化，并且与百分比相当。得分为 0 的答案选项对对话得分计算没有影响。得分为 10 的答案选项对对话得分的影响最大。换句话说，得分为 10 的答案选项比任何得分较低的答案选项更能提高对话得分。得分为 5 的答案选项将对话得分提高的幅度是得分为 10 的答案的一半。

不适用

当问题不适用于对话时，点击复选框可启用 N/A 作为答案选项。当 Quality AI 选择 N/A 作为答案时，该问题将从对话得分计算中移除。

记分卡输入示例

以下示例说明了如何添加有用的记分卡所需的所有信息。每个记分卡都需要以下信息：

  • 有关对话的任何问题。
  • 用于解读问题和定义每个答案选项的说明。
  • 跟踪记录数据。
  • 答案类型（可以是文本、数字或“是/否”）。
  • 根据答案类型定义可能答案的答案选项（可以是“是”和“否”、数字列表或一些文本回答）。
  • 用于设置每个答案选项所得分数的得分。单个问题的最高得分由所有答案选项中的最高得分决定。

您可以添加以下内容来帮助整理记分卡上的问题，但这些内容不是必需的：

  • 用于将问题分组到类别中的标记（可以是业务、客户或合规性）。

示例 1

  • 问题：对话的结果是什么？
  • 标记：客户

  • 说明：任何对话的目标都是达成一个结果，该结果属于以下四种可能类别之一：已结束、已转移、已改变目的地或已上报。

    • 已结束的对话是指已成功解决且不需要采取任何进一步行动的对话。客户的问题已得到解决，对话已结束。

    • 已转移的对话是指需要由其他部门或客服人员处理的对话。客户可能已转移给专家，以便专家更好地帮助他们解决问题。

    • 已改变目的地的对话是指需要由其他渠道处理的对话。例如，客户可能已从手机通话转移到在线聊天会话。

    • 已上报的对话是指需要经理或主管参与的对话。客户可能因问题的严重性或对初始客服人员提供的解决方案不满意而被上报。

  • 答案类型：文本

    答案选项 得分
    已结束 1
    已转移 1
    已改变目的地 1
    已上报 0

    添加 N/A 作为答案选项。如果选择此选项，该问题将不会计入总得分计算。

示例 2

  • 问题：在 0-5 的范围内，客服人员与客户之间的沟通效果如何？
  • 标记：业务、合规性、客户

  • 说明：比例和标准

    • 0，极差：没有沟通或完全误解。攻击性、侮辱性或有害的语言。完全缺乏尊重或同理心。

    • 1，很差：沟通存在重大困难。频繁中断或互相打断。理解或建立联系的努力极少。不屑一顾或不尊重的行为。

    • 2，差：存在一些沟通挑战。偶尔出现误解或不清楚的情况。参与度或兴趣有限。偶尔出现不尊重或不敏感的情况。

    • 3，一般：实现了基本沟通。努力理解和被理解。参与度和联系程度一般。总体上尊重他人，但仍有改进的空间。

    • 4，良好：沟通清晰有效。积极倾听和理解。有意义的参与和联系。表现出相互尊重和同理心。

    • 5，优秀：沟通和理解能力出色。深入参与和联系。强烈的协作和互助意识。高度尊重、同理心和同情心。

    评估时要考虑的因素：

    • 清晰度：沟通是否清晰易懂？

    • 理解：参与者是否表现出积极倾听和理解对方的观点？

    • 参与度：参与者是否积极参与对话，并对他人所说的话感兴趣？

    • 尊重：整个对话过程中是否表现出相互尊重和体谅？

    • 同理心：参与者是否表现出同理心和理解对方的感受？

    • 协作：参与者是否具有协作和团队合作意识，还是感觉彼此在竞争？

    • 结果：对话是否实现了预期目标或带来了积极的结果？

    请注意：背景信息至关重要。请考虑对话的背景信息和目的。在一种情况下可能合适的内容，在另一种情况下可能不合适。

    主观性：评估可能具有主观性。不同的人对同一对话的解读可能略有不同。

    专注于改进：将评估作为学习和改进的工具，而不是仅仅作为判断或批评的方式。

    此框架提供了评估对话的基本指南，但您可以根据自己的具体需求和目标调整标准。

  • 答案类型：数字

  • 答案选项和得分：

    答案选项 得分
    0 0
    1 1
    2 2
    3 3
    4 4
    5 5

添加 N/A 作为答案选项。如果选择此选项，该问题将不会计入总得分计算。

示例 3

  • 问题：代表（客服）是否以适当的开场白问候了客户？
  • 标记：客户
  • 说明：代表（客服）始终应以适当的开场白、问候语开始对话。 这是与客户建立积极、专业且融洽关系的关键一步。 开场白应热情友好，营造欢迎氛围，让客户感受到重视和尊重。 代表（客服）还应确保问候语适合具体情境和客户的文化背景。 通过以适当的开场白和问候语开始对话，代表可以给客户留下良好的第一印象，建立融洽的关系，并为与客户成功互动奠定基础。
  • 答案类型：“是/否”

  • 答案选项和得分：

    答案选项 得分
    “是” 1
    “否” 0

添加 N/A 作为答案选项。如果选择此选项，该问题将不会计入总得分计算。

添加示例对话

示例对话有助于阐明问题的解读。校准和自定义 AI 模型需要示例对话，并为每个问题分配答案。AI 模型会从真实对话数据中学习，因此请从 Customer Experience Insights 中的现有对话中获取示例。如果您不提供任何示例对话，Quality AI 将使用基础模型，该模型不知道问题的预期答案。

如需提高 AI 模型的性能，请至少添加以下内容：

  • 每个问题 100 个示例对话
  • 每个答案选项 40 个示例对话

如果您为单个问题提供的示例对话少于 100 个，AI 模型将无法学习如何准确地为该特定问题评分。您的示例对话会存储起来，模型会在您提供足够的示例对话后进行学习。单个对话可以教会模型如何为多个问题评分，您还可以通过添加更多示例对话来进一步提高任何问题的评分准确性。

对于记分卡中的每个问题，请添加对话百分比以说明每个答案选项。以下示例展示了您可能添加多少对话来阐述两个可能的答案选项。此特定拆分不是必需的。

如果记分卡上的问题是“客服人员是否对客户表现出同理心？”，并且该问题的回答可以是“是”或“否”，请添加以下两项：

问题 可能的答案 对话份额
客服人员是否对客户表现出同理心？ “是” 75%
“否” 25%

示例对话格式

示例对话至少必须包含每个对话、记分卡和问题的标识符，以及预期答案。您的示例对话还可以包含答案选项、得分和说明。示例对话以 FeedbackLabel 资源的形式上传。如需了解如何使用 API 编辑示例对话，请参阅设置指南。

CSV

您必须以 CSV 文件的形式上传示例对话。CSV 文件的第一行必须是标题，并且该文件必须包含以下类别：

  • ConversationId
  • QaScorecardId
  • QaQuestionId
  • QaAnswerLabel 或个性化字段，例如 QaAnswerScore 和 QaAnswerValue

Quality AI 可以自动创建一个示例对话模板，其中填充了上述 ID。您可以选择要用于示例对话的记分卡，并过滤模板以仅包含部分对话。如需了解如何创建模板和上传示例对话，请参阅Quality AI 设置指南。

CSV 示例对话文件可以采用多种格式。例如，“是/否”答案对应于 true 或 false 值，数字保持不变，文本答案用英文引号括起来。这意味着 true 显示为“是/否”答案类型，并且选择的答案选项为“是”。另一方面，"Yes" 显示为文本答案类型，并且选择的答案选项为“是”。以下示例说明了一些可能的 CSV 格式。

  • 单个标头 QaAnswerValue 不会分配得分。 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue
convo_id,scorecard_test_id,question_id_q3,"NO"
convo_id,scorecard_test_id,question_id_q6,"YES"
convo_id,scorecard_test_id,question_id_q6,true
convo_id,scorecard_test_id,question_id_q6,false
convo_id,scorecard_test_id,question_id_q6,40.5
  • 同时包含 QaAnswerValue 和 QaAnswerScore 标头。 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue,QaAnswerScore
convo_id,scorecard_test_id,question_id_q3,"NO",score: 1.0
convo_id,scorecard_test_id,question_id_q6,"YES",score: 1.0
  • QaAnswerLabel 标头包含得分和答案，但不会用英文逗号分隔它们。 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerLabel
convo_id,scorecard_test_id,question_id_q3,score: 1.0 "NO"
convo_id,scorecard_test_id,question_id_q6,score: 0.5 40.5
convo_id,scorecard_test_id,question_id_q6,na_value:true
convo_id,scorecard_test_id,question_id_q3,true

表

在电子表格中，示例对话的视觉格式是一个表格，其中每行包含用于标识单个答案的信息，每列包含单独的标识，如以下表格所示：

对话 ID 记分卡 ID 问题 ID 答案
44748735396 5727080762913918243 4097398336657302301 "YES"
44748735396 5727080762913918243 3576133206121890384 "NO"
3495523396 5727080762913918243 4097398336657302301 "YES"
3495523396 5727080762913918243 3576133206121890384 "NO"

评估对话

人工注释者使用记分卡问题和说明手动评估对话，并确定示例对话中每个问题的正确答案。当多人评估同一对话时，他们有时会为每个问题提供不同的答案。评估之间的这种不一致性会给机器学习过程带来干扰和混乱。在对话中，如果相同或相似的问题与多个不同的答案相关联，Quality AI 将无法学习问题与答案之间的映射。

当多人为单个对话回答相同的问题时，以下任何情况都可能导致不一致：

  • 主观问题，导致注释者之间的解读不同。
  • 评分标准详细信息不足或准则不明确。
  • 问题、答案选项或说明的不同版本，例如：
    • 您可以先仅使用“是/否”答案选项，然后再更改为更精细的方法，使用“否-a”“否-b”和“否-c”选项。
    • 但是，将“是/否”方法与“否-a”“否-b”和“否-c”选项相结合会使模型感到困惑。
  • 需要大量认知负荷的评估任务。

衡量一致性

如需衡量示例对话的一致性，请让多位注释者独立评估同一对话。然后，使用 Cohen's kappa 系数计算他们之间的一致性。您希望看到 Cohen's kappa 系数不低于 0.2。如果一致性较低，请尝试以下方法之一：

  • 优化问题和说明，减少解读空间。
  • 在注释者之间进行沟通，以便他们解决差异并就单一评分标准达成一致。
  • 持续监控注释者之间的一致性。
  • 为答案经常与评分标准不同的注释者提供额外的培训。