Quality AI のベスト プラクティス

このドキュメントでは、Quality AI を最大限に活用するための Google の推奨事項について説明します。このドキュメントのガイドラインに沿って設定することで、Quality AI がビジネスニーズに対して可能な限り正確で有用な情報を提供できるようになります。

スコアカード

スコアカードを使用すると、エージェントのパフォーマンス指標にアクセスし、会話に関する質問に回答するための詳細な手順を確認できます。会話データ、質問、回答の選択肢を入力し、回答の解釈方法の手順を指定する必要があります。最適な結果を得るには、Quality AI コンソールの [スコアカード] ページを使用して、会話の例をアップロードします。

スコアカードを使用すると、質問をグループ化し、グループごとに個別のスコアを表示できます。さまざまな基準で会話を評価するには、それぞれ異なる質問を含む複数のスコアカードを作成します。各スコアカードの品質スコアと会話スコアを表示して、個別の基準に基づいてエージェントを評価できます。

会話データ

会話データは、音声またはチャットの会話の文字起こしで、個人を特定できる情報は編集されています。ビジネス ユニットまたはコールセンターごとに、少なくとも 2,000 件の会話をアップロードします。

音声会話の音声録音をアップロードすることもできます。最適な結果を得るには、次の仕様で音声を録音します。

  • 2 つのチャンネル
  • サンプリング レート 16,000 Hz（または 8,000 ～ 48,000 Hz）
  • ロスレス エンコード: FLAC または LINEAR16
  • WAV 形式の音声ファイルのロスレス エンコード: LINEAR16 または MULAW

音声通話の音声録音のメタデータには、次の情報を含める必要があります。

  • エージェントとお客様を識別するチャンネル ラベル
  • エージェント ID、名前、場所、チーム、CSAT
  • 音声の言語（BCP-47 言語タグ（例: en-US））

質問

各スコアカード内の質問と回答の手順は、Quality AI が会話とエージェントのパフォーマンスを評価するための貴重な情報を提供します。自動評価の精度を最大限に高めるには、次のコンセプトを念頭に置いて質問と手順を作成します。

  • 明確さ: 人間が理解できる明確な質問を作成します。
  • 具体性: できるだけ具体的な回答の選択肢と手順を追加します。
  • 詳細: 人間が会話を自信を持って確実に評価できる十分な詳細情報を含む手順を含めます。
  • 例: 質問に対する回答を示す実際の会話の例を提供すると、Quality AI の精度がさらに向上します。

質問にはさまざまな形式があります。以下に、役立つ質問テンプレートを示します。

  1. 「エージェントは…しましたか？」に特定のアクションを追加します。 この形式は、評価者がエージェントの発言を探す必要があることを示します。
  2. 「お客様は…しましたか？」に特定のアクションを追加します。 この形式は、評価者がお客様の発言を探す必要があることを示します。
  3. 「何ですか？」や「なぜですか？」などの質問語で始めると、会話全体を評価しやすくなります。

複数回答の質問

ユーザーは、はいといいえの回答のみを含む質問を作成することがよくあります。ただし、質問が会話に適用されない場合があり、その場合は [なし] を選択します。

また、さまざまな状況で質問を「はい」または「いいえ」と解釈できるため、2 つの選択肢のみでは回答に一貫性がなくなります。他のタイプの回答を必要とする質問を含めることで、AI モデルは会話をより深く理解できます。

音響分析

Quality AI は会話の文字起こしを評価し、音響分析を実行できません。音響分析が必要な質問は除外してください。たとえば、会話の文字起こしを読むだけでは、「エージェントは明るいトーンで挨拶しましたか？」という質問に人間も Quality AI も回答できません。

タグ

省略可能なタグを使用すると、関連する質問をグループ化して、より小さなカテゴリに分類できます。1 つの会話に対して、Quality AI は会話の総合スコアを計算します。質問は、ビジネス、お客様、コンプライアンスの 3 つのタグのいずれかを使用してグループ化できます。各タグについて、Quality AI はそのタグが適用された質問のみを含むスコアも計算します。

手順

手順では、各回答の解釈方法を定義します。手順は具体的で、解釈の余地がないようにする必要があります。定義により、会話の評価ごとに同じ回答が提供されます。

形式

質問の目的の簡単な説明と、回答の選択肢ごとの基準の説明を含めます。つまり、各回答の選択肢が選択される正確な状況を定義する必要があります。

たとえば、次の手順は、「エージェントはクロスセルを行う前にお客様の主な懸念事項に対応しましたか？」というはい/いいえの質問に適用されます。

手順:

この質問の目的は、エージェントが追加の商品を販売する前にお客様の主な懸念事項に対応したかどうかを把握することです。これにより、ブランドに対する好感度が高まります。

  • エージェントが主な問題を解決してから販売を試みた場合は、「はい」と評価します。例: 「アカウント情報を更新しました。スマートホーム デバイスが故障しているとマークされています。交換品をご注文されますか？」

  • エージェントが主な問題を解決する前に商品を販売しようとした場合は、「いいえ」と評価します。例: 「アカウント情報を更新する前に、5 年前にノートパソコンをご購入いただいたことを確認しました。新しいモデルをお試しになりませんか？」

  • 販売を試みなかった場合は、「なし」と評価します。

トレース データ

QAI スコアカードの精度を高めるには、データ トレースを有効にします。トレースは、カスタマー サービスでの会話中にシステム イベントとメタデータをキャプチャします。システム イベントには、ツール呼び出しと Dialogflow インテントが含まれます。トレースにより、QAI スコアカードのツールに依存する質問の精度が向上します。

回答のタイプ

回答のタイプは質問の構造によって異なります。このセクションでは、開始する際に役立つ提案を示しますが、用途の完全なリストではありません。

Yes/No

はい/いいえは、質問をすばやく評価でき、回答が他の回答タイプよりも直感的であることが多いため、最も一般的な回答タイプです。はい/いいえの回答タイプが適している質問は、「…しましたか？」で始まり、特定のアクションが行われたかどうかを尋ねるものが多くあります。これらの質問は、正誤問題として記述することもできます。

会話の例では、はい/いいえの回答は、次の形式で true または false の値として記録されます。

  • 「はい」の回答は true です。
  • 「いいえ」の回答は false です。

数字

数値回答は、何かの数、金額、またはスケールで何かを評価する質問に役立ちます。この回答タイプが適している質問は、「…は何個ですか？」「…はいくらですか？」または「…のスケールで…」で始まり、単一の回答を決定するよう求められるものが多くあります。

会話の例では、数値回答は次の形式になります。

  • 40.5 の回答は 40.5 です。

テキスト

テキスト回答は、人間によるアノテーターの作業が最も必要になります。テキスト回答が適している質問は、「…は何ですか？」や「なぜ…ですか？」などの質問語で始まり、会話全体の評価が必要になるものが多くあります。テキスト回答では回答のバリエーションが増えるため、質問の解釈方法と、各回答の選択肢を割り当てるタイミングを手順で明確に説明する必要があります。

会話の例では、テキスト回答は次の形式になります。

  • 「完了」の回答は "CONCLUDED" です。

スコアの割り当て

質問を作成するときに、回答の選択肢ごとに数値スコアを割り当てることができます。これらのスコアは、会話の総合スコアの計算における各回答の選択肢の重要度を表します。

回答の選択肢のスコアの有効な範囲は 0 ～ 10 です。この範囲では、具体性にばらつきがあり、パーセンテージに相当します。スコアが 0 の回答の選択肢は、会話のスコアの計算に影響しません。スコアが 10 の回答の選択肢は、会話のスコアに最も影響します。つまり、スコアが 10 の回答の選択肢は、スコアが低い回答の選択肢よりも会話のスコアを高くします。スコアが 5 の回答の選択肢は、スコアが 10 の回答の選択肢の半分だけ会話のスコアを上げます。

なし

質問が会話に適用されない場合は、チェックボックスをオンにして、回答の選択肢として [なし] を有効にします。Quality AI が回答として [なし] を選択すると、その質問は会話のスコアの計算から除外されます。

スコアカードの入力例

次の例は、有用なスコアカードに必要なすべての情報を追加する方法を示しています。各スコアカードには次の情報が必要です。

  • 会話に関する質問。
  • 質問の解釈と回答の選択肢の定義の手順。
  • トレース データ。
  • 回答のタイプ（テキスト、数値、はい/いいえ）。
  • 回答のタイプに基づいて考えられる回答を定義する回答の選択肢（はいといいえ、数値のリスト、テキスト レスポンスなど）。
  • 回答の選択肢ごとに獲得できるポイントを設定するスコア。1 つの質問の最大スコアは、すべての回答の選択肢の中で最も高いスコアによって決まります。

スコアカードの質問を整理するために、次のものを含めることができますが、必須ではありません。

  • 質問をカテゴリにグループ化するタグ（ビジネス、お客様、コンプライアンス）。

例 1

  • 質問: 会話の結果はどうでしたか？
  • タグ: お客様

  • 手順: 会話の目的は、完了、転送、リダイレクト、エスカレーションの 4 つのカテゴリのいずれかに該当する解決策または結果に到達することです。

    • 完了した会話は、正常に解決され、それ以上の対応を必要としない会話です。お客様の問題が解決し、会話が終了しました。

    • 転送された会話は、別の部門またはエージェントが対応する必要がある会話です。お客様は、問題の解決に役立つスペシャリストに転送された可能性があります。

    • リダイレクトされた会話は、別のチャンネルで対応する必要がある会話です。たとえば、お客様が電話からオンライン チャット セッションにリダイレクトされた可能性があります。

    • エスカレーションされた会話は、マネージャーまたは監督者の関与が必要な会話です。お客様は、問題の重大度、または最初のエージェントが提示した解決策に満足していないため、エスカレーションされた可能性があります。

  • 回答のタイプ: テキスト

    回答の選択肢 スコア
    完了 1
    転送済み 1
    リダイレクト済み 1
    エスカレーション済み 0

    回答の選択肢として [なし] を追加します。選択した場合、その質問は総合スコアの計算に含まれません。

例 2

  • 質問: 0 ～ 5 のスケールで、エージェントとお客様のコミュニケーションはどの程度効果的でしたか？
  • タグ: ビジネス、コンプライアンス、お客様

  • 手順: スケールと基準

    • 0、非常に悪い: コミュニケーションがないか、完全に誤解している。不適切、脅迫的、有害な言葉。敬意や共感の欠如。

    • 1、非常に悪い: コミュニケーションに大きな問題がある。頻繁な中断や、相手の発言を遮る。理解や接続に最小限の努力しかしない。軽蔑的または失礼な言動。

    • 2、悪い: コミュニケーションに課題がある。誤解や不明確さがある。エンゲージメントや関心が低い。失礼または無神経な言動がある。

    • 3、普通: 基本的なコミュニケーションは達成されている。理解しようとする努力がある。適度なエンゲージメントとつながり。概して丁寧だが、改善の余地がある。

    • 4、良い: 明確で効果的なコミュニケーション。積極的傾聴と理解。有意義なエンゲージメントとつながり。相互の敬意と共感を示す。

    • 5、非常に良い: 優れたコミュニケーションと理解。深いエンゲージメントとつながり。強い協力と相互サポートの意識。高いレベルの敬意、共感、思いやり。

    評価時に考慮すべき要素:

    • 明確さ: コミュニケーションは明確で理解しやすいものでしたか？

    • 理解: 参加者は、互いの視点を積極的に傾聴し、理解しましたか？

    • エンゲージメント: 参加者は会話に積極的に参加し、相手の発言に関心を持ちましたか？

    • 敬意: 会話全体を通して、相互の敬意と配慮が示されましたか？

    • 共感: 参加者は、互いの気持ちに共感し、理解しましたか？

    • コラボレーション: 協力とチームワークの意識はありましたか？それとも、参加者は互いに競い合っているように感じましたか？

    • 結果: 会話は意図した目標を達成しましたか？それとも、良い結果につながりましたか？

    コンテキストが重要です。会話のコンテキストと目的を考慮してください。ある状況で適切なことが、別の状況では適切でない場合があります。

    主観性: 評価は主観的になる可能性があります。同じ会話でも、人によって解釈が若干異なる場合があります。

    改善に重点を置く: 評価は、判断や批判ではなく、学習と改善のためのツールとして使用します。

    このフレームワークは、会話を評価するための基本的なガイドラインを提供しますが、特定のニーズや目標に基づいて基準を調整できます。

  • 回答のタイプ: 数字

  • 回答の選択肢とスコア:

    回答の選択肢 スコア
    0 0
    1 1
    2 2
    3 3
    4 4
    5 5

回答の選択肢として [なし] を追加します。選択した場合、その質問は総合スコアの計算に含まれません。

例 3

  • 質問: 担当者（エージェント）は最初に適切な言葉を使用してお客様に挨拶しましたか？
  • タグ: お客様
  • 手順: 担当者（エージェント）は、必ず最初に適切な言葉で挨拶してから会話を始める必要があります。 これは、お客様と好意的かつプロフェッショナルな信頼関係を築くための重要なステップとなります。 最初に温かくフレンドリーな歓迎の挨拶をして迎えることにより、大切にされ、尊重されているとお客様が感じられるような雰囲気を作る必要があります。 また、担当者（エージェント）は、状況やお客様の文化的背景を考慮して適切な挨拶をするように心がける必要があります。 最初に適切な言葉で挨拶してから会話を始めることで、担当者は好意的な第一印象を与え、信頼関係を築き、顧客との対話を成功させるための基盤を整えることができます。
  • 回答のタイプ: Yes/No

  • 回答の選択肢とスコア:

    回答の選択肢 スコア
    「はい」 1
    「いいえ」 0

回答の選択肢として [なし] を追加します。選択した場合、その質問は総合スコアの計算に含まれません。

会話の例を追加する

会話の例は、質問の解釈を明確にするのに役立ちます。AI モデルを調整してカスタマイズするには、各質問に回答が割り当てられた会話の例が必要です。AI モデルは実際の会話データから学習するため、Customer Experience Insights の既存の会話から例を取得します。会話の例を提供しない場合、Quality AI は、質問に対する想定される回答を認識しない基盤モデルを使用します。

AI モデルのパフォーマンスを向上させるには、少なくとも次のものを含めます。

  • 質問ごとに 100 件の会話の例
  • 回答の選択肢ごとに 40 件の会話の例

1 つの質問に対して 100 件未満の会話の例を提供した場合、AI モデルはその特定の質問を正確にスコア付けする方法を学習しません。会話の例は保存され、十分な数が集まるとモデルが学習します。1 つの会話で、モデルに複数の質問のスコア付け方法を教えることができます。会話の例を追加することで、質問のスコア付けの精度をさらに向上させることができます。

スコアカードの質問ごとに、各回答の選択肢を示す会話の割合を含めます。次の例は、2 つの回答の選択肢を示すために含める会話の数を示しています。この特定の分割は必須ではありません。

スコアカードの質問が「エージェントはお客様に共感を示しましたか？」で、その質問に対する回答が「はい」または「いいえ」の場合は、次の両方を含めます。

問題 回答例 会話の割合
エージェントはお客様に共感を示しましたか？ 「はい」 75%
「いいえ」 25%

会話の例の形式

会話の例には、会話、スコアカード、質問の識別子と、想定される回答を最低限含める必要があります。会話の例には、回答の選択肢、スコア、手順を含めることもできます。会話の例は FeedbackLabel リソースとしてアップロードされます。API を使用して会話の例を編集する方法については、設定ガイドをご覧ください。

CSV

会話の例は CSV ファイルにアップロードする必要があります。CSV ファイルの最初の行はヘッダーで、ファイルには次のカテゴリを含める必要があります。

  • ConversationId
  • QaScorecardId
  • QaQuestionId
  • QaAnswerLabel または個別のフィールド（QaAnswerScore 、QaAnswerValue など）

Quality AI は、上記の ID が入力された会話の例のテンプレートを自動的に作成できます。会話の例に使用するスコアカードを選択し、テンプレートをフィルタして一部の会話のみを含めることができます。テンプレートを作成して会話の例をアップロードする手順については、Quality AI の設定ガイドをご覧ください。

会話の例の CSV ファイルには、さまざまな形式があります。たとえば、はい/いいえの回答は true または false の値に対応し、数値は同じまま、テキスト回答は引用符で囲まれます。つまり、true ははい/いいえの回答タイプとして表示され、選択した回答の選択肢は「はい」になります。一方、"Yes" はテキスト回答タイプとして表示され、選択した回答の選択肢は「はい」になります。次の例は、考えられる CSV 形式を示しています。

  • 個別のヘッダー QaAnswerValue にはスコアが割り当てられません。 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue
convo_id,scorecard_test_id,question_id_q3,"NO"
convo_id,scorecard_test_id,question_id_q6,"YES"
convo_id,scorecard_test_id,question_id_q6,true
convo_id,scorecard_test_id,question_id_q6,false
convo_id,scorecard_test_id,question_id_q6,40.5
  • QaAnswerValue ヘッダーと QaAnswerScore ヘッダーの両方が含まれます。
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue,QaAnswerScore
convo_id,scorecard_test_id,question_id_q3,"NO",score: 1.0
convo_id,scorecard_test_id,question_id_q6,"YES",score: 1.0
  • QaAnswerLabel ヘッダーにはスコアと回答の両方が含まれますが、カンマで区切られていません。
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerLabel
convo_id,scorecard_test_id,question_id_q3,score: 1.0 "NO"
convo_id,scorecard_test_id,question_id_q6,score: 0.5 40.5
convo_id,scorecard_test_id,question_id_q6,na_value:true
convo_id,scorecard_test_id,question_id_q3,true

テーブル

スプレッドシート内では、会話の例の視覚的な形式はテーブルで、各行には単一の回答を識別する情報が含まれ、各列には個別の識別情報が含まれます。次の表をご覧ください。

会話 ID スコアカード ID 質問 ID 回答
44748735396 5727080762913918243 4097398336657302301 "YES"
44748735396 5727080762913918243 3576133206121890384 "NO"
3495523396 5727080762913918243 4097398336657302301 "YES"
3495523396 5727080762913918243 3576133206121890384 "NO"

会話の評価

人間によるアノテーターは、スコアカードの質問と手順を使用して会話を手動で評価し、会話の例の各質問に対する正しい回答を決定します。複数の人が同じ会話を評価する場合、質問ごとに異なる回答が提供されることがあります。評価の一貫性のなさは、機械学習プロセスにノイズと混乱をもたらします。会話内で、同じ質問または類似の質問が複数の異なる回答に関連付けられている場合、Quality AI は質問と回答のマッピングを学習できません。

複数の人が 1 つの会話に対して同じ質問に回答する場合、次のような原因で不整合が発生する可能性があります。

  • アノテーターによって解釈が異なる主観的な質問。
  • 詳細が不十分なルーブリックや不明確なガイドライン。
  • 質問、回答の選択肢、手順のバージョンが異なる。例:
    • 最初は「はい」と「いいえ」の回答の選択肢のみで始め、後で「いいえ-a」、「いいえ-b」、「いいえ-c」の選択肢を使用して、より詳細なアプローチに変更できます。
    • ただし、「はい」と「いいえ」のアプローチを「いいえ-a」、「いいえ-b」、「いいえ-c」の選択肢と組み合わせると、モデルが混乱します。
  • 認知負荷の高い評価タスク。

一貫性を測定する

会話の例の一貫性を測定するには、複数のアノテーターに同じ会話を個別に評価してもらいます。次に、コーエンのκ係数を使用して、アノテーター間の合意を計算します。コーエンのκ係数は 0.2 以上にする必要があります。一貫性が低い場合は、次のいずれかの方法をお試しください。

  • 解釈の余地を減らすように質問と手順を改善します。
  • アノテーター間でコミュニケーションを取り、不一致を解消して、単一の採点基準に同意できるようにします。
  • アノテーター間の一貫性を継続的にモニタリングします。
  • 回答が採点基準と頻繁に異なるアノテーターに追加のトレーニングを提供します。