Quality AI の基本

Quality AI は、AI モデルを使用して、カスタマーサービスでの会話や、コンタクトセンターのエージェントとユーザーのやり取りを自動的に分析します。AI モデルがチャットまたは音声の文字起こしを分析します。

スコアカードの編集時に、カスタムタグに対して次の操作を行うことができます。

既存の質問にタグを追加します。
既存の質問からタグを削除します。

会話の詳細

会話には次の詳細が含まれます。これらの詳細には、分析用の識別子と指標が含まれます。

エージェント ID: 各エージェントに割り当てられた一意の番号。エージェントが処理した会話を識別します。
Agent total score（エージェントの合計スコア）: エージェントの会話全体におけるパフォーマンスの平均スコア。
AHT: Average Handling Time（平均処理時間）。指定された期間内のエージェントの会話の平均時間。
Average agent score（エージェントの平均スコア）: すべてのエージェントの合計スコアの平均。（エージェントの合計スコアをご覧ください）。
エージェントの平均品質スコア: 指定された期間に 1 人のエージェントの会話で生成された品質スコアの平均。（品質スコアを参照）。
Average conversation score（平均会話スコア）: すべての会話の平均スコア。
平均品質スコア: 指定した期間の品質スコアの平均値。（品質スコアを参照）。
チャネル: 顧客とエージェント間の会話の媒体。チャネルには、音声またはチャットのいずれかの値が設定されます。
会話 ID: 各カスタマーサービス会話を識別するために割り当てられる一意の番号。
会話の合計スコア: 1 つの会話内の質問スコアの合計。
CSAT: 顧客満足度評価。通常は 1 ～ 5 の範囲です。
Duration: 会話の開始から終了までの時間。
主なトピック: 会話中に話し合われた懸念事項。トピックモデリングによって特定されます。Quality AI では、その会話でトピックモデリングを使用した場合にのみ、主要なトピックが表示されます。
品質スコア: スコアカードに割り当てられた総合スコア。
質問: 会話におけるエージェントのパフォーマンスを評価するために使用されます。質問を Quality AI に入力すると、各質問の基準を満たしているかどうかに基づいてエージェントが評価されます。
感情: 会話で伝えられた主な感情の状態。感情には、肯定的、中立的、否定的の 3 つの値のいずれかが設定されます。Quality AI は、会話で感情分析を使用した場合にのみ感情を表示します。
無音: お客様もエージェントも発言または入力しなかった時間。
開始日: 会話が開始された日付。
開始時間: 会話が開始された時間。
合計ボリューム: 指定した期間内に 1 人のエージェントが処理した会話の合計数。

スコアカード

スコアカードは、会話中の会話の質とコンタクトセンターエージェントのパフォーマンスを評価するために使用される構造化されたフレームワークです。各コンタクトセンターには独自のスコアカードがあります。

各スコアカードは次の情報で構成されます。

質問（例: エージェントは適切な製品の褒め言葉を述べましたか？）。
省略可: タグを使用して質問をカテゴリにグループ化します。
質問の解釈と各回答の定義に関する手順。
回答のタイプ（テキスト、数値、はい/いいえ）。
回答タイプに基づいて可能な回答を定義する回答の選択肢（「はい」と「いいえ」、数字のリスト、テキストレスポンスなど）。
各回答の選択肢で獲得できるポイントを設定するスコア。1 つの質問の最大スコアは、すべての回答選択肢の中で最も高いスコアによって決まります。

1 つの Google Cloud プロジェクトに複数のスコアカードを作成できます。各スコアカードに異なる質問が含まれている場合は、同じ会話に対して複数の品質スコアが表示されます。各スコアは、それぞれ異なる基準に基づいて算出されます。

事前定義された質問

スコアカードでは、編集できない質問と回答の選択肢を含む、事前定義された質問を使用できます。Customer Experience Insights は、指示と回答の選択肢を定義します。これらの質問には、バージョンを示す ID があります。事前定義された質問をスコアカードに追加して、Quality AI 分析に使用できます。

事前定義された質問では、次の会話結果指標が特定されます。

会話の結果
エスカレーションの開始者
エージェントの有用性
ユーザー満足度

会話の結果

会話の結果は、ユーザーのタスクのコンテキストで会話の結果を特定します。

放棄: ユーザーのタスクが完了する前に、または人間のエージェントにエスカレーションされる前に、ユーザーが応答を停止したか、会話から離脱しました。
一部解決: エージェントはユーザーの意図を理解し、ユーザーのタスクの一部を完了しましたが、すべては完了していません。ユーザーのタスクがすべて完了する前に会話が終了しました。
エスカレーション: ユーザーのリクエストにより、会話が人間のエージェントに転送されました。
リダイレクト: エージェントが開始した、人間のエージェントに転送された会話。
Successfully resolved（解決済み）: エージェントがユーザーの意図を理解し、ユーザーのタスクを完了し、会話の最後にユーザーから明示的な確認を得た。

エスカレーションの開始者

エスカレーションの開始者は、人間のエージェントへのエスカレーションがあるかどうかと、そのプロセスを開始したユーザーを特定します。

ユーザー: ユーザーが人間のエージェントへのエスカレーションを開始しました。
Agent: エージェントが人間のエージェントへのエスカレーションを開始しました。
転送なし: 会話は人間のエージェントにエスカレーションされませんでした。これには、エージェントがユーザーのリクエストを解決するために別のリソースにリダイレクトしたが、人間のエージェントにエスカレーションしなかったケースが含まれます。

エージェントの有用性

エージェントの有用性は、ユーザーの視点からエージェントの回答が有用であったかどうかを判断します。この指標は、会話全体に基づいています。

役に立った: エージェントがお客様に役立つ情報を提供した。お客様の意図を解決または部分的に満たした。または、お客様のリクエストを解決するための適切なリソースにリダイレクトした。
役に立たなかった: エージェントがユーザーに役立つ情報を提供せず、ユーザーの意図を満たさなかった。これには、エージェントがユーザーのリクエストを誤って解釈した場合や、タスクに関する誤った情報を提供した場合が含まれます。

ユーザー満足度

ユーザー満足度では、ユーザーが不満を表明したか、最終的な解決策を拒否したか、怒ったか、暴言を吐いたかどうかが特定されます。

不満: ユーザーがエージェントの回答に不満を表明した、解決策を明示的に拒否した、または動揺した。
不明または満足: エージェントの主な回答に対して不満や怒りを表明しておらず、拒否もしていない。

カスタムタグ

タグを使用して、特定のスコアカードの質問をカテゴリにグループ化します。各プロジェクトには、デフォルトの BUSINESS、COMPLIANCE、CUSTOMER タグが含まれています。この 3 つのタグに加えて、Customer Experience Insights を使用して独自のカスタムタグを作成することもできます。カスタムタグは、1 つのプロジェクトにつき 10 個に制限されています。 Google Cloud 10 個を超えるタグが必要な場合は、Customer Experience Insights の担当者にお問い合わせください。

会話スコア

Quality AI は、指定したスコアカードに基づいて会話を自動的に評価します。質問ごとに、次の操作を行います。

回答タイプを定義します。
回答の選択肢をリストします。
各回答の選択肢のスコアを設定します。

1 つのスコアカード

会話スコアは、受け取った合計スコアを、その会話で獲得可能な最大スコアで割った値です。合計得点は、各質問に割り当てられた回答の選択肢から得られたすべてのポイントの合計です。最大スコアは、各質問の最大スコアの合計です。N/A の回答が割り当てられた質問は、この会話スコアの計算から除外されます。会話スコアはパーセンテージで表示されます。

複数のスコアカード

1 つの会話に複数の会話スコアが割り当てられることがあります。各会話スコアは、1 つのスコアカードの質問に基づいて、その会話中のエージェントのパフォーマンスを反映しています。各スコアカードに異なる質問グループが含まれている場合は、1 つの会話を複数のタイプの質問に対して評価できます。

手動更新

会話を分析した後、質問の回答を手動で更新できます。回答を手動で更新すると、Quality AI はその質問のスコアと対応する会話のスコアを自動的に調整します。また、Quality AI コンソールでは、回答が手動で更新されたことを示す視覚的なアイコンが質問と会話にマークされます。最後に、Quality AI は、手動で更新された回答を例として自動的に追加し、AI モデルを改善します。

ソースメニュー

Customer Experience Insights コンソールの [Quality AI] セクションの各ページには、[ソース] メニューがあります。このメニューにはスコアカードが一覧表示されるため、表示する情報を選択できます。

たとえば、[会話] ページでは、各会話のスコアを確認できます。これらのスコアは、Quality AI が会話を評価したスコアカードによって異なります。そのため、[ソース] メニューで別のスコアカードを選択すると、同じ会話のスコアが変更される可能性があります。

例

次の例は、会話スコアの計算方法を示しています。

例 1

次の条件に該当する場合:

スコアカードには 10 個の質問があります
各質問は「はい」または「いいえ」で答えられる質問です。
「はい」には 1、「いいえ」には 0 が割り当てられます。
スレッドの回答がすべて「はい」になった

この場合、会話スコアは 100% になります。

例 2