仮想エージェント プラットフォームは、Dialogflow と Customer Experience Agent Studio で作成された会話型エージェントのパフォーマンスに関する分析情報を提供する Quality AI の機能です。Customer Experience Agent Studio は、双方向ストリーミングを使用して非同期マルチエージェント システムを作成できる仮想エージェント ビルダーです。
プラットフォームを表示
Customer Experience Insights コンソールでプラットフォームを表示する手順は次のとおりです。
- [Quality AI] > [エージェント] > [バーチャル エージェント] をクリックします。
- エージェントを選択します。
仮想エージェントのパフォーマンス
バーチャル エージェント プラットフォームには、バーチャル エージェントのパフォーマンスに関する詳細が表示されます。このプラットフォームには、運用指標と Quality AI 指標の両方の詳細が表示されます。
運用指標
仮想エージェント プラットフォームには、次の各指標が数値または割合で表示されます。
- 合計セッション数: このエージェントが対応した会話の合計数。
- エスカレーション率: Dialogflow からのシグナルを使用して計算された、人間のエージェントにエスカレーションされた会話の割合。
- セッションあたりのターン数: 会話あたりの平均ターン数。
- 不一致率: インテントが一致しなかった会話の割合。フローベースの仮想エージェントにのみ適用されます。
仮想エージェント プラットフォームには、次の各指標の経時変化を示すグラフが表示されます。
- Volume（ボリューム）: このエージェントが対応した会話の合計数。
- エスカレーション率: 人間のエージェントにエスカレーションされた会話の割合。
エスカレーション率を計算する方法は次のとおりです。
- Dialogflow: Dialogflow からのシグナルを使用して計算されます。
- Customer Experience Agent Studio: Customer Experience Agent Studio の
EndSessionトレースのシグナルを使用して計算されます。
Customer Experience Agent Studio で end_session のエスカレーション率を設定する手順は次のとおりです。
- エージェント ノードに
end_sessionツールを追加します。Quality AI の [エージェント] ページに移動します。[ツール] をクリックしてend_sessionツールを表示します。 - エージェントへの指示を提供します。
例: お客様がライブ対応のエージェントをリクエストした場合は、引数 {session_escalated = true} を使用して end_session ツールを実行します。
- エスカレーションの種類の内訳: エスカレーションの開始者（ユーザーまたはエージェント）ごとの会話数。事前構築済みのスコアカードの事前定義済みの質問「会話をエスカレーションしたのは誰ですか？」に基づいて分析されます。
- ツールの失敗率: 選択した期間と指定した会話メディアで、特定のエージェントの会話でツールが使用されたすべてのケースのうち、ツール呼び出しが失敗した割合。
- ツール レイテンシ: 選択した期間と会話メディアで、特定のエージェントの会話におけるツールのすべての使用状況におけるツール呼び出しの平均レイテンシ。
- 不一致率: インテントが一致しなかった会話の割合。フローベースの仮想エージェントにのみ適用されます。
エンドツーエンドのレイテンシ（E2E）の内訳
エンドツーエンド（E2E）レイテンシは、ユーザーの発話の終了から次のエージェントの発話の開始までの時間です。仮想エージェント プラットフォームは、チャットと音声会話の両方で、ユーザー エージェントとのすべてのやり取りの E2E レイテンシを計算します。
仮想エージェント プラットフォームに、発話レベルの E2E レイテンシを示す [E2E latency breakdown] というグラフが表示されます。Y 軸には 50 ミリ秒単位で時間が表示されます。x 軸は、ツール、大規模言語モデル（LLM）、テキスト読み上げ（TTS）のエンドツーエンド レイテンシを表示できることを示しています。最後に、グラフには、3 つのパーセンタイル カテゴリ（P50 は 50 パーセンタイル、P90 は 90 パーセンタイル、P99 は 99 パーセンタイル）の E2E レイテンシが個別のバーとして表示されます。たとえば、LLM P99 レイテンシが 5 秒の場合、発話レベルの LLM レイテンシ値の 99% が 5 秒未満であることを意味します。
エスカレーションの種類の内訳
エスカレーション タイプ別の内訳には、エスカレーションの開始者（ユーザーまたはエージェント）ごとの会話数が表示されます。Quality AI は、事前定義された質問「会話をエスカレーションしたのは誰ですか？」に回答することで、エスカレーションの開始者を特定します。エスカレーションの開始者をドリルダウンして、そのユーザーとの会話のリストを表示できます。
ツール
ツール指標は、会話エージェント ツールに対して計算されます。ツールのレイテンシや失敗率などの集計指標は、ボットビルダーが会話全体のパフォーマンスのボトルネックを特定するのに役立ちます。
Quality AI の指標
仮想エージェント プラットフォームには、次の Quality AI 指標が表示されます。
- 品質スコア: このエージェントが処理した会話のスコアカードごとの平均品質スコア。
- Overall sentiment（全体的な感情）: このエージェントが対応した会話の平均感情スコア。
- センチメントの内訳: 会話レベルのセンチメント カテゴリ（否定的、中立的、肯定的）ごとに、このエージェントの会話数を色分けして示す棒グラフ。
- 会話の結果: 可能な結果ごとの会話数。
- 検出別の感情: この指標の会話レベルの感情カテゴリごとの会話数の内訳。
このプラットフォームには、次の Quality AI 指標の経時変化を示すグラフも表示されます。
- 品質スコア: このエージェントが処理したすべての会話の品質スコアの割合。
- スコア カテゴリの内訳: 事前定義された各カテゴリ（ビジネス、コンプライアンス、顧客、カスタム カテゴリ）の品質スコアの数値。
会話の結果
会話の結果のグラフには、次の各結果で終了した会話の数が表示されます。
- 放棄済み
- 一部解決済み
- Escalated
- リダイレクト
- 正常に解決されました
- 不明
Quality AI の事前構築済みスコアカードの事前定義された質問を使用して、会話の結果を計算します。
- このグラフで結果データを表示するには、事前構築済みのスコアカードを使用して Quality AI 分析を実行します。
- 結果をクリックすると、その結果の会話の一覧が表示されます。
感情の内訳
すべての会話で感情分析を実行すると、感情の内訳グラフに、全体的な感情が否定的、中立的、肯定的の各カテゴリに分類された会話の数が表示されます。