仮想エージェント プラットフォームは、Quality AI 内の機能で、 Dialogflow と Customer Experience Agent Studio （CX Agent Studio）で作成された会話エージェントのパフォーマンスに関する分析情報を提供します。CX Agent Studio は、双方向ストリーミングを使用して非同期マルチエージェント システムを作成できる仮想エージェント ビルダーです。
プラットフォームを見る
Customer Experience Insights（CX インサイト）コンソールでプラットフォームを表示する手順は次のとおりです。
- [Quality AI] > [エージェント] > [仮想エージェント] をクリックします。
- エージェントを選択します。
仮想エージェントのパフォーマンス
仮想エージェント プラットフォームには、仮想エージェントのパフォーマンスに関する詳細が表示されます。 このプラットフォームには、運用指標と Quality AI 指標の両方の詳細が表示されます。
運用指標
仮想エージェント プラットフォームには、次の各指標が数値またはパーセンテージで表示されます。
| 名前 | 定義 | コード |
|---|---|---|
| ボリュームまたは総セッション数 | このエージェントが処理した会話の合計数。 | volume または total_sessions |
| エスカレーション率 | 人間のエージェントにエスカレーションされた会話の割合。 | escalation_rate |
| セッションあたりのターン数 | 会話あたりの平均ターン数。 | turns_per_session |
| マッチ率なし | インテントと一致しなかった会話の割合。フローベースの仮想エージェントにのみ適用されます。 | no_match_rate |
仮想エージェント プラットフォームには、次の各指標の経時的な変化を示すグラフが表示されます。
| 名前 | 定義 | コード |
|---|---|---|
| ボリュームまたは総セッション数 | このエージェントが処理した会話の合計数。 | volume または total_sessions |
| エンドツーエンドのレイテンシの内訳 | ユーザーの発話の終了から次のエージェントの発話の開始までの時間。 | percentile_end_to_end_latency |
| エスカレーション率 | 人間のエージェントにエスカレーションされた会話の割合。 | escalation_rate |
| エスカレーションの種類の内訳 | エスカレーション開始者ごとの会話数。 | escalation_type_breakdown |
| ツールの失敗率 | 選択した期間と指定した会話メディアで、特定のエージェントの会話でツールが使用されたときに失敗したツール呼び出しの割合。 | tool_failure_rate |
| ツールのレイテンシ | 選択した期間と会話メディアで、特定のエージェントの会話でツールが使用されたときのツール呼び出しの平均レイテンシ。 | tool_latency |
| マッチ率なし | インテントと一致しなかった会話の割合。フローベースの仮想エージェントにのみ適用されます。 | no_match_rate |
エンドツーエンド（E2E）のレイテンシの内訳
エンドツーエンド（E2E）のレイテンシとは、ユーザーの発話の終了から次のエージェントの発話の開始までの時間です。仮想エージェント プラットフォームは、チャットと音声会話の両方で、ユーザーとエージェントのやり取りごとに E2E レイテンシを計算します。
仮想エージェント プラットフォームには、[E2E レイテンシの内訳] というグラフが表示されます。このグラフは、発話レベルでの E2E レイテンシを示しています。y 軸は 50 ミリ秒単位で時間を示しています。x 軸は、ツール、大規模言語モデル（LLM）、テキスト読み上げ（TTS）の E2E レイテンシを表示できることを示しています。 最後に、グラフには、3 つのパーセンタイル カテゴリ（P50 は 50 パーセンタイル、P90 は 90 パーセンタイル、P99 は 99 パーセンタイル）の E2E レイテンシが個別の棒グラフとして表示されます。たとえば、LLM P99 レイテンシが 5 秒の場合、発話レベルの LLM レイテンシ値の 99% が 5 秒未満であることを意味します。
エスカレーション率
エスカレーション率を計算する方法は次のとおりです。
- Dialogflow: Dialogflow からのシグナルを使用して計算されます。
- CX Agent Studio: CX Agent Studio のセッション終了トレースからのシグナルを使用して計算されます。
CX Agent Studio で end_session ツールを使用してエスカレーション率を設定する手順は次のとおりです。
end_sessionツールをエージェント ノードに追加します。Quality AI の [Agent] ページに移動します。[ツール] をクリックして、end_sessionツールを表示します。エージェントの指示を指定します。
例: お客様がライブエージェントをリクエストした場合は、
end_sessionツールを引数{session_escalated = true}で実行します。
end_session ツール内で、CX インサイトは session_escalated 引数と endSession パラメータを使用してエスカレーション率を計算します。
エスカレーションの種類の内訳
エスカレーションの種類の内訳には、エスカレーション開始者（ユーザーまたはエージェント）ごとの会話数が表示されます。Quality AI は、 エスカレーション開始者を、事前定義された 質問「会話を エスカレーションしたのは誰ですか？」に回答することで判断します。エスカレーション開始者をドリルダウンして、そのエスカレーション開始者との会話のリストを表示できます。
ツール
ツールの指標は、会話エージェント ツールに対して計算されます。ツールのレイテンシや失敗率などの集計指標は、ボットビルダーが会話全体のパフォーマンス ボトルネックを特定するのに役立ちます。
Quality AI 指標
仮想エージェント プラットフォームには、次の Quality AI 指標が表示されます。
- 品質スコア: このエージェントが処理した会話のスコアカードごとの平均品質スコア。
- 全体的なセンチメント: このエージェントが処理した会話の平均センチメント スコア。
- センチメントの内訳: 会話レベルのセンチメント カテゴリ（否定的、中立的、肯定的）ごとのこのエージェントの会話数を示す色分けされた棒グラフ。
- 会話の結果: 可能な結果ごとの会話数。
- 検出によるセンチメント: この指標の会話レベルのセンチメント カテゴリごとの会話数の内訳。
このプラットフォームには、次の Quality AI 指標の経時的な変化を示すグラフも表示されます。
- 品質スコア: このエージェントが処理したすべての会話の品質スコアの割合。
- スコア カテゴリの内訳: 事前定義されたカテゴリ（ビジネス、コンプライアンス、顧客、カスタム カテゴリ）ごとの品質スコアの数。
会話の結果
会話の結果グラフには、次の可能な結果で終了した会話の数が表示されます。
- 放棄済み
- 一部解消
- エスカレーション
- 到着地変更
- 正常に解決
- 不明
Quality AI の事前構築済みスコアカードで事前定義された質問を使用して、会話の結果を計算します。
- このグラフで結果データを表示するには、事前構築済みスコアカードを使用して Quality AI 分析を実行します。
- 結果をクリックすると、その結果の会話のリストが表示されます。
センチメントの内訳
すべての会話でセンチメント 分析を実行すると、センチメントの内訳グラフに、各カテゴリ（否定的、中立的、 肯定的）の全体的なセンチメントを含む会話数が表示されます。