モニタリング ダッシュボードを使用すると、エージェント アプリケーションのパフォーマンスを長期にわたって評価し、改善点を見つけることができます。モニタリングは、次のような場合に役立ちます。
- パフォーマンス モニタリング: 処理されたインタラクション数、セッションあたりの平均ターン数、エスカレーション率など、エージェント アプリケーションのパフォーマンスに関するリアルタイム データと履歴データを分析します。
- 問題の検出と解決: エージェント アプリケーションがリクエストを理解したり 正確なレスポンスを提供したりするのに苦労している可能性があるエンドユーザー インタラクションのパターンや傾向を特定します。 これにより、問題の特定と修正措置の実施に役立ちます。たとえば、ツールの障害やレイテンシの問題を特定して切り分けたり、エージェント アプリケーション スクリプトを更新したり、追加のトレーニングを提供したりできます。
- エンドユーザーのインサイト: エージェント アプリケーションのインタラクションから得られたデータを分析することで、エンドユーザーの行動、好み、 課題に関する貴重なインサイトを得ることができます。 この情報を使用して、エンドユーザーのニーズをより深く理解し、エージェント アプリケーションのレスポンスを調整して、エンドユーザー エクスペリエンス全体を改善できます。
- リソース割り当て: エージェント アプリケーションのワークロード、可用性、パフォーマンスに関するデータを分析して、リソース割り当てを最適化できます。 たとえば、問い合わせが増加して追加のエージェント アプリケーションが必要になるピーク時間を特定したり、エージェント アプリケーションを専門知識に基づいて割り当てたりできます。
モニタリング ダッシュボードを開く
モニタリング ダッシュボードを開くには:
- エージェント アプリケーションの設定でインタラクション ロギングが有効になっていることを確認します。
- エージェント ビルダーの上部にある [モニタリング] をクリックします。 モニタリング ダッシュボードが表示されます。
- データの期間はデフォルトで [**過去 1 日**]に設定されていますが、 この期間をクリックして変更できます。
- [期間] フィールドをクリックして期間を選択します。デフォルトでは 24 時間に設定されています。
- [会話を表示] をクリックすると、CX Insights にリダイレクトされ、会話の完全なログを表示して、会話とトランスクリプトの詳細な分析を行うことができます。
ダッシュボードタイル
モニタリング ダッシュボードには、次のタイルが表示されます。
- 合計セッション数: エージェント アプリケーションがエンドユーザーと行った会話（セッション）の合計数。 時系列でも表示されます。
- エスカレーション率: エージェント アプリケーションが問題を処理できず、人間のエージェントにエスカレーションされたインタラクションの割合。 これは、問題の複雑さや、エージェント アプリケーションがリクエストを理解できないことが原因である可能性があります。 時系列でも表示されます。
- エスカレーション数: エスカレーションの合計数。
- セッションあたりのターン数: セッションあたりの平均ターン数。
- エンドツーエンドのレイテンシ: エンドツーエンド（E2E）のレイテンシは、 ユーザーの発話の終了から次のエージェントの発話の開始までの時間です。 この指標は、チャットと音声会話の両方で、ユーザーとエージェントのすべてのインタラクションの E2E レイテンシを計算します。
- エンドツーエンドのレイテンシの内訳: 発話レベルでの E2E レイテンシを示します。 Y 軸は 50 ミリ秒単位で時間を表します。 X 軸は、ツール、大規模言語モデル（LLM）、テキスト読み上げ（TTS）の E2E レイテンシを表示できることを示します。 最後に、グラフには、3 つのパーセンタイル カテゴリ（P50 は 50 パーセンタイル、P90 は 90 パーセンタイル、P99 は 99 パーセンタイル）の E2E レイテンシが個別の棒グラフとして表示されます。 たとえば、LLM P99 レイテンシが 5 秒の場合、発話レベルの LLM レイテンシ値の 99% が 5 秒未満です。
- ツールの失敗率: 選択した期間と指定した会話メディアで、特定の会話でツールが使用されたすべてのケースで失敗したツール呼び出しの割合。
- ツールのレイテンシ: 選択した期間と会話メディアで、特定の会話でツールが使用されたすべてのケースにおけるツール呼び出しの平均レイテンシ。
- 全体的なセンチメント: このエージェントが処理した会話の平均センチメント スコア。 -1 ～ 1 のスケールで、0 は中立、1 は肯定的です。
- センチメントの内訳: 会話レベルのセンチメント カテゴリ（否定的、中立的、肯定的）ごとの このエージェントの会話数を表す色分けされた棒グラフ。
- 会話の結果:
次のいずれかの結果で終了した会話の数を示します。
会話の結果を計算するには、
CX Insights の事前構築済みスコアカードで事前定義された質問を使用します。
- 放棄済み
- 一部解消
- エスカレーション
- 到着地変更
- 解決済み
- 不明