このガイドでは、CCAI Platform を使用して会話エージェントの A/B テストを構成する方法について説明します。
仮想エージェントの A/B テストを行う理由
A/B テスト（スプリット テスト）は、会話型 AI のパフォーマンスを最適化するための強力な方法論です。フローを更新する際に直感に頼るのではなく、リアルタイムのデータに基づいて意思決定を行うことができます。
主なメリットは次のとおりです。
- リスクの軽減: 新しい「エージェント B」を全面的にロールアウトする前に、トラフィックの小規模な割合（10% など）でテストして、封じ込め率に悪影響がないことを確認します。
- パフォーマンスの比較: 異なるバージョン間で、インテント マッチングの精度、タスク完了率、顧客感情などの特定の KPI を比較します。
- 反復的な改良: さまざまなプロンプト、ペルソナ、LLM ベースのジェネレータを試して、ユーザーのクエリを解決する最も効果的な方法を見つけます。
テストを構成する
このセクションでは、エージェントの機能の A/B テストをサポートするように CCAI Platform を構成する方法について説明します。これは、音声エージェントと、モバイルやウェブなどのデジタル チャネルの両方に適用されます。
仮想エージェントを準備する
テレフォニーまたはルーティングを構成する前に、環境に 2 つの別々の仮想エージェント ターゲットが用意されていることを確認してください。仮想エージェントの構成については、ドキュメントをご覧ください。通常は、2 つの会話プロファイルが必要になります。実際の会話エージェントは、別個のエージェントにすることも、環境が異なる同じエージェントにすることもできます。
エージェント A（対照群）: 既存の安定した仮想エージェント。
エージェント B（バリエーション）: テストする新機能、プロンプト、ロジックの変更を含むエージェント。
専用の CCAI プラットフォーム キューを作成する
CCAI Platform ポータルで、トラフィック フローを管理するためのキューの階層を確立する必要があります。これは、音声チャネルとデジタル チャネルのどちらを使用しているかによって異なります。キューの作成の詳細については、ドキュメントをご覧ください。
キュー A を作成する: [Queue Management] に移動します。Queue_A_Test という名前の新しいキューを作成します。このキューのプライマリ ハンドラーとして仮想エージェント A を割り当てます。
キュー B を作成する: Queue_B_Test という名前の 2 番目のキューを作成します。このキューのメインのハンドラとして仮想エージェント B を割り当てます。
親（エントリ）キューを作成する: Main_Entry_Point という名前のキューを作成します。このキューには仮想エージェントが直接割り当てられず、「トラフィック スプリッタ」として機能します。
ルーティング ロジックを実装する
トラフィックを分散するには、Main_Entry_Point キューでルーティング ルールを構成する必要があります。これにより、自動リダイレクト機能を利用してルーティング グループを指定します。各ルーティング グループには、相対キューへのルーティングが含まれます。割合の割り当ては、特定のルーティング グループにも関連付けられます。ルーティング ルールの構成の詳細については、ドキュメントをご覧ください。
トラフィック分割を定義する
割合ベースの配信ルールを使用します。これにより、各エージェントが受け取るボリュームを正確に制御できます。
| コンポーネント | ロジック | 目標 |
|---|---|---|
| きっかけ | Main_Entry_Point へのすべての着信通話またはチャット。 |
すべてのトラフィックをキャッチします。 |
| アクション 1 | トラフィックの X% を Queue_A_Test に転送します。 |
対照群を設定します。 |
| アクション 2 | 残りのトラフィックの % を Queue_B_Test に転送します。 |
テストグループを確立します。 |
構成ワークフロー
Main_Entry_Pointキューの自動リダイレクト構成を開きます。- グループを追加します。
- キューの [リダイレクト選択] を選択します。
- このルーティング グループ A に関連付けるキューを選択します。
- [割合分割] を選択します。
- [追加] を選択します。
- グループを追加します。
- キューの [リダイレクト選択] を選択します。
- このルーティング グループ B に関連付けるキューを選択します。
- [割合分割] を選択します。
- [追加] を選択します。
- 比率を定義します（たとえば、バランスの取れたテストの場合は 50/50、カナリア リリースの場合は 90/10）。
- 構成を保存します。
モニタリングと分析
トラフィックが流れている場合は、CCaaS 分析ダッシュボードを使用してパフォーマンスを比較します。
- レポートを
Queue_A_TestとQueue_B_Testでフィルタします。 - 平均処理時間（AHT）と人間によるエージェントへの転送率で統計的有意性を確認します。
- 会話型エージェントの分析を確認して、パフォーマンスにプラスまたはマイナスの影響を与える可能性のある追加の詳細を探します。