이 가이드에서는 CCAI Platform을 사용하여 대화형 에이전트의 A/B 테스트를 구성하는 방법을 설명합니다.
가상 에이전트를 A/B 테스트해야 하는 이유
A/B 테스트 (또는 스플릿 테스트)는 대화형 AI의 성능을 최적화하는 강력한 방법론입니다. 흐름을 업데이트할 때 직관에 의존하는 대신 실시간 데이터를 기반으로 결정을 내릴 수 있습니다.
주요 이점은 다음과 같습니다.
- 위험 완화: 전체 출시 전에 소량의 트래픽(예: 10%)으로 새 'Agent B'를 테스트하여 컨테인먼트 비율에 부정적인 영향을 미치지 않는지 확인합니다.
- 실적 비교: 여러 버전에서 의도 일치 정확도, 작업 완료율, 고객 감정과 같은 특정 KPI를 비교합니다.
- 반복적인 미세 조정: 다양한 프롬프트, 페르소나 또는 LLM 기반 생성기를 실험하여 사용자 질문을 해결하는 가장 효과적인 방법을 찾습니다.
테스트 구성
이 섹션에서는 상담사의 기능을 A/B 테스트할 수 있도록 CCAI Platform을 구성하는 방법을 설명합니다. 이는 음성 에이전트와 모바일, 웹과 같은 디지털 채널 모두에 적용됩니다.
가상 에이전트 준비
전화 통신 또는 라우팅을 구성하기 전에 환경에 별도의 가상 상담사 타겟 두 개가 준비되어 있는지 확인합니다. 가상 에이전트 구성에 관한 문서를 참고하세요. 별도의 대화형 프로필이 두 개 필요할 수 있습니다. 실제 대화형 에이전트는 별도의 에이전트일 수도 있고 환경이 다른 동일한 에이전트일 수도 있습니다.
에이전트 A (대조): 기존의 안정적인 가상 상담사입니다.
에이전트 B (변형): 테스트하려는 새로운 기능, 프롬프트 또는 논리 변경사항이 포함된 에이전트입니다.
전용 CCAI Platform 대기열 만들기
CCAI Platform 포털에서 트래픽 흐름을 관리하기 위해 대기열 계층 구조를 설정해야 합니다. 이는 음성 채널을 사용하는지 디지털 채널을 사용하는지에 따라 달라집니다. 대기열 생성에 관한 자세한 내용은 문서를 참고하세요.
대기열 A 만들기: 대기열 관리로 이동합니다. Queue_A_Test라는 새 대기열을 만듭니다. 가상 에이전트 A를 이 대기열의 기본 핸들러로 할당합니다.
대기열 B 만들기: Queue_B_Test라는 두 번째 대기열을 만듭니다. 가상 에이전트 B를 이 대기열의 기본 핸들러로 할당합니다.
상위 (항목) 대기열 만들기: Main_Entry_Point라는 대기열을 만듭니다. 이 대기열에는 가상 상담사가 직접 할당되지 않으며 '트래픽 스플리터' 역할을 합니다.
라우팅 로직 구현
트래픽을 분산하려면 Main_Entry_Point 대기열에서 라우팅 규칙을 구성해야 합니다. 이렇게 하면 자동 리디렉션 기능을 활용하여 라우팅 그룹을 지정할 수 있습니다. 각 라우팅 그룹에는 상대 큐로의 라우팅이 포함됩니다. 할당된 비율은 특정 라우팅 그룹과도 연결됩니다. 라우팅 규칙 구성에 관한 자세한 내용은 문서를 참고하세요.
트래픽 분할 정의
비율 기반 배포 규칙을 사용합니다. 이를 통해 각 상담사가 수신하는 볼륨을 정확하게 제어할 수 있습니다.
| 구성요소 | 논리 | 목표 |
|---|---|---|
| 트리거 | Main_Entry_Point로 수신되는 모든 전화 또는 채팅 |
모든 트래픽을 포착합니다. |
| 작업 1 | 트래픽의 X% 를 Queue_A_Test로 라우팅합니다. |
통제 그룹을 설정합니다. |
| 작업 2 | 나머지 트래픽을 Queue_B_Test로 라우팅합니다. |
테스트 그룹을 설정합니다. |
구성 워크플로
Main_Entry_Point대기열의 자동 리디렉션 구성을 엽니다.- 그룹을 추가합니다.
- 대기열의 리디렉션 선택을 선택합니다.
- 이 라우팅 그룹 A와 연결해야 하는 대기열을 선택합니다.
- 비율 분할을 선택합니다.
- 추가를 선택합니다.
- 그룹을 추가합니다.
- 대기열의 리디렉션 선택을 선택합니다.
- 이 라우팅 그룹 B와 연결해야 하는 대기열을 선택합니다.
- 비율 분할을 선택합니다.
- 추가를 선택합니다.
- 비율을 정의합니다 (예: 균형 잡힌 테스트의 경우 50/50, 카나리아 출시의 경우 90/10).
- 구성을 저장합니다.
모니터링 및 분석
트래픽이 흐르면 CCaaS 분석 대시보드를 사용하여 실적을 비교합니다.
Queue_A_Test과Queue_B_Test을 기준으로 보고서를 필터링합니다.- 평균 처리 시간 (AHT) 및 인간 상담사에게 트랜스퍼되는 비율에서 통계적 유의성을 확인합니다.
- 대화형 에이전트 분석을 살펴보고 실적에 긍정적 또는 부정적 영향을 미치는 추가 세부정보가 있는지 확인합니다.