가상 에이전트 플랫폼은 Quality AI 내 기능으로, Dialogflow 및 Customer Experience Agent Studio (CX Agent Studio)로 생성된 대화형 에이전트의 성능에 대한 통계를 제공합니다. CX Agent Studio는 양방향 스트리밍을 사용하여 비동기식 멀티 에이전트 시스템을 만들 수 있는 가상 에이전트 빌더입니다.
플랫폼 보기
Customer Experience Insights(CX 인사이트) 콘솔에서 플랫폼을 보려면 다음 단계를 따르세요.
- Quality AI > 에이전트 > 가상 에이전트 를 클릭합니다.
- 에이전트를 선택합니다.
가상 에이전트 성능
가상 에이전트 플랫폼은 가상 에이전트 성능에 대한 세부정보를 제공합니다. 이 플랫폼은 운영 측정항목과 Quality AI 측정항목의 세부정보를 모두 표시합니다.
운영 측정항목
가상 에이전트 플랫폼은 다음 각 측정항목을 숫자 또는 백분율로 표시합니다.
| 이름 | 정의 | 코드 |
|---|---|---|
| 볼륨 또는 총 세션 수 | 이 에이전트가 처리한 총 대화 수입니다. | volume 또는 total_sessions |
| 에스컬레이션 속도 | 상담사에게 에스컬레이션된 대화의 백분율입니다. | escalation_rate |
| 세션당 턴 수 | 대화당 평균 턴 수입니다. | turns_per_session |
| 일치 항목 없음 비율 | 인텐트와 일치하지 않은 대화의 백분율입니다. 흐름 기반 가상 에이전트에만 적용됩니다. | no_match_rate |
가상 에이전트 플랫폼은 다음 각 측정항목의 시간 경과에 따른 변화를 그래프로 표시합니다.
| 이름 | 정의 | 코드 |
|---|---|---|
| 볼륨 또는 총 세션 수 | 이 에이전트가 처리한 총 대화 수입니다. | volume 또는 total_sessions |
| 엔드 투 엔드 지연 시간 분석 | 사용자 발화가 끝난 시점과 다음 에이전트 발화가 시작된 시점 사이의 시간입니다. | percentile_end_to_end_latency |
| 에스컬레이션 속도 | 상담사에게 에스컬레이션된 대화의 백분율입니다. | escalation_rate |
| 에스컬레이션 유형 분석 | 에스컬레이션 이니시에이터당 대화 수입니다. | escalation_type_breakdown |
| 도구 실패율 | 선택한 기간과 지정된 대화 매체에서 특정 에이전트의 대화에서 도구가 사용된 모든 경우에 실패한 도구 호출의 백분율입니다. | tool_failure_rate |
| 도구 지연 시간 | 선택한 기간과 대화 매체에서 특정 에이전트의 대화에서 도구가 사용된 모든 경우에 도구 호출의 평균 지연 시간입니다. | tool_latency |
| 일치 항목 없음 비율 | 인텐트와 일치하지 않은 대화의 백분율입니다. 흐름 기반 가상 에이전트에만 적용됩니다. | no_match_rate |
엔드 투 엔드 지연 시간 (E2E) 분석
엔드 투 엔드 (E2E) 지연 시간은 사용자 발화가 끝난 시점과 다음 에이전트 발화가 시작된 시점 사이의 시간입니다. 가상 에이전트 플랫폼은 채팅 및 음성 대화 내에서 모든 사용자-에이전트 상호작용에 대한 E2E 지연 시간을 계산합니다.
가상 에이전트 플랫폼은 발화 수준에서 E2E 지연 시간을 보여주는 E2E 지연 시간 분석이라는 그래프를 표시합니다. y축은 시간을 50밀리초 단위로 표시합니다. x축은 도구, 대규모 언어 모델 (LLM), 텍스트 음성 변환 (TTS)의 E2E 지연 시간을 볼 수 있음을 나타냅니다. 마지막으로 그래프는 E2E 지연 시간을 세 가지 백분위수 카테고리(P50은 50번째 백분위수, P90은 90번째 백분위수, P99는 99번째 백분위수)에 대한 별도의 막대로 표시합니다. 예를 들어 LLM P99 지연 시간이 5초이면 발화 수준 LLM 지연 시간 값의 99% 가 5초 미만이라는 의미입니다.
에스컬레이션 속도
에스컬레이션 속도를 계산하려면 다음 방법을 따르세요.
- Dialogflow: Dialogflow의 신호를 사용하여 계산됩니다.
- CX Agent Studio: CX Agent Studio 종료 세션 추적의 신호를 사용하여 계산됩니다.
CX Agent Studio에서 다음 단계를 따라 end_session 도구로 에스컬레이션 속도를 설정하세요.
- 에이전트 노드에
end_session도구를 추가합니다. Quality AI의 에이전트 페이지로 이동합니다. 도구 를 클릭하여end_session도구를 봅니다. 에이전트 요청 사항을 제공합니다.
예: 고객이 상담사를 요청하면 인수
{session_escalated = true}로end_session도구를 실행합니다.
end_session 도구 내에서 CX 인사이트는 session_escalated 인수와 endSession 매개변수를 사용하여 에스컬레이션 속도를 계산합니다.
에스컬레이션 유형 분석
에스컬레이션 유형 분석은 에스컬레이션 이니시에이터(사용자 또는 에이전트)별 대화 수를 보여줍니다. Quality AI는 사전 정의된 질문 대화를 에스컬레이션한 사람은 누구인가요?에 답변하여 에스컬레이션 이니시에이터를 결정합니다. 에스컬레이션 이니시에이터를 드릴다운하여 해당 이니시에이터와의 대화 목록을 볼 수 있습니다.
도구
도구 측정항목은 대화형 에이전트 도구에 대해 계산됩니다. 도구 지연 시간 및 실패율과 같은 집계된 측정항목은 봇 빌더가 대화 전반에서 성능 병목 현상을 식별하는 데 도움이 됩니다.
Quality AI 측정항목
가상 에이전트 플랫폼은 다음 Quality AI 측정항목을 표시합니다.
- 품질 점수: 이 에이전트가 처리한 대화에 대한 스코어카드당 평균 품질 점수입니다.
- 전반적인 감정: 이 에이전트가 처리한 대화에 대한 평균 감정 점수입니다.
- 감정 분석: 대화 수준 감정 카테고리(부정적, 중립적, 긍정적)별로 이 에이전트의 대화 수를 보여주는 색상으로 구분된 막대 그래프입니다.
- 대화 결과: 가능한 각 결과에 대한 대화 수입니다.
- 검색별 감정: 이 측정항목의 대화 수준 감정 카테고리별 대화 수 분석입니다.
또한 이 플랫폼은 다음 Quality AI 측정항목의 시간 경과에 따른 변화를 그래프로 표시합니다.
- 품질 점수: 이 에이전트가 처리한 모든 대화의 품질 점수 백분율입니다.
- 점수 카테고리 분석: 사전 정의된 각 카테고리(비즈니스, 규정 준수, 고객, 모든 맞춤 카테고리)의 품질 점수입니다.
대화 결과
대화 결과 그래프는 다음 가능한 각 결과로 끝난 대화 수를 보여줍니다.
- 폐기됨
- 일부 해결됨
- 에스컬레이션됨
- 리디렉션됨
- 해결됨
- 알 수 없음
Quality AI의 기본 제공 스코어카드에서 사전 정의된 질문을 사용하여 대화 결과를 계산합니다.
- 이 그래프에서 결과 데이터를 보려면 기본 제공 스코어카드로 Quality AI 분석을 실행합니다.
- 결과를 클릭하여 해당 결과가 있는 대화 목록을 확인합니다.
감정 분석
모든 대화에 대해 감정 분석을 실행하면 감정 분석 차트에 각 카테고리(부정적, 중립적, 긍정적)의 전반적인 감정을 가진 대화 수가 표시됩니다.