가상 에이전트 플랫폼

가상 에이전트 플랫폼은 Quality AI 내 기능으로, Dialogflow 및 Customer Experience Agent Studio로 생성된 대화형 에이전트의 실적에 관한 인사이트를 제공합니다. Customer Experience Agent Studio는 양방향 스트리밍을 사용하여 비동기 멀티 에이전트 시스템을 만들 수 있는 가상 에이전트 빌더입니다.

플랫폼 보기

다음 단계에 따라 고객 경험 통계 콘솔에서 플랫폼을 확인하세요.

Quality AI > Agents > Virtual agent를 클릭합니다.
에이전트를 선택합니다.

가상 에이전트 성능

가상 상담사 플랫폼은 가상 상담사 성능에 관한 세부정보를 제공합니다. 플랫폼에는 운영 및 품질 AI 측정항목의 세부정보가 모두 표시됩니다.

운영 측정항목

가상 상담사 플랫폼은 다음 각 측정항목을 숫자 또는 백분율로 표시합니다.

총 세션 수: 이 상담사가 처리한 총 대화 수입니다.
에스컬레이션 비율: Dialogflow의 신호를 사용하여 계산된 상담원에게 에스컬레이션된 대화의 비율입니다.
세션당 턴 수: 대화당 평균 턴 수입니다.
비일치 비율: 인텐트와 일치하지 않는 대화의 비율입니다. 흐름 기반 가상 에이전트에만 적용됩니다.

가상 상담사 플랫폼에는 다음 각 측정항목의 시간 경과에 따른 변화를 보여주는 그래프가 표시됩니다.

볼륨: 이 상담사가 처리한 총 대화 수입니다.
에스컬레이션 비율: 상담사에게 에스컬레이션된 대화의 비율입니다.

에스컬레이션 비율을 계산하려면 다음 방법을 따르세요.

Dialogflow: Dialogflow의 신호를 사용하여 계산됩니다.
Customer Experience Agent Studio: Customer Experience Agent Studio EndSession 추적의 신호를 사용하여 계산됩니다.

Customer Experience Agent Studio에서 다음 단계를 따라 end_session의 에스컬레이션 비율을 설정하세요.

에이전트 노드에 end_session 도구를 추가합니다. Quality AI에서 Agent(상담사) 페이지로 이동합니다. 도구를 클릭하여 end_session 도구를 확인합니다.
상담사 요청 사항을 제공합니다.

예: 고객이 실제 상담사를 요청하면 {session_escalated = true} 인수를 사용하여 end_session 도구를 실행합니다.

에스컬레이션 유형 분류: 사전 제작된 스코어카드 대화를 에스컬레이션한 사람은 누구인가요?의 사전 정의된 질문을 기반으로 분석된 에스컬레이션 시작자(사용자 또는 상담사)별 대화 수입니다.
도구 실패율: 선택한 기간 및 지정된 대화 매체에서 특정 상담사의 대화에서 도구를 사용한 모든 경우 중 실패한 도구 호출의 비율입니다.
도구 지연 시간: 선택한 기간 및 대화 매체에서 특정 상담사의 대화에 있는 도구의 모든 사용에 걸친 도구 호출의 평균 지연 시간입니다.
비일치 비율: 인텐트와 일치하지 않는 대화의 비율입니다. 흐름 기반 가상 에이전트에만 적용됩니다.

엔드 투 엔드 지연 시간 (E2E) 분석

엔드 투 엔드 (E2E) 지연 시간은 사용자 발화가 끝난 시점과 다음 에이전트 발화가 시작된 시점 사이의 시간입니다. 가상 에이전트 플랫폼은 채팅 및 음성 대화 내의 모든 사용자-에이전트 상호작용에 대해 E2E 지연 시간을 계산합니다.

가상 상담사 플랫폼에는 발화 수준의 E2E 지연 시간을 보여주는 E2E 지연 시간 분석이라는 그래프가 표시됩니다. y축에는 시간이 50밀리초 단위로 표시됩니다. x축은 도구, 대규모 언어 모델 (LLM), 텍스트 음성 변환 (TTS)의 E2E 지연 시간을 볼 수 있음을 나타냅니다. 마지막으로 그래프에는 P50(50번째 백분위수), P90(90번째 백분위수), P99(99번째 백분위수)의 세 가지 백분위수 카테고리에 대한 E2E 지연 시간이 별도의 막대로 표시됩니다. 예를 들어 LLM P99 지연 시간이 5초인 경우 발화 수준 LLM 지연 시간 값의 99% 가 5초 미만입니다.

에스컬레이션 유형 분류

에스컬레이션 유형 분석에는 에스컬레이션 시작자(사용자 또는 상담사)별 대화 수가 표시됩니다. Quality AI는 사전 정의된 질문 누가 대화를 에스컬레이션했나요?에 답변하여 에스컬레이션 시작자를 결정합니다. 에스컬레이션 시작자를 드릴다운하여 해당 사용자와의 대화 목록을 볼 수 있습니다.

도구

도구 측정항목은 대화형 에이전트 도구에 대해 계산됩니다. 도구 지연 시간 및 실패율과 같은 집계된 측정항목은 봇 빌더가 대화 전반에서 성능 병목 현상을 파악하는 데 도움이 됩니다.

Quality AI 측정항목

가상 상담사 플랫폼에는 다음과 같은 품질 AI 측정항목이 표시됩니다.

품질 점수: 이 상담사가 처리한 대화에 대한 스코어카드당 평균 품질 점수입니다.
전체 감정: 이 상담사가 처리한 대화의 평균 감정 점수입니다.
감정 분석: 상담사의 대화 수를 대화 수준 감정 카테고리(부정적, 중립적, 긍정적)별로 보여주는 색상 코딩된 막대 그래프입니다.
대화 결과: 가능한 결과별 대화 수입니다.
검색어별 감정: 이 측정항목의 대화 수준 감정 카테고리별 대화 수의 분석입니다.

또한 플랫폼에는 다음 품질 AI 측정항목의 시간 경과에 따른 변화를 보여주는 그래프가 표시됩니다.

품질 점수: 이 상담사가 처리한 모든 대화의 품질 점수 백분율입니다.
점수 카테고리 분석: 사전 정의된 각 카테고리(비즈니스, 규정 준수, 고객, 맞춤 카테고리)의 품질 점수입니다.

대화 결과

대화 결과 그래프에는 다음과 같은 가능한 결과로 종료된 대화 수가 표시됩니다.

폐기됨
일부 해결됨
에스컬레이션됨
리디렉션됨
해결됨
알 수 없음

Quality AI의 사전 빌드된 스코어카드에 있는 사전 정의된 질문을 사용하여 대화 결과를 계산합니다.

이 그래프에서 결과 데이터를 보려면 사전 제작된 스코어카드로 품질 AI 분석을 실행하세요.
결과를 클릭하면 해당 결과가 포함된 대화 목록이 표시됩니다.

감정 분석

모든 대화에 감정 분석을 실행하면 감정 분류 차트에 부정적, 중립적, 긍정적 등 각 카테고리의 전체 감정을 가진 대화 수가 표시됩니다.