Monitoring 대시보드

모니터링 대시보드를 사용하여 시간 경과에 따른 에이전트 애플리케이션의 성능을 평가하고 개선이 필요한 영역을 찾을 수 있습니다. 모니터링은 다음과 같은 상황에서 유용합니다.

  • 성능 모니터링: 처리된 상호작용 수, 세션당 평균 턴 수, 에스컬레이션 비율과 같은 상담사 애플리케이션 성능에 관한 실시간 및 이전 데이터를 분석합니다.
  • 문제 감지 및 해결: 상담사 애플리케이션이 요청을 이해하거나 정확한 응답을 제공하는 데 어려움을 겪을 수 있는 최종 사용자 상호작용의 패턴이나 추세를 파악합니다. 이를 통해 문제를 파악하고 도구 오류, 지연 시간 문제 또는 에이전트 애플리케이션 스크립트 업데이트와 같은 시정 조치를 취하거나 추가 교육을 제공할 수 있습니다.
  • 최종 사용자 통계: 상담사 애플리케이션 상호작용의 데이터를 분석하여 최종 사용자 행동, 선호도, 고충사항에 대한 유용한 통계를 얻습니다. 이 정보를 사용하여 최종 사용자 요구사항을 더 잘 이해하고, 에이전트 애플리케이션 응답을 맞춤설정하고, 전반적인 최종 사용자 환경을 개선할 수 있습니다.
  • 리소스 할당: 상담사 애플리케이션 워크로드, 가용성, 성능에 관한 데이터를 분석하여 리소스 할당을 최적화할 수 있습니다. 예를 들어 문의가 증가하여 추가 상담사 애플리케이션이 필요할 수 있는 시간대를 파악하거나 전문성을 기반으로 상담사 애플리케이션을 할당할 수 있습니다.

모니터링 대시보드 열기

모니터링 대시보드를 열려면 다음 단계를 따르세요.

  1. 에이전트 애플리케이션 설정에서 상호작용 로깅을 사용 설정했는지 확인합니다.
  2. 에이전트 빌더 상단에서 모니터링을 클릭합니다. 모니터링 대시보드가 표시됩니다.
  3. 데이터의 기간은 기본적으로 지난 1일로 설정되어 있지만 이 기간을 클릭하여 변경할 수 있습니다.
  4. 기간 필드를 클릭하여 기간을 선택합니다. 기본적으로 24시간으로 설정되어 있습니다.
  5. 대화 보기를 클릭하면 CX 통계로 리디렉션되어 전체 대화 로그를 확인하고 대화 및 스크립트 세부정보 분석을 실행할 수 있습니다.

대시보드 타일

모니터링 대시보드에는 다음 타일이 표시됩니다.

  • 총 세션 수: 에이전트 애플리케이션이 최종 사용자와 나눈 총 대화 (세션) 수입니다. 이 값도 시계열로 표시됩니다.
  • 에스컬레이션 비율: 에이전트 애플리케이션에서 문제를 처리할 수 없어 상담사에게 에스컬레이션된 상호작용의 비율입니다. 이는 문제의 복잡성이나 상담사 애플리케이션이 요청을 이해할 수 없기 때문일 수 있습니다. 이 값도 시계열로 표시됩니다.
  • 에스컬레이션 수: 총 에스컬레이션 수입니다.
  • 세션당 턴 수: 세션당 평균 턴 수입니다.
  • 엔드 투 엔드 지연 시간: 엔드 투 엔드 (E2E) 지연 시간은 사용자 발화가 끝난 시점과 다음 에이전트 발화가 시작된 시점 사이의 시간입니다. 이 측정항목은 채팅 및 음성 대화 내에서 모든 사용자 에이전트 상호작용의 E2E 지연 시간을 계산합니다.
  • 엔드 투 엔드 지연 시간 분석: 발화 수준의 E2E 지연 시간을 보여줍니다. y축에는 시간이 50밀리초 단위로 표시됩니다. x축은 도구, 대규모 언어 모델 (LLM), 텍스트 음성 변환 (TTS)의 E2E 지연 시간을 볼 수 있음을 나타냅니다. 마지막으로 그래프에는 세 가지 백분위수 카테고리(P50은 50번째 백분위수, P90은 90번째 백분위수, P99는 99번째 백분위수)의 E2E 지연 시간이 별도의 막대로 표시됩니다. 예를 들어 LLM P99 지연 시간이 5초인 경우 발화 수준 LLM 지연 시간 값의 99% 가 5초 미만입니다.
  • 도구 실패율: 선택한 기간 및 지정된 대화 매체에서 특정 에이전트의 대화에서 도구를 사용한 모든 경우 중 실패한 도구 호출의 비율입니다.
  • 도구 지연 시간: 선택한 기간 및 대화 매체에서 특정 에이전트의 대화에서 도구의 모든 사용에 걸친 도구 호출의 평균 지연 시간입니다.
  • 전체 감정: 이 상담사가 처리한 대화의 평균 감정 점수입니다. -1에서 1까지의 척도로, 0은 중립이고 1은 긍정적입니다.
  • 감정 분석: 대화 수준 감정 카테고리(부정적, 중립적, 긍정적)별 이 상담사의 대화 수를 보여주는 색상 코딩된 막대 그래프입니다.
  • 대화 결과: 다음과 같은 가능한 결과로 종료된 대화 수를 표시합니다. 여기서 컴퓨팅 대화 결과는 CX Insights의 사전 빌드 스코어카드에 있는 사전 정의된 질문을 사용합니다.
    • 폐기됨
    • 일부 해결됨
    • 에스컬레이션됨
    • 리디렉션됨
    • 해결됨
    • 알 수 없음