Quality AI 기본사항

Quality AI는 AI 모델을 사용하여 고객 서비스 대화 또는 고객센터 상담사와 사용자 간의 상호작용을 자동으로 분석합니다. AI 모델이 채팅 또는 음성 스크립트를 분석합니다.

스코어카드를 수정할 때 맞춤 태그에 대해 다음 작업을 수행할 수 있습니다.

기존 질문에 태그를 추가합니다.
기존 질문에서 태그를 삭제합니다.

대화 세부정보

대화에는 다음 세부정보가 포함됩니다. 이러한 세부정보에는 분석을 위한 식별자와 측정항목이 포함됩니다.

상담사 ID: 각 상담사에게 할당된 고유 번호로, 상담사가 처리한 대화를 식별합니다.
상담사 총점: 상담사의 대화 전반에 걸친 실적의 평균 점수입니다.
AHT: Average Handling Time(평균 처리 시간)으로, 지정된 기간 동안 상담사의 평균 대화 시간입니다.
평균 상담사 점수: 모든 상담사의 총점의 평균입니다. (상담사 총점 참고)
평균 상담사 품질 점수: 지정된 기간 동안 단일 상담사의 대화에서 생성된 품질 점수의 평균입니다. (품질평가점수 참고)
평균 대화 점수: 모든 대화의 평균 점수입니다.
평균 품질평가점수: 지정된 기간의 평균 품질평가점수입니다. (품질평가점수 참고)
채널: 고객과 상담사 간의 대화 매체입니다. 채널에는 voice 또는 chat이라는 두 가지 값 중 하나가 있습니다.
대화 ID: 각 고객 서비스 대화를 식별하기 위해 할당된 고유한 번호입니다.
대화 총점: 단일 대화의 질문 점수 합계입니다.
CSAT: 고객 만족도 등급으로, 일반적으로 1~5입니다.
기간: 대화가 시작부터 끝까지 이어지는 시간입니다.
기본 주제: 대화 중에 논의된 우려사항으로, 주제 모델링을 통해 결정됩니다. 품질 AI는 해당 대화에 주제 모델링을 사용한 경우에만 기본 주제를 표시합니다.
품질 점수: 스코어카드에 할당된 전체 점수입니다.
질문: 대화에서 에이전트의 성능을 평가하는 데 사용됩니다. 질문을 Quality AI에 입력하면 각 질문의 기준을 충족했는지에 따라 상담사의 점수가 매겨집니다.
감정: 대화에서 전달되는 주요 감정 상태입니다. 감정에는 긍정, 중립, 부정의 세 가지 값 중 하나가 있습니다. 품질 AI는 대화에 감정 분석을 사용한 경우에만 감정을 표시합니다.
침묵: 고객과 상담사가 말하거나 입력하지 않은 시간입니다.
시작일: 대화가 시작된 날짜입니다.
시작 시간: 대화가 시작된 시간입니다.
총 볼륨: 지정된 기간 동안 단일 상담사가 처리한 총 대화 수입니다.

스코어카드

스코어카드는 대화 중 대화 품질과 고객센터 상담사의 실적을 평가하는 데 사용되는 구조화된 프레임워크입니다. 고객센터마다 자체 스코어카드가 있습니다.

각 스코어카드는 다음 정보로 구성됩니다.

질문 (예: 상담사가 적절한 제품 칭찬을 제공했나요?)
선택사항: 태그를 사용하여 질문을 카테고리로 그룹화합니다.
질문을 해석하고 각 답변 선택지를 정의하는 방법
답변 유형 (텍스트, 숫자 또는 예/아니요일 수 있음)
답변 유형에 따라 가능한 답변을 정의하는 답변 선택지입니다 (예: 예 및 아니오, 숫자 목록 또는 일부 텍스트 응답).
각 답변 선택에 대해 획득한 포인트를 설정하는 점수입니다. 단일 질문의 최대 점수는 모든 답변 선택지 중 가장 높은 점수로 결정됩니다.

하나의 Google Cloud 프로젝트에서 여러 스코어카드를 만들 수 있습니다. 각 스코어카드에 다른 질문이 포함되어 있으면 동일한 대화에 대해 여러 품질 점수가 표시될 수 있습니다. 각 점수는 서로 다른 기준에 따라 계산됩니다.

사전 정의된 질문

수정할 수 없는 질문과 답변 선택지가 포함된 사전 정의된 질문을 스코어카드에서 사용할 수 있습니다. 고객 경험 인사이트에서 안내와 답변 선택지를 정의합니다. 이러한 질문에는 버전을 나타내는 ID가 있습니다. 품질 AI 분석에 사용할 수 있도록 사전 정의된 질문을 스코어카드에 추가할 수 있습니다.

사전 정의된 질문은 다음과 같은 대화 결과 측정항목을 식별합니다.

대화 결과
에스컬레이션 시작자
상담사의 유용성
사용자 만족도

대화 결과

대화 결과는 사용자 작업의 맥락에서 대화의 결과를 식별합니다.

중단됨: 사용자의 작업이 완료되기 전, 사람인 에이전트에게 에스컬레이션되지 않은 상태에서 사용자가 응답을 중단하거나 대화에서 이탈했습니다.
부분적으로 해결됨: 상담사가 사용자의 의도를 이해하고 사용자의 작업을 일부 완료했지만 전부 완료하지는 않았습니다. 사용자의 모든 작업이 완전히 완료되기 전에 대화가 종료되었습니다.
에스컬레이션됨: 사용자의 요청에 따라 사람 상담사에게 트랜스퍼된 대화입니다.
리디렉션됨: 상담사가 시작한 대화가 상담사에게 트랜스퍼되었습니다.
성공적으로 해결됨: 상담사가 사용자의 의도를 이해하고, 사용자의 작업을 완료했으며, 대화가 끝날 때 사용자로부터 명시적인 확인을 받았습니다.

에스컬레이션 시작자

에스컬레이션 시작자는 인간인 에이전트로의 에스컬레이션이 있는지, 누가 해당 프로세스를 시작했는지 식별합니다.

사용자: 사용자가 상담사에게 에스컬레이션을 시작했습니다.
상담사: 상담사가 상담사에게 에스컬레이션을 시작했습니다.
전송 없음: 대화가 상담사에게 에스컬레이션되지 않았습니다. 여기에는 상담사가 요청을 해결하기 위해 사용자를 다른 리소스로 리디렉션했지만 실제 상담사에게 에스컬레이션하지 않은 케이스가 포함됩니다.

상담사의 유용성

상담사 유용성은 사용자의 관점에서 상담사의 응답이 유용한지 여부를 나타냅니다. 이 측정항목은 전체 대화를 기반으로 합니다.

유용함: 상담사가 사용자에게 유용한 정보를 제공했거나, 사용자의 의도를 해결했거나 부분적으로 충족했거나, 요청을 해결할 수 있는 적절한 리소스로 리디렉션했습니다.
도움이 되지 않음: 상담사가 사용자에게 유용한 정보를 제공하지 않았으며 사용자의 의도를 충족하지 않았습니다. 여기에는 상담사가 사용자의 요청을 잘못 해석했거나 작업에 대한 잘못된 정보를 제공한 경우가 포함됩니다.

사용자 만족도

사용자 만족도는 사용자가 불만을 표현했는지, 최종 솔루션을 거부했는지, 화를 냈는지, 악의적인 행동을 했는지 여부를 나타냅니다.

불만족: 사용자가 상담사의 대답에 불만을 표현했거나, 해결 방법을 명시적으로 거부했거나, 화를 냈습니다.
불분명 또는 만족: 사용자가 상담사의 기본 대답에 불만이나 분노를 표현하지 않았으며 거부하지도 않았습니다.

커스텀 태그

태그를 사용하여 특정 스코어카드에서 질문을 카테고리로 그룹화합니다. 각 프로젝트에는 기본 비즈니스, 규정 준수, 고객 태그가 포함됩니다. 이 세 가지 태그 외에도 고객 경험 통계를 사용하여 맞춤 태그를 만들 수 있습니다. 맞춤 태그는 Google Cloud 프로젝트당 10개로 제한됩니다. 태그가 10개 이상 필요한 경우 고객 경험 통계 담당자에게 문의하세요.

대화 점수

Quality AI는 사용자가 제공한 스코어카드를 기준으로 대화를 자동으로 평가합니다. 각 질문에 대해 다음을 수행합니다.

답변 유형을 정의합니다.
가능한 답변 선택지를 나열합니다.
각 답변 선택지의 점수를 설정합니다.

스코어카드 1개

대화 점수는 받은 총점을 해당 대화의 최대 점수로 나눈 값입니다. 총 획득 점수는 각 질문에 할당된 답변 선택지에서 획득한 모든 점수의 합계입니다. 가능한 최대 점수는 각 질문의 최대 점수의 합계입니다. '해당 사항 없음' 응답이 할당된 질문은 이 대화 점수 계산에서 제외됩니다. 대화 점수는 백분율로 표시됩니다.

여러 스코어카드

하나의 대화에 여러 개의 대화 점수가 부여될 수 있습니다. 각 대화 점수는 단일 스코어카드의 질문에 따라 해당 대화 중 상담사의 실적을 반영합니다. 각 스코어카드에 서로 다른 질문 그룹이 포함된 경우 여러 유형의 질문에 대해 단일 대화를 평가할 수 있습니다.

수동 업데이트

대화를 분석한 후 질문에 대한 답변을 수동으로 업데이트할 수 있습니다. 답변을 수동으로 업데이트하면 Quality AI가 해당 질문의 점수와 해당 대화 점수를 자동으로 조정합니다. 또한 Quality AI 콘솔은 답변이 수동으로 업데이트되었음을 나타내는 시각적 아이콘으로 질문과 대화를 표시합니다. 마지막으로 Quality AI는 수동으로 업데이트된 답변을 AI 모델을 개선하기 위한 예시 대화로 자동 추가합니다.

소스 메뉴

Customer Experience Insights 콘솔의 Quality AI 섹션에 있는 각 페이지에는 소스 메뉴가 포함되어 있습니다. 이 메뉴에는 스코어카드가 나열되어 표시할 정보를 선택할 수 있습니다.

예를 들어 대화 페이지에서 각 대화의 점수를 확인할 수 있습니다. 이 점수는 품질 AI가 대화를 평가한 스코어카드에 따라 달라집니다. 따라서 소스 메뉴에서 다른 스코어카드를 선택하면 동일한 대화의 점수가 변경될 수 있습니다.

예시

다음 예는 대화 점수가 계산되는 방식을 보여줍니다.

예시 1

다음과 같은 경우

스코어카드에는 10개의 질문이 있습니다.
각 질문은 예 또는 아니요로 답할 수 있는 질문입니다.
'예'는 1점을 받고 '아니요'는 0점을 받습니다.
대화에서 모든 대답이 '예'로 표시됨

그러면 대화 점수는 100%입니다.

예시 2