Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

Quality AI 기본사항

Quality AI는 AI 모델을 사용하여 고객 서비스 대화 또는 고객센터 상담사와 사용자 간의 상호작용을 자동으로 분석합니다. AI 모델이 채팅 또는 음성 스크립트를 분석합니다.

대화 세부정보

대화에는 다음 세부정보가 포함됩니다. 이러한 세부정보에는 분석을 위한 식별자와 측정항목이 포함됩니다.

상담사 ID: 각 상담사에게 할당된 고유 번호로, 상담사가 처리한 대화를 식별합니다.
상담사 총점: 상담사의 대화 전반에 걸친 상담사 성과의 평균 점수입니다.
AHT: 평균 처리 시간, 지정된 기간 동안 상담사의 평균 대화 시간입니다.
평균 상담사 점수: 모든 상담사의 총점 평균입니다. (상담사 총점 참고)
평균 상담사 품질 점수: 지정된 기간 동안 단일 상담사의 대화에서 생성된 품질 점수의 평균입니다. (품질평가점수 참고)
평균 대화 점수: 모든 대화의 평균 점수입니다.
평균 품질평가점수: 지정된 기간의 평균 품질평가점수입니다. (품질평가점수 참고)
채널: 고객과 상담사 간의 대화 매체입니다. 채널에는 음성 또는 채팅이라는 두 가지 값 중 하나가 있습니다.
대화 ID: 각 고객 서비스 대화를 식별하기 위해 할당된 고유 번호입니다.
대화 총점: 단일 대화의 질문 점수 합계입니다.
CSAT: 대화 메타데이터의 고객 만족도 평점으로, 일반적으로 1~5점입니다.
소요 시간: 대화가 시작되어 끝날 때까지의 시간입니다.
기본 주제: 대화 중에 논의된 우려사항으로, 주제 모델링에 의해 결정됩니다. Quality AI는 해당 대화에 주제 모델링을 사용한 경우에만 기본 주제를 표시합니다.
품질 점수: 스코어카드에 할당된 전체 점수입니다.
질문: 대화에서 상담사의 성과를 평가하는 데 사용됩니다. Quality AI에 질문을 입력하면 상담사가 각 질문의 기준을 충족했는지에 따라 평가됩니다.
감정: 대화에서 전달되는 주요 감정 상태입니다. 감정에는 긍정적, 중립적, 부정적의 세 가지 값 중 하나가 있습니다. 품질 AI는 대화에 감정 분석을 사용한 경우에만 감정을 표시합니다.
침묵: 고객과 상담사 모두 말하거나 입력하지 않은 시간입니다.
시작일: 에이전트의 리전을 기준으로 대화가 시작된 날짜입니다.
시작 시간: 에이전트 리전을 기준으로 대화가 시작된 시간입니다.
총 볼륨: 지정된 기간 동안 단일 상담사가 처리한 총 대화 수입니다.

스코어카드

스코어카드는 대화 중 대화 품질과 고객센터 상담사의 성과를 평가하는 데 사용되는 체계적인 프레임워크입니다. 고객센터마다 자체 스코어카드가 있습니다.

각 스코어카드는 다음 정보로 구성됩니다.

질문(예: 상담사가 적절한 제품 칭찬을 제공했나요?)
선택사항: 질문을 카테고리로 그룹화하는 태그입니다.
질문을 해석하고 각 답변 선택지를 정의하는 지침입니다.
시스템 이벤트 및 메타데이터를 포함하는 추적
답변 유형(텍스트, 숫자 또는 예/아니요)
답변 유형에 따라 가능한 답변을 정의하는 답변 선택지(예: 예 및 아니요, 숫자 목록 또는 일부 텍스트 응답)
각 답변 선택지에 부여할 점수를 설정하는 점수 단일 질문의 최대 점수는 모든 답변 선택지 중 가장 높은 점수로 결정됩니다.

단일 Google Cloud 프로젝트에서 여러 스코어카드를 만들 수 있습니다. 각 스코어카드에 다른 질문이 포함된 경우 동일한 대화에 대해 여러 품질 점수가 표시될 수 있습니다. 각 점수는 서로 다른 기준을 기반으로 합니다.

사전 정의된 질문

수정할 수 없는 질문 및 답변 옵션이 있는 스코어카드에서 사전 정의된 질문을 사용할 수 있습니다. 고객 경험 인사이트(CX 인사이트)는 요청 사항과 답변 선택지를 정의합니다. 이러한 질문에는 버전을 나타내는 ID가 있습니다. 사전 정의된 질문을 스코어카드에 추가하여 품질 AI 분석에 사용할 수 있습니다.

사전 정의된 질문은 다음 측정항목을 식별합니다.

대화 결과
에스컬레이션 시작자
AI 거부감

대화 결과

대화 결과는 사용자 작업의 맥락에서 대화의 결과를 식별합니다.

중단됨: 사용자가 작업을 완료하지 않고 상담사에게 에스컬레이션되지 않은 상태에서 응답을 중지하거나 대화를 중단했습니다.
부분적으로 해결됨: 에이전트가 사용자의 의도를 이해하고 사용자의 작업 중 일부를 완료했지만 전부는 완료하지 못했습니다. 사용자의 모든 작업이 완전히 완료되기 전에 대화가 종료되었습니다.
에스컬레이션됨: 사용자의 요청에 따라 대화가 상담사에게 전달되었습니다.
리디렉션됨: 상담사가 시작하여 상담사에게 전달된 대화입니다.
성공적으로 해결됨: 에이전트가 사용자의 의도를 이해하고 사용자의 작업을 완료했으며 대화가 끝날 때 사용자로부터 명시적인 확인을 받았습니다.
알 수 없음: 대화 결과를 확인할 수 없습니다.

에스컬레이션 시작자

에스컬레이션 시작자는 상담사에게 에스컬레이션이 있는지, 누가 해당 프로세스를 시작했는지 식별합니다.

사용자: 사용자가 상담사에게 에스컬레이션을 시작했습니다.
상담사: 상담사가 상담사에게 에스컬레이션을 시작했습니다.
전달 없음: 대화가 상담사에게 에스컬레이션되지 않았습니다. 여기에는 에이전트가 요청을 해결하기 위해 사용자를 다른 리소스로 리디렉션했지만 상담사에게 에스컬레이션하지 않은 케이스가 포함됩니다.

AI 거부감

AI 회피 측정항목은 대화 초기에 가상 에이전트와 상호작용할 때 고객이 꺼려하거나, 시스템을 우회하려고 하거나, 불만을 표시하는 상황을 강조합니다. 이러한 구분을 통해 실제 상담사에 대한 초기 고객 선호도와 세션 후반에 가상 에이전트 오류로 인해 발생하는 표준 에스컬레이션을 구분할 수 있습니다.

Quality AI는 각 고객 발화를 다음 수준 중 하나로 자동 분류합니다.

High aversion(높은 거부감): 사용자가 처음부터 상담사와의 대화를 거부하고 의도나 문제를 밝히지 않으며, 상담사를 직접 요구하는 메시지를 포함합니다. 또는 사용자가 AI 자동화에 대해 명시적인 적대감을 표현합니다(예: 로봇과 대화하는 게 싫어요).
중간 정도의 거부감: 사용자가 가상 에이전트와 상호작용하기를 꺼리며, 가상 에이전트가 지원하기에 충분한 정보가 부족하도록 모호하거나 지나치게 일반적인 의도(예: 도움말 또는 문제)만 제공하고 즉시 상담사 연결을 요구합니다. 또는 사용자가 의도를 밝히지만 가상 에이전트의 기본적인 명확화 질문에 답변하기를 거부하고 상담사 연결을 고집합니다.
거부감 없음: 사용자가 자연스럽게 참여하고 실행 가능한 문제 세부정보를 제공하여 가상 에이전트를 유효한 지원 채널로 취급합니다. AI 회피가 아닌 가상 에이전트 실패로 인한 정상적인 에스컬레이션의 한 예는 사용자가 특정 인텐트(예: 인터넷이 다운되었습니다)를 제공하고 가상 에이전트가 부정확하거나 도움이 되지 않는 답변을 제공하여 나중에 에스컬레이션하는 경우입니다.

CX Insights 및 Customer Experience Agent Studio 대시보드에는 조기 에스컬레이션 추세를 추적하기 위한 다음과 같은 AI 회피 측정항목이 표시됩니다.

AI 회피율(요약 카드): 고객이 처음 두 번의 메시지 교환 내에서 AI 회피를 보이는 전체 대화의 비율을 표시합니다. 카드를 클릭하여 세부 측정항목을 엽니다.
AI 회피 분석(차트): 높음, 보통, 회피 없음 수준 간의 분포를 시각적으로 분석합니다.

요약 카드를 선택하거나 분석 차트의 섹션을 클릭하여 세션 세부정보를 확인합니다. 이 세부정보는 초기 AI 거부감이 있는 대화로 필터링됩니다.

커스텀 태그

태그를 사용하여 특정 스코어카드의 질문을 카테고리로 그룹화합니다. 각 프로젝트에는 기본 BUSINESS, COMPLIANCE, CUSTOMER 태그가 포함됩니다. 이 세 가지 태그 외에도 CX Insights를 사용하여 자체 커스텀 태그를 만들 수 있습니다. 커스텀 태그는 Google Cloud 프로젝트당 10개로 제한됩니다. 태그가 10개 넘게 필요한 경우 CX Insights 담당자에게 문의하세요.

맞춤 태그는 질문 또는 해당 질문이 포함된 스코어카드와 독립적입니다. 태그 관리 페이지 또는 질문 만들기 대화상자에서 커스텀 태그를 만들 수 있습니다. 커스텀 태그를 만든 후에는 CX Insights 프로젝트의 모든 스코어카드에 있는 모든 질문에 적용할 수 있습니다.

스코어카드를 수정할 때 커스텀 태그에 대해 다음 작업을 수행할 수 있습니다.

기존 질문에 태그를 추가합니다.
기존 질문에서 태그를 삭제합니다.

대화 점수

Quality AI는 제공된 스코어카드를 기준으로 대화를 자동으로 평가합니다. 각 질문에 대해 다음을 수행합니다.

답변 유형을 정의합니다.
가능한 답변 선택지를 나열합니다.
각 답변 선택지의 점수를 설정합니다.

스코어카드 1개

대화 점수는 받은 총점을 해당 대화에서 획득 가능한 최대 점수로 나눈 값입니다. 총점은 각 질문에 할당된 답변 선택지에서 얻은 모든 점수의 합계입니다. 가능한 최대 점수는 각 질문의 최대 점수를 합한 값입니다. 해당 사항 없음 응답이 할당된 질문은 이 대화 점수 계산에서 제외됩니다. 대화 점수는 백분율로 표시됩니다.

여러 스코어카드

하나의 대화에 여러 대화 점수가 부여될 수 있습니다. 각 대화 점수는 단일 스코어카드의 질문에 따라 해당 대화 중 상담사의 성과를 반영합니다. 각 스코어카드에 서로 다른 질문 그룹이 포함된 경우 여러 유형의 질문에 대해 단일 대화를 평가할 수 있습니다.

수동 업데이트

대화를 분석한 후에는 질문에 대한 답변을 수동으로 업데이트할 수 있습니다. 답변을 수동으로 업데이트하면 Quality AI가 해당 질문의 점수와 해당 대화 점수를 자동으로 조정합니다. 또한 Quality AI 콘솔은 답변이 수동으로 업데이트되었음을 나타내는 시각적 아이콘으로 해당 질문과 대화를 표시합니다. 마지막으로, Quality AI는 수동으로 업데이트된 답변을 대화 예시로 자동 추가하여 AI 모델을 개선합니다.

CX Insights 콘솔에서 Quality AI 섹션의 각 페이지에는 소스 메뉴가 포함되어 있습니다. 이 메뉴에는 표시할 정보를 선택할 수 있도록 스코어카드가 나열됩니다.

예를 들어 대화 페이지에서 각 대화의 점수를 확인할 수 있습니다. 이 점수는 Quality AI가 대화를 평가한 스코어카드에 따라 달라집니다. 따라서 소스 메뉴에서 다른 스코어카드를 선택하면 동일한 대화의 점수가 변경될 수 있습니다.

예시

다음 예시는 대화 점수가 계산되는 방식을 보여줍니다.

예시 1

다음이 참인 경우:

스코어카드에는 10개의 질문이 있습니다.
각 질문은 예 또는 아니요로 답할 수 있는 질문입니다.
'예'는 1점, '아니요'는 0점입니다.
대화에서 모든 답변이 '예'인 경우

그러면 대화 점수는 100%입니다.

예시 2