평가

평가는 에이전트의 성능을 테스트하고 특정 상황에서 예상대로 작동하는지 확인하는 데 중요한 도구입니다. 이를 통해 테스트를 자동화하고, 변경 후 회귀를 포착하고, 에이전트 대답의 품질을 측정하여 에이전트 품질을 개선할 수 있습니다.

시작하려면 에이전트 빌더 상단에 있는 평가 버튼을 클릭합니다.

평가 개념

테스트 사례: 각 테스트 사례는 에이전트의 성능을 평가하도록 설계된 구체적이고 독립적인 테스트 시나리오 또는 프롬프트입니다. 세 가지 유형의 테스트 사례를 만들 수 있습니다.

  • 시나리오: 테스트를 부트스트랩하고 포괄적인 테스트 범위를 보장하는 AI 기반 기능입니다. 사용자의 목표를 설명하면 시스템이 자동으로 사용자를 시뮬레이션하고 대화를 생성하여 에이전트가 시나리오를 강력하게 처리할 수 있는지 테스트합니다. 시나리오는 실험하고 골든 대화를 정의하는 데 유용한 방법입니다.
  • 시뮬레이션: 다단계 여정을 테스트하는 데 적합합니다. 단일 개방형 사용자 목표 대신 대화를 순서가 지정된 목표 (마일스톤이라고도 함) 목록으로 세분화합니다. 시뮬레이션된 사용자는 한 번에 하나씩 목표를 달성하고 현재 목표의 성공 기준이 충족된 후에만 다음 목표로 이동합니다. 시뮬레이션을 사용하면 대화를 예측 가능한 경로로 유지하면서 시뮬레이션된 사용자의 유연성을 확보할 수 있습니다.
  • 골든: 회귀 테스트에 적합합니다. '이상적인' 특정 대화 경로를 제공하면 평가에서 도구 호출을 포함하여 에이전트의 동작이 이 이상적인 경로와 일치하는지 확인합니다.

실행: 평가 실행은 테스트 중인 에이전트의 성능에 대해 골든, 시나리오, 시뮬레이션 테스트 사례 집합을 한 번 완전히 실행하는 것을 나타냅니다. 각 실행에는 하나 이상의 테스트 사례가 포함될 수 있습니다.

결과: 테스트 사례 결과는 단일 실행에서 특정 테스트 사례의 단일 실행을 나타냅니다. 단일 평가 실행 중에 테스트 사례가 여러 번 실행되는 경우 (예: 일관성, 불안정성 등을 확인하기 위해) 각 개별 실행은 개별 결과입니다. 결과는 각 테스트 사례 행의 열에 직사각형 아이콘으로 표시되며, 실행이 실패하면 빨간색 X가 표시되고 통과하면 녹색 체크표시가 표시됩니다.

태그: 테스트 사례를 태그로 그룹화하여 더 쉽게 관리할 수 있습니다.

테스트 사례 만들기

에이전트의 테스트 사례를 만들고 액세스하려면 에이전트 빌더 상단에 있는 평가 버튼을 클릭합니다. 골든, 시나리오 또는 시뮬레이션 기반 테스트 사례를 만들고 관리할 수 있습니다. 테스트 사례 목록의 유형 열에는 각 테스트 사례의 유형이 표시됩니다.

시나리오

시나리오 기반 테스트 사례는 AI를 사용하여 정의된 상위 수준 사용자 목표에 따라 다양한 대화를 자동으로 생성합니다. 이러한 테스트 사례에서는 특정 골든 대화를 제공하는 대신 생성된 시나리오를 선택하거나 테스트해야 하는 특정 시나리오를 설명합니다. 이는 가능한 모든 대화 경로를 수동으로 작성하지 않고도 특이 사례를 탐색하고 에이전트의 견고성을 테스트하는 데 도움이 되는 강력한 도구입니다.

이러한 시나리오가 잘 작동하면 골든 대화로 저장할 수 있습니다.

시나리오를 만들려면 다음 단계를 따르세요.

  1. 시나리오 만들기를 클릭합니다. 여러 시나리오가 추천됩니다.
  2. 선택한 항목을 기반으로 시나리오를 생성하거나 처음부터 새 시나리오를 만들 수 있습니다.

시나리오 목록을 볼 때 시나리오를 클릭하여 각 시나리오의 세부정보와 대화 목록을 나열할 수 있습니다.

시나리오를 골든 대화로 저장하려면 다음 안내를 따르세요.

  1. 시나리오를 선택합니다.
  2. 오른쪽 상단에 있는 메뉴 버튼을 클릭합니다.
  3. Thinking…

시나리오 사용자 목표

각 시나리오에는 에이전트 애플리케이션을 사용할 때 최종 사용자의 목표를 설명하는 사용자 목표가 있습니다. 예를 들면 다음과 같습니다.

Securely book a specific room at a chosen hotel and receive a confirmation.

사용자 목표에 따라 CX Agent Studio는 평가에 사용되는 대화를 자동으로 생성합니다.

시나리오 변수

시나리오를 정의할 때 시나리오에 사용해야 하는 변수를 제공할 수 있습니다.

시나리오 기대치

평가를 수행하려면 테스트 사례에 대한 기대치를 정의합니다.

기대치는 다음 두 가지 유형 중 하나일 수 있습니다.

  • 메시지: 예상되는 에이전트 응답입니다.
  • 도구 호출: 예상되는 입력 및 출력이 있는 도구 호출입니다.

기대치에는 다음과 같은 조건이 있을 수 있습니다.

  • 필수 요건
  • 포함하지 않아야 함
  • 도구 호출 후
  • 변수 값

기댓값을 만들려면 다음 안내를 따르세요.

  • 특정 시나리오를 클릭하여 세부정보를 엽니다.
  • 기대치 섹션에서 모두 보기를 클릭합니다.
  • 인터페이스 안내에 따라 시나리오에 대한 기댓값을 만듭니다.

시뮬레이션

시뮬레이션 테스트 사례는 대화를 목표 (마일스톤이라고도 함)라고 하는 순서가 지정된 단계 목록으로 나눕니다. 각 목표는 사용자 여정의 한 단계와 시뮬레이션된 사용자가 다음 단계로 이동하기 전에 충족해야 하는 기준을 설명합니다.

시뮬레이션은 시나리오와 기준 테스트 사례 사이에 위치합니다.

  • 시나리오는 시뮬레이션된 사용자에게 개방형 사용자 목표를 하나 제공하고 전체 대화를 즉흥적으로 진행하도록 합니다. 이는 탐색에 유용하지만 실행할 때마다 대화가 다른 경로를 따를 수 있습니다.
  • 골든 테스트 사례는 모든 사용자 차례를 고정합니다. 이는 회귀 테스트에 정확하지만 긴 여정에는 엄격하며 에이전트의 표현에서 유효한 변형에 적응할 수 없습니다.
  • 시뮬레이션은 실시간 시뮬레이션 사용자를 유지하지만 목표에 맞게 순서대로 제한합니다. 이렇게 하면 인증, 조회, 업데이트와 같은 다단계 여정을 모든 차례를 하드 코딩하지 않고도 반복할 수 있습니다.

다음과 같은 경우에 시뮬레이션을 사용합니다.

  • 여정에는 정해진 순서대로 진행되어야 하는 여러 단계가 있습니다.
  • 에이전트가 다른 작업을 수행하기 전에 발신자를 성공적으로 확인하는 등의 중간 상태에 도달하는지 확인해야 합니다.
  • 골든 대화는 너무 경직되어 있지만 단일 목표 시나리오는 전체 경로를 안정적으로 실행하지 않습니다.

시뮬레이션 만들기

  1. 평가 탭으로 이동합니다.
  2. + 테스트 사례 추가를 클릭합니다.
  3. 시뮬레이션을 선택합니다. 시뮬레이션 편집기가 비어 있는 목표 하나와 함께 열립니다.
  4. 테스트 사례 이름을 입력하고 태그를 추가합니다.
  5. 첫 번째 목표의 사용자 목표 및 성공 기준을 입력하고 달성할 최대 차례를 설정합니다.
  6. 목표 추가를 클릭하고 여정의 각 단계에 대해 순서대로 반복합니다. 각 단계 유형에 대한 자세한 내용은 목표를 참고하세요.
  7. 원하는 경우 변수 재정의 섹션에서 재정의 추가를 클릭하여 대화가 시작되기 전에 세션 변수를 설정합니다. 테스트 사례에 재정의가 하나 이상 있으면 라벨이 지정된 버튼이 기존 재정의 칩 옆에 있는 추가(+) 아이콘 버튼으로 대체됩니다.
  8. 원하는 경우 기대치 추가를 클릭하여 전체 스크립트와 비교하여 확인되는 대화 수준 기대치를 연결합니다.
  9. 만들기를 클릭합니다.

편집기에는 동일한 테스트 사례를 수정하는 UI 탭과 YAML 탭이 있습니다. YAML 형식에 대한 자세한 내용은 YAML로 시뮬레이션 수정을 참조하세요.

목표

목표 추가를 클릭하여 시뮬레이션에 단계를 추가합니다. 각 단계는 다음 유형 중 하나이며 단계의 유형 메뉴에서 선택합니다.

  • 사용자 목표: 시뮬레이션된 사용자는 성공 기준이 충족될 때까지 자체 발화를 생성합니다. 이러한 단계는 편집기에서 목표로 표시됩니다. 다음을 구성합니다.
    • 사용자 목표: 시뮬레이션된 사용자가 이 단계에서 달성하려는 목표입니다(예: Ask for a refund on the most recent order).
    • 성공 기준: 단계가 완료되었는지 여부를 결정하는 조건입니다(예: Agent asks for the reason for the refund).
    • 달성할 최대 차례: 시뮬레이션이 중지되기 전에 이 단계에 허용되는 최대 차례 수입니다. 기본값은 3입니다.
    • 사용자 정보: 에이전트가 아닌 시뮬레이션된 사용자에게만 표시되는 선택적 페르소나 및 컨텍스트 힌트입니다. 이를 사용하여 주문 번호 또는 통화 이유와 같이 사용자가 알고 있는 세부정보를 제공합니다. 이 필드를 추가하려면 단계의 옵션 더보기 메뉴를 열고 사용자 정보 추가를 클릭합니다.
  • 정적 발화: 시뮬레이션된 사용자가 생성 없이 제공된 텍스트를 정확하게 전송합니다. 예를 들어 에이전트가 영숫자 계좌 번호를 처리하는 방법을 테스트하는 경우와 같이 정확한 문구가 중요한 경우에 사용합니다.
  • 이벤트: 발화 대신 이름이 지정된 이벤트를 에이전트에 전송합니다. 이를 사용하여 전화 통신 이벤트와 같은 비대화형 입력을 재현합니다.

정적 발화 및 이벤트 단계는 편집기에서 차례로 라벨이 지정됩니다. 사용자 목표와 마찬가지로 성공 기준을 가질 수 있지만 자체 달성할 최대 차례 또는 사용자 정보 필드는 없습니다.

성공 기준을 관찰 가능한 상담사 행동으로 작성합니다. 상담사가 말해야 하거나 해야 하는 작업을 설명하는 기준은 안정적으로 평가되지만 대화에 표시되지 않는 내부 상태를 설명하는 기준은 그렇지 않습니다.

시뮬레이션 실행 방식

  1. 시뮬레이션된 사용자는 첫 번째 단계에서 시작합니다.
  2. 각 차례에 시뮬레이션된 사용자는 현재 단계에만 적용되는 발화를 생성합니다.
  3. 에이전트가 응답하면 현재 단계가 성공 기준에 따라 평가됩니다. 기준이 충족되면 단계가 완료된 것으로 표시되고 시뮬레이션된 사용자가 다음 단계로 이동합니다. 완료된 단계는 다시 열리지 않습니다.
  4. 달성할 최대 차례 한도 내에 단계가 완료되지 않으면 시뮬레이션이 중지됩니다. 이후 단계는 시도되지 않습니다.
  5. 대화가 끝나면 스크립트를 평가하여 시도한 각 단계에 대한 서면 근거를 생성합니다.

단계별 한도 외에도 전체 대화는 다른 시뮬레이션된 대화와 동일한 전체 한도(100회)로 제한됩니다. 실제로 단계별 달성할 최대 차례 한도가 먼저 시뮬레이션을 중지합니다.

시뮬레이션은 모든 단계가 완료되고 시뮬레이션된 대화에 적용되는 다른 통과 또는 실패 기준을 충족하는 경우에만 통과합니다. 단계는 엄격하게 순차적이므로 실패한 단계 하나가 나머지 테스트 사례를 차단합니다. 실패가 발생한 단계가 명확하게 표시되도록 단계를 정렬합니다.

시뮬레이션 결과

시뮬레이션 결과를 열면 목표 섹션이 표시되며, 이 섹션의 제목에는 전체 단계 중 완료된 단계 수가 표시됩니다(예: Goals (2/3)). 모든 단계가 완료되지 않으면 섹션이 자동으로 펼쳐집니다. 내부에는 단계별로 접을 수 있는 패널이 하나씩 있습니다.

  • 녹색 체크표시는 단계의 성공 기준이 충족되었음을 의미합니다.
  • 빨간색 X는 기준이 충족되지 않았거나 이전 단계에서 차단되어 단계가 완료되지 않았음을 의미합니다.

각 패널에는 단계가 완료된 것으로 간주되거나 간주되지 않은 이유를 일반 언어로 설명하는 근거가 포함되어 있습니다. 실행이 완료되면 완료되지 않은 단계가 근거와 함께 펼쳐지고 완료된 단계는 접힙니다. 시도되지 않은 단계는 이를 차단한 목표의 텍스트를 지정하는 메시지로 정당화됩니다.

목표 아래의 대화 패널에는 전체 시뮬레이션 스크립트가 포함되어 있으므로 시뮬레이션된 사용자가 말한 내용과 에이전트가 응답한 내용을 정확하게 재생할 수 있습니다.

실행이 오류로 종료되면 결과 상단의 카드에 오류 메시지가 표시됩니다. 실행이 완료되었지만 정적 발화 단계가 완료되지 않은 경우 해당 카드는 첫 번째 단계의 근거를 반복합니다. 정적 발화 및 이벤트 단계는 모두 에디터에서 Turn으로 라벨이 지정되므로 목표 섹션을 확인하여 카드가 참조하는 단계를 확인하세요. 완료되지 않은 사용자 목표 및 이벤트 단계는 목표 섹션에만 보고됩니다.

시뮬레이션을 YAML로 수정

시뮬레이션 편집기에서 YAML 탭을 클릭하여 테스트 사례를 YAML로 수정합니다. 목표 목록은 steps로 표현되며 각 단계는 목표에 설명된 필드에 매핑됩니다.

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."
YAML 키 콘솔 필드
name 테스트 사례 이름
tags 태그
session_parameters 변수 재정의
goal 사용자 목표
success_criteria 성공 기준
max_turns 달성할 최대 차례
response_guide 사용자 정보
static_utterance 정적 발화 단계
event 이벤트 단계
expectations 기대치

편집기는 입력하는 동안 YAML의 유효성을 검사하고 다음 규칙을 적용합니다.

  • 문서에는 evals 목록이 포함되어야 하며 편집기는 이 목록의 첫 번째 항목만 읽습니다.
  • 각 항목에는 name와 하나 이상의 단계가 있어야 합니다.
  • 모든 단계에는 goal, static_utterance 또는 event 중 하나 이상이 있어야 합니다.
  • session_parameters의 모든 키는 에이전트 애플리케이션에서 선언된 변수여야 합니다.
  • expectations의 모든 문자열은 에이전트 애플리케이션에 이미 존재하는 기대치의 프롬프트 텍스트여야 합니다. 일치 시 대소문자와 주변 공백은 무시됩니다. 기대치를 만들려면 UI 탭에서 기대치 추가를 사용한 다음 여기에서 프롬프트를 참조하세요.
  • evals 목록의 항목에서 인식할 수 없는 키는 거부됩니다.

골드

이러한 테스트 사례는 회귀 테스트를 위한 이상적인 대화 경로를 정의하는 데 사용되므로 에이전트를 업데이트할 때 핵심적이고 중요한 대화 경로가 중단되지 않습니다. 골든 대화를 만드는 방법에는 여러 가지가 있습니다.

시뮬레이터에서 대화를 가져오려면 다음 안내를 따르세요.

  1. 시뮬레이터를 사용하여 대화를 시작합니다.
  2. 시뮬레이터 오른쪽 상단에 있는 세로 점 3개를 클릭하여 시뮬레이터 메뉴를 표시합니다.
  3. 골든으로 저장을 클릭합니다.
  4. 골든 테스트 사례의 이름을 입력하고 저장을 클릭합니다. 이제 평가 탭에 표시됩니다.

대화 기록에서 테스트 사례를 만들려면 다음 안내를 따르세요.

  1. 평가 탭으로 이동합니다.
  2. + 테스트 사례 추가를 클릭합니다.
  3. Golden을 선택합니다.
  4. 다음을 클릭합니다.
  5. 대화 기록에서 선택을 클릭합니다.
  6. 표시되는 창에서 골든 테스트 사례로 저장할 대화를 선택합니다. 대화 ID로 검색할 수 있습니다.
  7. 수정 기능을 사용 설정한 경우 누락된 정보를 진행하기 전에 수정할 에이전트 응답과 변수를 확인하세요.
  8. 추가를 클릭합니다.

처음부터 테스트 사례를 만들려면 다음 단계를 따르세요.

  1. 평가 탭으로 이동합니다.
  2. + 테스트 사례 추가를 클릭합니다.
  3. Golden을 선택합니다.
  4. 다음을 클릭합니다.
  5. 처음부터 만들기를 클릭합니다.
  6. 표시되는 창에서 테스트 사례의 표시 이름을 추가합니다.
  7. 필요에 따라 사용자 입력 및 에이전트 기대치에 대한 텍스트를 추가합니다. + 사용자 입력 추가 및 + 에이전트 기대치 추가를 클릭하여 대답을 추가합니다. + 대화 차례 추가를 클릭하여 테스트 사례에 새 대화 차례를 추가합니다.
  8. 만들기를 클릭하여 골든 테스트 사례를 테스트 사례 목록에 추가합니다.

시나리오 테스트 사례의 시뮬레이션된 대화에서 테스트 사례를 만들려면 다음 안내를 따르세요.

  1. 평가 실행 결과 페이지로 이동합니다.
  2. 선택한 대화 오른쪽에 있는 메뉴 아이콘 (세로 점 3개)을 클릭하고 골든 대화로 저장을 클릭합니다.

파일에서 테스트 사례를 일괄 업로드하려면 다음 안내를 따르세요.

파일 형식 및 CSV 템플릿에 관한 자세한 내용은 골든 테스트 사례 CSV 형식 페이지를 참고하세요.

골든 기대치

평가를 수행하려면 골드 테스트 사례에 대한 기대치를 정의합니다. 기대치는 대화의 특정 시점에서 에이전트에게 기대하는 특정 결과입니다. 평가 중에 실제 에이전트 동작이 이러한 기대치와 비교됩니다.

기대치는 다음 유형 중 하나일 수 있습니다.

  • 메시지: 에이전트가 최종 사용자에게 제공하는 예상 텍스트 응답입니다. 평가에서는 에이전트의 대답이 이 기대치와 의미론적으로 일치하는지 확인합니다.
  • 도구 호출: 에이전트가 특정 도구 및 응답을 호출할 것이라는 기대입니다. 도구 호출에 예상되는 입력 인수를 지정할 수도 있습니다.
  • 상담사 핸드오프: 에이전트가 대화를 상담사 또는 다른 봇으로 전송할 것이라는 기대입니다.

기댓값을 만들려면 다음 안내를 따르세요.

  1. 특정 골든 테스트 사례를 클릭하여 세부정보를 엽니다.
  2. 세부정보 섹션에서 골든 보기를 클릭합니다.
  3. 인터페이스 안내에 따라 기대치를 추가하거나 수정합니다.

평가 설정

테스트 사례 목록의 제목 행에서 평가 설정을 구성할 수 있습니다.

  • 골든:
    • 골든 통과/실패 기준: 시뮬레이션된 대화의 통과 또는 실패 여부에 대한 로직을 설정합니다.
    • 대화 수준: 이 규칙은 각 개별 대화를 판단합니다. 이러한 기준 중 하나라도 충족되지 않으면 특정 측정항목이 실패로 빨간색으로 표시됩니다.
      • 시맨틱 유사성: 시맨틱 유사성의 기준 값입니다.
      • 도구 정확성: 도구 정확성의 기준 값입니다.
      • 할루시네이션: 사용 중지하면 할루시네이션이 통과/실패에서 제외됩니다.
    • 기대치 수준: 이 규칙은 한 차례 내에서 기대치를 판단합니다. 이러한 기준 중 하나라도 충족되지 않으면 특정 측정항목이 실패로 빨간색으로 표시됩니다.
      • 도구 정확성: 도구 정확성의 기준 값입니다.
    • 골든 실행 방법: 단순 또는 안정적인 재생 검증 중에서 선택합니다.
    • 도구 모의: 실제 프로덕션 API 호출 대신 모의 데이터를 사용합니다.
  • Scenarios:
    • 시나리오 통과/실패 기준: 시뮬레이션된 대화의 통과 또는 실패 여부에 대한 로직을 설정합니다.
    • 대화 시작자: 대화를 시작하는 사람(사용자 또는 모델)을 설정합니다.
    • 도구 가짜: 실제 프로덕션 API 호출 대신 모의 데이터를 사용합니다.
  • 오디오 평가
    • 오디오 평가 녹음 파일

평가 실행

평가를 실행하려면 테스트 사례 행에서 실행 버튼을 클릭하거나 여러 테스트 사례를 선택하여 실행하면 됩니다.

여러 버전을 저장한 경우 사용할 에이전트 버전을 선택하거나 초안 에이전트를 실행을 위한 새 버전으로 자동 저장할 수 있습니다.

평가 실행 후 측정항목이 업데이트되고 결과가 표시됩니다.

특정 실행 평가를 클릭하면 실행에 대한 자세한 결과를 확인할 수 있습니다. 표준 측정항목 외에도 다음이 표시됩니다.

  • 실패한 대화
  • 실제 및 예상 에이전트 응답을 모두 포함하는 모든 대화 세부정보의 페이지로 나눈 목록입니다.

기준 테스트 사례의 경우 테스트가 일관된 환경에서 실행되었음을 명확히 하는 '안정적인 재생'이라는 용어가 표시될 수 있습니다 (즉, 컨텍스트/입력 변경 없음).

시뮬레이션 테스트 사례의 경우 결과에는 예상 대답과 비교한 대화 차례별 비교 대신 각 목표의 결과가 표시됩니다. 자세한 내용은 시뮬레이션 결과를 참조하세요.

AI를 사용하여 테스트 사례 개선 (프리뷰)

원하는 경우 AI를 사용하여 실행 문제를 해결하고 에이전트 품질을 개선하는 방법을 제안할 수 있습니다. AI 추천은 실행 횟수가 3회 이상일 때 최적입니다. AI를 사용 설정하려면 평가할 테스트 사례를 선택하고 선택한 항목 실행을 클릭합니다. 표시되는 창에서 AI로 문제 찾기 옆의 체크박스를 선택합니다.

실행이 완료되면 결과 페이지에 AI 기반 추천이 표시됩니다. Gemini는 상담사 실적의 다양한 측면을 요약하고 개선할 수 있는 영역을 강조하는 다운로드 가능한 loss_report를 자동으로 생성합니다.

모든 사용자가 AI 추천 수정사항을 볼 수 있지만 실행을 시작한 사용자만 결과에 따라 조치를 취할 수 있습니다.

Gemini에게 물어보기를 클릭하여 도우미 에이전트와 상호작용합니다. 먼저 모델 또는 에이전트의 상위 수준 문제를 설명하는 손실 보고서가 표시됩니다. 도우미 에이전트에게 보고서를 설명해 달라고 요청하면 보고서를 요약하고 수정사항을 제안할 수 있습니다. 수정사항이 적용된 후 도우미 에이전트에게 평가를 다시 실행하도록 요청할 수 있습니다.

가져오기 및 내보내기

평가 테스트 사례, 실행, 결과를 YAML 또는 JSON 형식으로 가져오고 내보낼 수 있습니다. 가져올 때 수신 에이전트에 내보낸 데이터에 정의된 모든 리소스(도구, 변수, 하위 에이전트)가 포함되어 있는지 확인하세요.

테스트 사례를 내보내려면 다음 안내를 따르세요.

  1. 테스트 사례를 하나 이상 선택합니다.
  2. 테스트 사례 내보내기를 클릭합니다.
  3. 형식을 선택합니다.
  4. ZIP 파일이 다운로드됩니다.

테스트 사례를 가져오려면 다음 안내를 따르세요.

  1. + 테스트 사례 추가를 클릭합니다.
  2. Golden을 선택합니다.
  3. 다음을 클릭합니다.
  4. ZIP 파일을 업로드합니다.
  5. 가져오기와 충돌이 있는 경우 처리 방법에 대한 안내가 표시됩니다.
  6. 만들기를 클릭합니다.

평가 실행 및 결과를 내보내려면 다음 단계를 따르세요.

  1. 평가 실행을 하나 이상 선택합니다.
  2. 실행 내보내기를 클릭합니다.
  3. 형식을 선택합니다.
  4. ZIP 파일이 다운로드됩니다.

측정항목

각 테스트 사례 결과에는 선택한 테스트 사례에 대한 에이전트의 성능을 측정하는 측정항목 집합이 포함됩니다. 측정항목은 콘솔에 표시된 대로 차례 수준 또는 기대치 (대화) 수준에서 계산됩니다.

모든 경우에 평가 탭의 설정 메뉴에서 실행 통과에 필요한 값을 맞춤설정할 수 있습니다.

도구 정확성

골든, 시나리오, 시뮬레이션 테스트 사례에 대해 계산됩니다. 이 측정항목은 예상 도구 호출과 예상 파라미터 값이 주어졌을 때 일치하는 예상 파라미터의 비율을 반영합니다. 누락된 도구 호출은 0으로, 입력 매개변수가 없는 도구 호출은 있는 경우 1로 점수가 매겨집니다. 골든 평가 중에 예기치 않은 도구 호출이 이루어지면 결과는 실패로 간주되지만 도구 정확성 값에는 영향을 미치지 않습니다.

사용자 목표 만족도

시나리오 및 시뮬레이션 테스트 사례에 대해 계산됩니다. 사용자 목표 만족도는 사용자 시뮬레이션 평가를 위해 설계된 바이너리 측정항목입니다. 시뮬레이션된 사용자가 목표를 달성했다고 생각하는지 여부를 측정합니다 (0=아니요, 1=예). 입력은 시뮬레이션된 사용자 구성 및 대화 스크립트로 정의된 user_goal입니다. 제공된 user_goal가 명시적 또는 암시적 목표를 지정하지 않으면 출력 점수는 -1입니다.

시뮬레이션에는 전체 사용자 목표를 위한 별도의 필드가 없으므로 이 측정항목은 테스트 사례 이름을 기준으로 판단됩니다. 사용자가 전반적으로 달성하려는 목표를 설명하는 이름을 시뮬레이션에 지정합니다.

이것이 시뮬레이션의 유일한 대화 수준 신호는 아닙니다. 시뮬레이션은 전체 스크립트를 기준으로 확인되고 결과의 기대치 섹션에 보고되는 기대치를 전달할 수도 있습니다. 이는 시나리오에서 사용하는 것과 동일한 기대치입니다. 시나리오 기대치를 참고하세요. 단계별 결과는 목표 달성으로 보고됩니다.

목표 달성

시뮬레이션에 대해서만 보고됩니다. 대화에 대한 단일 점수 대신 시뮬레이션의 각 단계가 완료 또는 미완료로 개별적으로 보고되며, 결과에 대한 근거가 함께 제공됩니다. 콘솔은 이를 목표 섹션의 제목에 총 단계 중 완료된 단계 수로 요약합니다(예: Goals (2/3)). 이 개수에는 정적 발화 및 이벤트 단계를 포함하여 시뮬레이션의 모든 단계가 포함됩니다.

단계는 순서대로 시도되므로 완료되지 않은 첫 번째 단계가 실패의 원인이며 그 이후의 단계는 시도되지 않습니다.

할루시네이션

기준 및 시나리오 테스트 사례에 사용할 수 있습니다. 할루시네이션 점수는 생성된 각 대화 차례에 대해 계산됩니다. 이 측정항목은 에이전트가 에이전트의 컨텍스트로 정당화되지 않는 주장을 했는지 여부를 반영합니다 (0=아니요, 1=예). 컨텍스트는 대화의 이전 차례, 세션 변수, 도구 호출, 에이전트 안내로 구성됩니다. 이 측정항목은 도구 호출이 포함된 차례에 대해서만 계산됩니다. 도구 호출 내의 할루시네이션은 감지하지 않습니다. 컨텍스트로 제공된 도구 호출은 올바른 것으로 간주됩니다. 거짓양성을 최소화하기 위해 응답에 사실 주장이 포함되어 있지 않거나 이미 확립된 일반적인 지식만 포함된 경우 측정항목에서 해당 사항 없음 점수를 반환할 수 있습니다.

평가 설정에서 할루시네이션을 사용 설정하거나 사용 중지할 수 있습니다.

시맨틱 일치

기준 테스트 사례에 대해서만 계산되며 시나리오 또는 시뮬레이션 테스트 사례에 대해서는 계산되지 않습니다. 이 측정항목은 관찰된 에이전트 발화가 예상 에이전트 발화와 일치하는 정도를 측정합니다. 시맨틱 일치는 대화 차례 수준에서 계산됩니다. 반환되는 값의 범위는 0 (완전히 일관되지 않거나 모순됨)에서 4 (완전히 일관됨)까지입니다.

시나리오 기대치

시나리오 및 시뮬레이션 테스트 사례에 대해 계산됩니다. 이 측정항목은 시뮬레이션된 사용자가 예상한 에이전트의 동작이 만족스러운지 여부를 측정합니다 (0=아니요, 1=예). 두 가지 유형의 시뮬레이션된 사용자 기대치가 지원됩니다.

  • 도구 호출 기대치: 도구 호출 정확성과 유사하게 계산되지만 다음과 같은 예외가 있습니다.
    • 결과는 0 (아니요) 또는 1 (예)입니다.
    • 예상치 못한 도구 호출은 페널티를 받지 않습니다. 기대치는 대화가 시뮬레이션된 사용자의 기대치를 충족하는 데 필수적인 도구 호출 집합을 지정하기 위한 것입니다.
    • 도구 호출 입력 기대치가 충족되면 호출이 가로채지고 런타임 시 모의 반환 값으로 대체됩니다.
  • 에이전트 응답 기대치: 대화의 에이전트 응답에 예상 문자열이 포함되어 있는지 확인합니다.

작업 완료

시나리오 및 시뮬레이션 테스트 사례에 대해 계산됩니다. 작업 완료는 대화 품질의 척도입니다. 사용자의 목표가 달성되었는지 여부와 상담사의 행동이 올바른지 여부를 함께 측정합니다. 다음과 같이 정의됩니다.

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

시뮬레이션의 경우 네 번째 조건이 추가됩니다. 시뮬레이션의 모든 단계도 완료해야 합니다. 작업 완료는 콘솔에서 테스트 사례 결과의 전체 통과 또는 실패 상태로 보고하는 것입니다.

캐릭터

페르소나는 시나리오 및 시뮬레이션 테스트 사례를 사용하여 에이전트 테스트에 맞춤설정하고 사용할 수 있는 시뮬레이션된 사용자 페르소나입니다. 이 기능은 에이전트가 런타임에 마주칠 가능성이 있는 인간 사용자 유형과 적절하게 상호작용하도록 하는 데 유용합니다.

페르소나를 선택하지 않으면 각 시나리오 결과에 대해 무작위 페르소나가 선택됩니다.

이 기능은 텍스트 및 오디오 입력 모두에서 사용할 수 있습니다.

페르소나 만들기

  1. 페르소나를 만들려면 평가 탭으로 이동하여 페르소나 관리 (설정 아이콘 옆)를 클릭합니다.
  2. + 캐릭터 추가를 클릭합니다.
  3. 팝업 메뉴에서 이름, 사용자 성격, 추가 사용자 컨텍스트 (예: 연령, 위치, 전화하는 이유 등)를 입력합니다.
  4. + 추가를 클릭합니다.

페르소나를 사용하여 평가를 실행하려면 다음 안내를 따르세요.

  1. 기본 평가 페이지로 다시 이동하여 시나리오 또는 시뮬레이션 테스트 사례를 하나 이상 선택합니다. 선택한 항목 실행을 클릭합니다.
  2. 표시되는 창의 페르소나 드롭다운 메뉴에서 방금 만든 페르소나를 선택하고 실행을 클릭합니다.

평가 및 힐클라이밍 권장사항

모듈식 구성요소를 사용하여 새 에이전트를 빌드할 때는 보유한 각 에이전트 변형에 대한 전용 테스트 사례를 만듭니다. 예를 들면 다음과 같습니다.

  • 음성 및 채팅
  • SMS 및 채팅 SDK
  • 브랜드 A, B, C 등

여러 버전 간 요청 사항 유출을 확인하기 위한 추가 케이스를 만듭니다. 예를 들어 채팅 관련 안내는 음성 모드로 실행되는 케이스에 표시되지 않아야 하며 그 반대의 경우도 마찬가지입니다.

케이스가 올바른 상담사를 대상으로 실행되는지 확인합니다.

  • 형식 (채팅과 음성) 또는 채널의 경우 올바른 배포에 대해 케이스를 실행하면 자동으로 일치합니다.
  • 각 배포는 사용된 형식, 모델, 채널을 캡슐화합니다.
  • 빌더 정의 변수 조건문의 경우 케이스를 실행할 때 변수 값을 삽입합니다. 예를 들면 brand_name == "Cymbal Retail" 또는 brand_name == "Acme Corp"입니다.

모든 테스트 사례가 목표 측정항목 또는 기타 품질 목표를 충족할 때까지 CX Agent Studio 에이전트를 반복적으로 개선하도록 선호하는 코딩 에이전트에게 요청합니다.

  • 코딩 에이전트에게 동일한 에이전트 안내에 영향을 미치는 여러 테스트 사례의 추천 변경사항을 조정하도록 요청합니다. 까다로운 충돌은 사람이 검토할 수 있도록 플래그를 지정하도록 지시하여 필요한 경우 미묘한 차이를 반영한 입력을 제공할 수 있습니다.
  • 코딩 에이전트에게 변경사항에 대한 모든 에이전트 변형의 나란히 비교를 생성해 달라고 요청하세요. 이렇게 하면 선택한 수정사항을 이해하고 검증하는 데 도움이 됩니다.
  • 필요에 따라 반복하기 이러한 반복의 구체적인 특성은 CX Agent Studio 에이전트 설계, 코딩 에이전트 설계, 사용된 모델, 대화 프레이밍에 따라 달라집니다.
  • 실제 스크립트와 결과 샘플을 수동으로 검증하여 코딩 에이전트 결과가 정확한지 확인합니다.
  • 코딩 에이전트에게 힐클라이밍 연습에서 누락된 시나리오를 찾고 해당하는 경우 새 케이스를 제안하도록 지시합니다. 필요에 따라 반복을 계속합니다.