평가는 에이전트의 성능을 테스트하고 특정 상황에서 예상대로 작동하는지 확인하는 데 중요한 도구입니다. 평가를 사용하면 테스트를 자동화하고, 변경 후 회귀를 포착하고, 에이전트 대답의 품질을 측정하여 에이전트 품질을 개선할 수 있습니다.
시작하려면 에이전트 빌더 상단에 있는 평가 버튼을 클릭합니다.
평가 개념
테스트 사례: 각 테스트 사례는 에이전트의 성능을 평가하기 위해 설계된 구체적이고 독립적인 테스트 시나리오 또는 프롬프트입니다. 다음 두 가지 유형의 테스트 사례를 만들 수 있습니다.
- 시나리오: 테스트를 부트스트랩하고 포괄적인 테스트 적용 범위를 보장하는 AI 기반 기능 사용자의 목표를 설명하면 시스템이 자동으로 사용자를 시뮬레이션하고 대화를 생성하여 에이전트가 시나리오를 강력하게 처리할 수 있는지 테스트합니다. 시나리오는 실험을 통해 최적의 대화를 정의하는 데 유용합니다.
- 골든: 회귀 테스트에 적합합니다. '이상적인' 특정 대화 경로를 제공하면 평가에서 도구 호출을 포함하여 에이전트의 동작이 이 이상적인 경로와 일치하는지 확인합니다.
실행: 평가 실행은 테스트 중인 에이전트의 성능에 대해 골든 테스트 사례와 시나리오 테스트 사례의 집합을 완전히 단일 실행한 것을 나타냅니다. 각 실행에는 하나 이상의 테스트 사례가 포함될 수 있습니다.
결과: 테스트 사례 결과는 단일 실행에서 특정 테스트 사례의 단일 실행을 나타냅니다. 단일 평가 실행 중에 테스트 사례가 여러 번 실행되는 경우 (예: 일관성, 불안정성 등을 확인하기 위해) 각 개별 실행은 개별 결과입니다. 결과는 각 테스트 사례 행의 열에 직사각형 아이콘으로 표시되며, 실행이 실패하면 빨간색 X가 표시되고 통과하면 녹색 체크표시가 표시됩니다.
태그: 테스트 사례를 태그로 그룹화하여 더 쉽게 관리할 수 있습니다.
테스트 사례 만들기
에이전트의 테스트 사례를 만들고 액세스하려면 에이전트 빌더 상단에 있는 평가 버튼을 클릭합니다. 골든 또는 시나리오 기반 테스트 케이스를 만들고 관리할 수 있습니다.
시나리오
시나리오 기반 테스트 사례는 AI를 사용하여 정의한 상위 수준 사용자 목표에 따라 다양한 대화를 자동으로 생성합니다. 이러한 테스트 사례를 사용하면 특정 골든 대화를 제공하는 대신 생성된 시나리오를 선택하거나 테스트해야 하는 특정 시나리오를 설명합니다. 이는 가능한 모든 대화 경로를 수동으로 작성하지 않고도 특이 사례를 살펴보고 에이전트의 견고성을 테스트하는 데 도움이 되는 강력한 도구입니다.
이러한 시나리오가 잘 작동하면 이를 골든 대화로 저장할 수 있습니다.
시나리오를 만들려면 다음 단계를 따르세요.
- 시나리오 만들기를 클릭합니다. 여러 시나리오가 추천됩니다.
- 선택사항을 기반으로 시나리오를 생성하거나 처음부터 새 시나리오를 만들 수 있습니다.
시나리오 목록을 볼 때 시나리오를 클릭하면 각 시나리오의 세부정보와 대화 목록을 확인할 수 있습니다.
시나리오를 골든 대화로 저장하려면 다음 단계를 따르세요.
- 시나리오를 선택합니다.
- 오른쪽 상단에 있는 메뉴 버튼을 클릭합니다.
- 골든 대화로 저장을 선택합니다.
시나리오 사용자 목표
각 시나리오에는 사용자가 에이전트 애플리케이션을 사용할 때의 목표를 설명하는 사용자 목표가 있습니다. 예를 들면 다음과 같습니다.
Securely book a specific room at a chosen hotel and receive a confirmation.
사용자 목표에 따라 CX Agent Studio는 평가에 사용되는 대화를 자동으로 생성합니다.
시나리오 변수
시나리오를 정의할 때 시나리오에 사용할 변수를 제공할 수 있습니다.
시나리오 기대치
평가를 실행하려면 테스트 사례에 대한 기대치를 정의합니다.
기대는 다음 두 가지 유형 중 하나일 수 있습니다.
- 메시지: 예상되는 상담사 응답입니다.
- 도구 호출: 예상되는 입력과 출력이 있는 도구 호출입니다.
기대는 다음과 같은 조건을 가질 수 있습니다.
- 필수
- 없어야 함
- 도구 호출 후
- 변수 값
기대를 만들려면 다음 단계를 따르세요.
- 특정 시나리오를 클릭하여 세부정보를 엽니다.
- 기대치 섹션에서 모두 보기를 클릭합니다.
- 인터페이스 안내에 따라 시나리오에 대한 기대치를 만듭니다.
골드
이러한 테스트 사례는 회귀 테스트를 위한 이상적인 대화 경로를 정의하는 데 사용되므로 에이전트를 업데이트할 때 핵심적인 중요한 대화 경로가 중단되지 않습니다. 골든 대화를 만드는 방법에는 여러 가지가 있습니다.
시뮬레이터에서 대화를 가져오려면 다음 단계를 따르세요.
- 시뮬레이터를 사용하여 대화를 시작합니다.
- 시뮬레이터 오른쪽 상단에 있는 세로 점 3개를 클릭하여 시뮬레이터 메뉴를 표시합니다.
- 골든으로 저장을 클릭합니다.
- 골든 테스트 사례의 이름을 입력하고 저장을 클릭합니다. 이제 평가 탭에 표시됩니다.
대화 기록에서 테스트 사례를 만들려면 다음 단계를 따르세요.
- 평가 탭으로 이동합니다.
- + 테스트 사례 추가를 클릭합니다.
- 골든을 선택합니다.
- 다음을 클릭합니다.
- 대화 기록에서 선택을 클릭합니다.
- 표시되는 창에서 골든 테스트 케이스로 저장할 대화를 선택합니다. 대화 ID로 검색할 수도 있습니다.
- 수정 기능을 사용 설정한 경우 누락된 정보를 진행하기 전에 상담사 응답과 변수에 수정이 있는지 확인하세요.
- 추가를 클릭합니다.
테스트 사례를 새로 만들려면 다음 단계를 따르세요.
- 평가 탭으로 이동합니다.
- + 테스트 사례 추가를 클릭합니다.
- 골든을 선택합니다.
- 다음을 클릭합니다.
- 처음부터 만들기를 클릭합니다.
- 표시되는 창에서 테스트 사례의 표시 이름을 추가합니다.
- 필요에 따라 사용자 입력 및 에이전트 기대치의 텍스트를 추가합니다. + 사용자 입력 추가 및 + 에이전트 기대치 추가를 클릭하여 대답을 추가합니다. + 턴 추가를 클릭하여 테스트 사례에 새 대화 턴을 추가합니다.
- 만들기를 클릭하여 골든 테스트 사례를 테스트 사례 목록에 추가합니다.
시나리오 테스트 사례에서 시뮬레이션된 대화로 테스트 사례를 만들려면 다음 단계를 따르세요.
- 평가 실행 결과 페이지로 이동합니다.
- 선택한 대화 오른쪽에 있는 메뉴 아이콘 (세로 점 3개)을 클릭하고 골든 대화로 저장을 클릭합니다.
파일에서 테스트 사례를 일괄 업로드하려면 다음 단계를 따르세요.
파일 형식 및 CSV 템플릿에 관한 자세한 내용은 골든 테스트 케이스 CSV 형식 페이지를 참고하세요.
골든 기대치
평가를 수행하려면 골든 테스트 사례에 대한 기대치를 정의해야 합니다. 기대는 대화의 특정 시점에서 에이전트에게 기대하는 구체적인 결과입니다. 평가 중에 실제 에이전트 동작이 이러한 기대치와 비교됩니다.
기대는 다음 유형 중 하나일 수 있습니다.
- 메시지: 에이전트가 최종 사용자에게 제공할 것으로 예상되는 텍스트 응답입니다. 평가에서는 에이전트의 응답이 이 기대치와 의미적으로 일치하는지 확인합니다.
- 도구 호출: 에이전트가 특정 도구를 호출하고 응답할 것이라는 기대입니다. 도구 호출에 예상되는 입력 인수를 지정할 수도 있습니다.
- 상담사 핸드오프: 상담사가 대화를 인간 상담사 또는 다른 봇으로 트랜스퍼할 것으로 예상됩니다.
기대를 만들려면 다음 단계를 따르세요.
- 특정 골든 테스트 사례를 클릭하여 세부정보를 엽니다.
- 세부정보 섹션에서 View golden을 클릭합니다.
- 인터페이스 안내에 따라 요구 사항을 추가하거나 수정합니다.
평가 설정
테스트 사례 목록의 제목 행에서 평가 설정을 구성할 수 있습니다.
- 골든:
- 골든 통과/실패 기준: 시뮬레이션된 대화가 통과하는지 실패하는지에 관한 로직을 설정합니다.
- 턴 수준:
이러한 규칙은 각 개별 턴을 판단합니다.
이러한 기준 중 하나라도 충족되지 않으면 해당 측정항목이 실패로 간주되어 빨간색으로 표시됩니다.
- 의미론적 유사성: 의미론적 유사성의 기준값입니다.
- 도구 정확성: 도구 정확성의 기준값입니다.
- 할루시네이션: 사용 중지된 경우 할루시네이션이 통과/실패에서 제외됩니다.
- 기대치 수준:
이러한 규칙은 턴 내의 기대치를 판단합니다.
이러한 기준 중 하나라도 충족되지 않으면 해당 측정항목이 실패로 간주되어 빨간색으로 표시됩니다.
- 도구 정확성: 도구 정확성의 기준값입니다.
- 골든 실행 방법: 순진한 재생 검증 또는 안정적인 재생 검증 중에서 선택합니다.
- 도구 가짜: 실제 프로덕션 API 호출 대신 모의 데이터를 사용합니다.
- Scenarios:
- 시나리오 통과/실패 기준: 시뮬레이션된 대화가 통과하는지 실패하는지에 관한 로직을 설정합니다.
- 대화 시작자: 대화를 시작하는 사용자와 모델을 설정합니다.
- 도구 가짜: 실제 프로덕션 API 호출 대신 모의 데이터를 사용합니다.
- 오디오 평가
- 오디오 평가 녹음 파일
평가 실행
평가를 실행하려면 테스트 사례 행에서 실행 버튼을 클릭하거나 여러 테스트 사례를 선택하여 실행하면 됩니다.
여러 버전을 저장한 경우 사용할 에이전트 버전을 선택하거나 실행을 위해 초안 에이전트를 새 버전으로 자동 저장할 수 있습니다.
평가 실행이 완료되면 측정항목이 업데이트되고 결과가 표시됩니다.
특정 실행 평가를 클릭하면 실행에 대한 자세한 결과를 확인할 수 있습니다. 표준 측정항목 외에도 다음이 표시됩니다.
- 실패한 턴
- 실제 에이전트 응답과 예상 에이전트 응답을 모두 포함하는 모든 턴 세부정보의 페이지로 구분된 목록입니다.
골든 테스트 사례의 경우 테스트가 일관된 환경에서 실행되었음을 명확히 하는 '안정적인 리플레이'라는 용어가 표시될 수 있습니다 (즉, 컨텍스트/입력이 변경되지 않음).
AI를 사용하여 테스트 사례 개선 (미리보기)
원하는 경우 AI를 사용하여 실행 문제를 해결하고 에이전트 품질을 개선하는 방법을 제안할 수 있습니다. 실행 횟수가 3회 이상인 경우 AI 추천이 최적화됩니다. AI를 사용 설정하려면 평가할 테스트 사례를 선택하고 선택한 항목 실행을 클릭합니다. 팝업 창에서 AI로 문제 찾기 옆의 체크박스를 선택합니다.
실행이 완료되면 결과 페이지에 AI 기반 추천이 표시됩니다.
Gemini는 에이전트의 실적을 요약하고 개선할 수 있는 영역을 강조하는 다운로드 가능한 loss_report를 자동으로 생성합니다.
모든 사용자가 AI 추천 수정사항을 볼 수 있지만, 실행을 시작한 사용자만 결과를 기반으로 조치를 취할 수 있습니다.
Gemini에 질문하기를 클릭하여 도우미 에이전트와 상호작용합니다. 먼저 모델 또는 에이전트의 개략적인 문제를 설명하는 손실 보고서가 표시됩니다. 도우미 에이전트에게 보고서를 설명해 달라고 요청하면 보고서가 요약되고 수정사항이 제안될 수 있습니다. 수정사항이 적용된 후 도우미 에이전트에게 평가를 다시 실행해 달라고 요청할 수 있습니다.
가져오기 및 내보내기
평가 테스트 사례, 실행, 결과를 YAML 또는 JSON 형식으로 가져오고 내보낼 수 있습니다. 가져올 때는 수신 에이전트에 내보낸 데이터에 정의된 모든 리소스(도구, 변수, 하위 에이전트)가 포함되어 있는지 확인하세요.
테스트 사례를 내보내려면 다음 안내를 따르세요.
- 하나 이상의 테스트 사례를 선택합니다.
- 테스트 사례 내보내기를 클릭합니다.
- 형식을 선택합니다.
- ZIP 파일이 다운로드됩니다.
테스트 사례를 가져오려면 다음 안내를 따르세요.
- + 테스트 사례 추가를 클릭합니다.
- 골든을 선택합니다.
- 다음을 클릭합니다.
- ZIP 파일을 업로드합니다.
- 가져오기와 충돌하는 항목이 있으면 처리 방법을 안내해 드립니다.
- 만들기를 클릭합니다.
평가 실행 및 결과를 내보내려면 다음 단계를 따르세요.
- 평가 실행을 하나 이상 선택합니다.
- 실행 내보내기를 클릭합니다.
- 형식을 선택합니다.
- ZIP 파일이 다운로드됩니다.
측정항목
각 테스트 사례 결과에는 선택한 테스트 사례에 대한 에이전트의 성능을 측정하는 측정항목 세트가 포함됩니다. 측정항목은 콘솔에 표시된 대로 턴 수준 또는 기대치 (대화) 수준에서 계산됩니다.
어떤 경우든 평가 탭의 설정 메뉴에서 실행 통과에 필요한 값을 맞춤설정할 수 있습니다.
도구 정확성
골든 및 시나리오 테스트 사례에 대해 계산됩니다. 이 측정항목은 예상 도구 호출과 예상 매개변수 값이 주어졌을 때 일치한 예상 매개변수의 비율을 반영합니다. 누락된 도구 호출은 0점으로, 입력 매개변수가 없는 도구 호출은 있는 경우 1점으로 평가됩니다. 골든 평가 중에 예상치 못한 도구 호출이 이루어지면 결과는 실패로 간주되지만 도구 정확성 값에는 영향을 미치지 않습니다.
사용자 목표 만족도
시나리오에 대해 계산됩니다. 사용자 목표 만족도는 사용자 시뮬레이션 평가를 위해 설계된 이진 측정항목입니다. 시뮬레이션된 사용자가 목표를 달성했다고 생각하는지 측정합니다 (0=아니요, 1=예). 입력은 시뮬레이션된 사용자 구성에 의해 정의된 user_goal와 대화 스크립트입니다. 제공된 user_goal에 명시적 또는 암시적 목표가 지정되지 않은 경우 출력 점수는 -1입니다.
할루시네이션
골든 및 시나리오 테스트 사례에 사용할 수 있습니다. 생성된 각 턴에 대해 환각 점수가 계산됩니다. 이 측정항목은 에이전트가 에이전트의 컨텍스트로 뒷받침되지 않는 주장을 했는지 여부를 반영합니다 (0=아니요, 1=예). 컨텍스트는 대화의 이전 턴, 세션 변수, 도구 호출, 에이전트 안내로 구성됩니다. 이 측정항목은 도구 호출이 포함된 턴에 대해서만 계산됩니다. 도구 호출 내의 환각은 감지하지 않습니다. 컨텍스트로 제공된 도구 호출은 올바른 것으로 간주됩니다. 거짓양성을 최소화하기 위해 대답에 사실적 주장이 없거나 이미 확립된 일반적인 지식만 포함된 경우 측정항목이 N/A 점수를 반환할 수 있습니다.
평가 설정에서 엉뚱한 대답을 사용 설정하거나 사용 중지할 수 있습니다.
의미 문맥 검색
골든 테스트 사례에 대해 계산됩니다. 이 측정항목은 관찰된 상담사 발화가 예상되는 상담사 발화와 얼마나 일치하는지 측정합니다. 의미론적 일치는 턴 수준에서 계산됩니다. 반환된 값의 범위는 0 (완전히 불일치 또는 모순됨)에서 4 (완전히 일치)입니다.
시나리오 기대치
시나리오에 대해 계산됩니다. 이 측정항목은 시뮬레이션된 사용자가 예상한 상담사의 행동이 만족스러웠는지 여부를 나타냅니다 (0=아니요, 1=예). 두 가지 유형의 시뮬레이션된 사용자 기대치가 지원됩니다.
- 도구 호출 기대치: 다음 예외를 제외하고 도구 호출 정확성과 유사하게 계산됩니다.
- 결과는 0 (아니요) 또는 1 (예)입니다.
- 예상치 못한 도구 호출에는 불이익이 주어지지 않습니다. 기대치는 시뮬레이션된 사용자의 기대치를 충족하는 대화에 필수적인 도구 호출 집합을 지정하기 위한 것입니다.
- 도구 호출 입력 기대치가 충족되면 호출이 가로채지고 런타임에 모의 반환 값으로 대체됩니다.
- 상담사 응답 기대치: 대화의 상담사 응답에 예상 문자열이 포함되어 있는지 확인합니다.
작업 완료
시나리오에 대해 계산됩니다. 작업 완료는 대화 품질을 측정하는 지표입니다. 사용자의 목표 달성 여부와 에이전트의 행동이 올바른지 여부를 공동으로 측정합니다. 다음과 같이 정의됩니다.
User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied
캐릭터
페르소나는 시나리오 테스트 사례를 사용하여 에이전트 테스트에 사용할 수 있는 맞춤설정된 시뮬레이션 사용자 페르소나입니다. 이 기능은 에이전트가 런타임에 발생할 수 있는 다양한 유형의 인간 사용자와 적절하게 상호작용하도록 하는 데 유용합니다.
페르소나를 선택하지 않으면 각 시나리오 결과에 대해 무작위 페르소나가 선택됩니다.
이 기능은 텍스트 및 오디오 입력 모두에서 사용할 수 있습니다.
페르소나 만들기
- 페르소나를 만들려면 평가 탭으로 이동하여 페르소나 관리 (설정 아이콘 옆)를 클릭합니다.
- + 페르소나 추가를 클릭합니다.
- 팝업 메뉴에서 이름, 사용자 페르소나, 추가 사용자 컨텍스트 (예: 연령, 위치, 통화 이유 등)를 입력합니다.
- + 추가를 클릭합니다.
페르소나를 사용하여 평가를 실행하려면 다음 단계를 따르세요.
- 기본 평가 페이지로 돌아가 시나리오 테스트 케이스를 하나 이상 선택합니다. 선택한 항목 실행을 클릭합니다.
- 팝업 창의 페르소나 드롭다운 메뉴에서 방금 만든 페르소나를 선택하고 실행을 클릭합니다.