평가 일괄 업로드

이 페이지에서는 CSV 파일에 골든 평가를 업로드하는 데 필요한 형식을 설명합니다. 골든 평가에 대한 자세한 내용은 골든 평가 문서를 참고하세요.

템플릿 다운로드

  • 평가 탭으로 이동하여 + 테스트 사례 추가 -> Golden을 클릭합니다.
  • 표시되는 메뉴에서 템플릿 다운로드를 클릭합니다.
  • 템플릿을 사용하여 골든 평가가 포함된 CSV 파일을 만든 후 동일한 메뉴에서 파일 업로드를 클릭하여 파일을 업로드할 수 있습니다.

일반 구조

  • 하나의 CSV 파일에 여러 평가가 포함될 수 있습니다. 각 평가는 여러 행에 걸쳐 있을 수 있습니다.
  • 평가의 첫 번째 행은 평가 행으로, 전체 속성 (이름 및 메타데이터)을 정의합니다.
  • 각 후속 행은 대화 행이며 평가에서 단일 대화 턴을 정의합니다 (예: 최종 사용자가 말하거나, 에이전트가 대답하거나, 도구 호출이 예상됨).
  • display_name 열에 새 이름을 제공하여 새 테스트 사례를 시작할 수 있습니다. 각 새 display_name 값은 새 평가의 시작을 정의합니다.

헤더 행

CSV 파일의 첫 번째 줄은 헤더 행이어야 합니다. 이 헤더는 각 열의 데이터 변수를 정의합니다. 필수 변수를 제외한 모든 변수는 선택사항입니다(action_type에 의해 필요한 경우 제외). 선택적 변수 열은 필수 변수 뒤에 순서에 상관없이 올 수 있습니다.

  • 필수 변수: display_name, turn_index, action_type

대화 평가 정의

각 새 평가는 평가 행에서 시작됩니다. 평가 행 아래의 각 대화 행은 다음 평가 행까지 하나의 대화 차례에 해당합니다.

평가 행

헤더 행 다음의 첫 번째 행은 평가 행이어야 합니다. 각 평가 행은 새로운 평가를 정의합니다.

  • 필수: display_name 필드에 평가의 고유한 이름을 입력합니다.
  • 선택사항: 이 행에 메타데이터 변수 데이터를 추가할 수 있습니다.

대화 행

각 행은 하나의 대화 차례의 데이터에 해당합니다.

  • 필수: turn_indexaction_type 필드에 값을 입력합니다. display_name는 비워 두어야 합니다.
  • 선택사항: 메타데이터 변수 또는 display_name 이외의 헤더 열 값을 입력합니다.

변수

다음 표에서는 사용 가능한 데이터 변수를 설명합니다. 필수 변수를 제외한 모든 변수는 action_type 값에 의해 요구되지 않는 한 선택사항입니다. 모든 변수는 헤더 행에 열당 하나씩 정의해야 합니다. 선택적 변수 열은 필수 열 뒤에 순서에 상관없이 올 수 있습니다.

필수 헤더 변수

열 이름 설명
display_name 평가의 사람이 읽을 수 있는 이름입니다. 이는 새 평가의 첫 번째 행에만 입력됩니다. 각 새 display_name 값은 새로운 평가를 정의합니다.
turn_index 대화 차례의 순서를 나타내는 숫자 (1, 2, 3...)입니다. 한 턴의 모든 행은 색인 값을 공유합니다. 값은 각 평가에서 1로 시작해야 합니다. 각 후속 행의 값은 이전 행의 값과 같거나 커야 합니다.
action_type 이 행의 데이터가 나타내는 내용을 지정합니다. 각 값에는 대화 턴이 올바르게 입력되도록 채워야 하는 선택적 변수 값이 있습니다 (표시된 대로). 입력값은 다음 중 하나여야 합니다.

INPUT_TEXT: 최종 사용자 텍스트 입력입니다.
- (필수) text_content

INPUT_IMAGE: 최종 사용자 이미지 입력입니다.
- (필수) image_mime_type, image_content

INPUT_TOOL_RESPONSE: 도구 응답 입력입니다.
- (필수) tool_name.
- (선택사항) tool_response_json.

INPUT_UPDATED_VARIABLES: 입력에서 변수를 업데이트합니다.
- (필수) updated_variables_json

EXPECTATION_TEXT: 에이전트 텍스트 응답에서 예상되는 출력입니다.
- (필수) response_agent, text_content.
- (선택사항) expectation_note.

EXPECTATION_TOOL_CALL: 예상되는 도구 호출입니다.
- (필수) tool_name.
- (선택사항) tool_call_args_json, expectation_note.

EXPECTATION_TOOL_RESPONSE: 예상 도구 응답입니다.
- (필수) tool_name.
- (선택사항) expectation_note.

EXPECTATION_AGENT_TRANSFER: 예상되는 상담사 트랜스퍼입니다.
- (필수) agent_transfer_target.
- (선택사항) expectation_note.

메타데이터 변수

열 이름 설명
evaluation_id 평가의 고유 ID입니다. 각 evaluation_id 값은 Customer Experience Agent Studio 상담사마다 고유해야 합니다. 이 열에 값을 수동으로 입력하지 않으면 고유 ID가 자동으로 생성됩니다.
description 평가의 목적에 대한 자유 텍스트 메모 또는 설명입니다.
tags 평가를 정리하기 위한 세미콜론으로 구분된 태그입니다 (예: 'tag1;tag2').
evaluation_groups 평가가 속한 평가 그룹의 세미콜론으로 구분된 이름입니다 (예: '그룹 이름 1;그룹 이름 2'). 이 열에 입력되었지만 헤더에 정의되지 않은 evaluation_groups 값은 무시됩니다.

대화 차례 변수

열 이름 설명
response_agent 대답을 제공한 상담사의 이름입니다. EXPECTATION_TEXT에만 예상됩니다.
text_content INPUT_TEXT 또는 EXPECTATION_TEXT의 텍스트입니다.
image_mime_type 소스 이미지의 IANA 표준 MIME 유형입니다. 지원되는 값: image/png, image/jpeg, image/webp, image/heic, image/heif
image_content INPUT_IMAGE의 바이트 문자열입니다.
tool_name 호출되거나 응답하는 도구의 display_name입니다. INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALL 또는 EXPECTATION_TOOL_RESPONSE에 예상됩니다.
tool_call_args_json EXPECTATION_TOOL_CALL의 JSON 인수입니다.
tool_response_json INPUT_TOOL_RESPONSE의 JSON 콘텐츠입니다.
updated_variables_json INPUT_UPDATED_VARIABLES의 JSON 콘텐츠입니다.
agent_transfer_target EXPECTATION_AGENT_TRANSFER의 타겟 에이전트의 표시 이름입니다.
expectation_note 기대에 대한 참고사항 또는 설명입니다.