이 가이드에서는 Dialogflow CX 콘솔의 기본 제공 평가 기능을 사용하여 에이전트의 기능을 확인하고 업데이트 후 회귀를 방지하는 방법을 설명합니다. Dialogflow CX는 에이전트 성능을 평가하는 데 도움이 되는 즉시 사용 가능한 측정항목을 제공합니다.
지연 시간을 제외한 모든 측정항목에는 Dialogflow CX가 에이전트의 성능과 비교하여 결과를 측정하는 '골든 응답'인 테스트 사례가 하나 이상 필요합니다. 각 테스트 사례는 환경 컨텍스트에서 측정할 수 있으므로 에이전트의 성능 평가에 사용할 다양한 버전의 플레이북, 흐름, 도구를 지정할 수 있습니다.
(선택사항) 환경 만들기
환경 만들기는 선택사항입니다. 만들지 않으면 기본값은 초안입니다.
- 환경으로 이동하여 만들기를 클릭합니다.
- 에이전트 성능을 측정하는 데 사용할 플레이북, 흐름, 도구의 버전을 선택합니다.
- 저장을 클릭하여 환경을 저장합니다.
테스트 사례 만들기
대화 기록의 기존 대화에서 테스트 사례를 만들거나, 새 대화를 만들어 테스트 사례로 저장하거나, 테스트 사례를 Dialogflow CX로 가져올 수 있습니다.
콘솔에서 테스트 사례 만들기
- 탐색 메뉴에서 대화 기록으로 이동합니다.
- 새 대화를 만들려면 에이전트의 전화번호를 호출하는 등의 방법으로 에이전트를 활성화합니다. 테스트 사례로 사용할 대화를 선택합니다.
- 대화를 확인하고 에이전트 응답, 호출된 도구, 각 응답의 음성을 확인합니다. 만족스러우면 테스트 사례 만들기를 선택합니다.
- 테스트 사례의 표시 이름을 입력하고 대화 수준에서 발생해야 하는 이벤트에 대한 기대치를 지정합니다. 여기에는 대화 내에서 호출될 것으로 예상되는 도구, 플레이북, 흐름이 포함될 수 있습니다. +기대치 추가를 선택하여 기대치를 더 추가합니다. 기대치가 위에서 아래로 나열된 순서대로 평가되도록 하려면 순차적 검증을 전환합니다.
- 저장을 클릭하여 테스트 사례를 저장합니다.
테스트 사례 업로드
- 테스트 사례는 다음 CSV 형식이어야 합니다.
- 테스트 사례를 시스템에 업로드하려면 테스트 사례 메뉴 상단에서 가져오기를 클릭합니다.
- 표시되는 메뉴에서 로컬에 저장된 파일을 선택하거나 Cloud Storage 버킷의 경로를 입력합니다.
- 이제 테스트 사례가 테스트 사례 메뉴에 표시됩니다.
테스트 사례 실행
- 탐색 메뉴에서 테스트 사례로 이동하여 에이전트와 비교할 테스트 사례를 선택합니다. 단일 테스트 사례 또는 여러 테스트 사례를 선택할 수 있습니다.
- 선택한 테스트 사례 실행을 클릭합니다.
테스트 결과
- 결과 액세스: 완료 후 테스트 사례 뷰에 각 테스트 사례의 최신 테스트 실행 결과가 표시됩니다.
- 시맨틱 유사성: 에이전트의 대화가 '골든 대답' (테스트 사례의 대답)과 얼마나 유사한지 측정합니다. 이 측정항목을 받으려면 골든 응답이 필요합니다. 값은 0(일관되지 않음), 0.5 (다소 일관됨) 또는 1 (매우 일관됨)일 수 있습니다.
- 도구 호출 정확성: 대화 중에 호출될 것으로 예상되는 도구가 대화에 얼마나 충실하게 포함되는지를 반영합니다. 값의 범위는 0에서 1 사이입니다. 대화에서 도구가 사용되지 않으면 정확성이
--(해당 사항 없음)으로 표시됩니다. - 지연 시간: 에이전트가 사용자 요청을 처리하고 사용자에게 응답하는 데 걸리는 총 시간으로, 사용자 발화 종료 시점과 에이전트 응답 시작 시점 간의 차이(초)로 측정됩니다.
- 골든 테스트 사례 업데이트: 최신 실행에 에이전트 업데이트로 인한 예상 변경사항이 반영된 경우 골든으로 저장을 선택하여 원래 테스트 사례를 덮어씁니다.
- 결과 필터링 및 정렬: 생성된 측정항목 또는 특정 환경을 기준으로 평가 결과를 필터링하고 정렬하여 업데이트 후 성능 변화를 추적할 수 있습니다.
일괄 가져오기 테스트 사례 형식 지정
이 섹션에서는 에이전트의 일괄 테스트 사례를 가져오기 위해 CSV 파일의 형식을 지정하는 방법을 설명합니다. 시스템은 이 파일을 읽어 구조화된 테스트 사례 집합을 만들며, 각 테스트 사례에는 하나 이상의 대화 차례가 포함됩니다.
단일 테스트 사례는 CSV 파일에서 여러 행에 걸쳐 있을 수 있습니다. 테스트 사례의 첫 번째 행은 이름 및 언어와 같은 전체 속성을 정의합니다. 해당 테스트 사례의 각 후속 행은 사용자가 말하고 에이전트가 대답하는 대화에서 단일 양방향 차례를 정의합니다.
헤더
CSV 파일의 첫 번째 줄은 헤더 행이어야 합니다. 이 헤더는 각 열의 데이터를 정의합니다.
필수 헤더
두 개의 필수 헤더는 표시된 순서대로 표시되어야 합니다. 둘 다 새 테스트 사례의 첫 번째 행에 필요합니다. 새 DisplayName 및 LanguageCode 값을 제공하여 새 테스트 사례를 시작할 수 있습니다.
DisplayName: 테스트 사례의 이름입니다. 새 테스트 사례의 첫 번째 행에만 입력됩니다.LanguageCode: 테스트의 언어 코드입니다 (예:en,en-US,es).
헤더(선택사항)
다음 선택적 헤더를 포함하여 테스트 사례에 대한 세부정보를 제공할 수 있습니다. 처음 두 개의 필수 열 뒤에 어떤 순서로든 배치할 수 있습니다.
테스트 사례 메타데이터:
- 태그: 테스트를 구성하기 위한 공백으로 구분된 태그입니다 (예: 'payments onboarding').
- 참고: 자유 텍스트 메모 또는 테스트 사례 목적에 대한 설명입니다.
TestCaseConfigV2.StartResource: 테스트를 시작할 흐름 또는 플레이북을 지정합니다.
사용자 입력:
UserInput.Input.Text: 사용자가 특정 차례에 입력하는 텍스트입니다.UserInput.InjectedParameters: 차례가 시작될 때 대화에 삽입할 매개변수이며 JSON 문자열로 형식이 지정됩니다.
에이전트 출력:
AgentOutput.QueryResult.ResponseMessages.Text: 에이전트가 응답한 정확한 텍스트입니다.AgentOutput.QueryResult.Parameters: 에이전트가 추출한 매개변수이며 JSON 문자열로 형식이 지정됩니다.
순서가 지정된 기대치:
OrderedExpectations.ExpectedFlow: 차례 후에 활성화될 것으로 예상되는 흐름입니다.OrderedExpectations.ExpectedIntent: 차례에 일치할 것으로 예상되는 인텐트입니다.OrderedExpectations.ExpectedAgentReply: 에이전트가 답장할 것으로 예상되는 텍스트로, 전체 답장의 하위 문자열일 수 있습니다.OrderedExpectations.ExpectedOutputParameter: 차례가 끝날 때 설정될 것으로 예상되는 매개변수이며 JSON 문자열로 형식이 지정됩니다.
오디오 메타데이터:
AudioTurnMetadata: 오디오 기반 테스트의 메타데이터로, JSON 문자열로 형식이 지정됩니다.
테스트 사례 빌드
테스트 사례는 데이터 행별로 구성됩니다.
- 새 테스트 사례를 시작하려면 메타데이터 행을 작성합니다.
- 규칙: 이 행의
DisplayName열에 값이 있어야 합니다. - 작업:
DisplayName및LanguageCode의 값을 입력합니다. 필요에 따라 이 행에 태그, 메모 또는TestCaseConfigV2.StartResource를 포함합니다. 이 행에서 대화 차례 열 (예:UserInput.Input.Text)을 비워 둡니다. 태그를 사용하는 경우 각 태그를 공백으로 구분합니다 (예:tag1 tag2 tag3).TestCaseConfigV2.StartResource를 사용하는 경우 리소스 이름 앞에start_flow:또는start_playbook:를 추가합니다(예:start_flow:projects/p/locations/l/agents/a/flows/f).
- 규칙: 이 행의
- 바로 아래에 새 행을 추가하여 방금 시작한 테스트 사례에 대화 차례를 추가합니다.
- 규칙:
DisplayName열은 비어 있어야 합니다. 이렇게 하면 파서에 이전 테스트 사례에 속하는 차례임을 알립니다. - 작업: 이 차례의 사용자 작업과 예상 에이전트 응답을 설명하는 열을 채웁니다(예:
UserInput.Input.Text및OrderedExpectations.ExpectedAgentReply). JSON이 필요한 열의 경우 유효한 JSON 객체를 문자열로 제공해야 합니다 (예:{"param_name": "param_value", "number_param": 123}).
- 규칙: