요약 자동 평가 (자동 평가)는 정확성, 완전성, 준수라는 세 가지 측정항목을 기반으로 요약의 품질을 평가합니다. 이 기능을 사용하면 요약 생성기의 품질을 평가할 수 있으며, 이는 맞춤 섹션 정의를 조정하거나 요약 모델에 영향을 미치는 소프트웨어를 업그레이드할 때 중요합니다. 평가 측정항목에 대한 자세한 내용은 요약 자동 평가 기본사항을 참고하세요.
시작하기 전에
- 평가를 위한 후보 요약을 생성하는 요약 생성기를 만듭니다.
- 생성기의 섹션 정의는 평가의 정답으로 사용됩니다.
- 최종 점수가 생성기 품질을 반영하려면 각 섹션의 안내가 생성기의 안내와 일치해야 합니다.
요약 자동 평가 요청 만들기
요약 생성기를 만들려면 다음 단계를 따르세요.
Agent Assist 콘솔로 이동하여 로그인합니다.
프로젝트를 선택합니다.
평가 > 새 평가를 클릭합니다.
고유한 표시 이름을 입력하고 후보자 요약과 일치하는 생성기를 선택합니다.
다음을 클릭합니다.
다음 두 가지 옵션 중 하나를 사용하여 평가 데이터 세트를 선택합니다.
- 기간의 대화 무작위 샘플: Agent Assist 요약 기능을 구매한 경우 기간과 최대 대화 수를 지정합니다. 평가에서는 기록에서 최대 대화 수와 요약을 무작위로 선택합니다.
- 특정 데이터 세트 선택: 대화형 통계로 선별한 특정 대화 샘플을 선택합니다.
다음 옵션 중 하나에서 요약 소스를 선택합니다.
다음을 클릭합니다.
폴더 선택을 클릭하고 결과를 저장할 버킷의 Cloud Storage 폴더를 선택한 다음 확인을 클릭합니다. 자동 평가에서는 CSV 파일에 쓰고 Cloud Storage 버킷에 저장합니다.
실행을 클릭합니다. 이는 장기 실행 작업입니다. 새 평가가 표에 표시됩니다.
평가
다음 단계에 따라 요약 생성기와 완료된 평가 세션 실행 목록을 확인하세요.
- Agent Assist 콘솔로 이동하여 로그인합니다. 콘솔로 이동
- 프로젝트를 선택합니다.
- 평가를 클릭합니다.
- 선택사항: 생성 시간 순서를 전환하려면 생성 시간 열 머리글에서 keyboard_arrow_down 아래쪽을 클릭합니다.
목록 필터링
목록을 필터링하여 특정 평가를 검색하려면 다음 단계를 따르세요.
- 평가 필터링을 클릭합니다.
다음 옵션 중 하나를 선택합니다.
- 표시 이름
- 생성기 이름
- 생성 시간
매개변수 값을 입력합니다.
평가 삭제
- 생성기가 평가를 실행할 때까지 기다립니다.
- 삭제 삭제를 클릭하여 평가를 지웁니다.
평가 결과 보기
Agent Assist 콘솔에서 자세한 평가 결과를 보려면 다음 단계를 따르세요.
- Agent Assist 콘솔로 이동하여 로그인합니다. 콘솔로 이동
- 프로젝트를 선택합니다.
- 평가를 클릭합니다.
- 목록에서 행을 클릭하여 다음 정보가 포함된 평가 세부정보를 확인합니다.
- 생성기의 표시 이름
- 대화 수
- Conversational Insights 데이터 세트가 있는 경우 연결된 Conversational Insights 데이터 세트의 이름
- 실행 시간
- Cloud Storage 출력
- 전체 데이터 세트의 전체 성능 결과
- 데이터 세트의 각 대화에 대한 대화 수준 결과
대화 수준 결과
Agent Assist는 대화 수준 평가 결과를 표에 표시합니다.
- 평가 세부정보 페이지에서 대화 수준 결과 표의 행을 클릭하여 자세한 결과, 요약, 대화 스크립트를 확인합니다.
- 섹션을 클릭하면 요약에서 해당 섹션의 예가 표시됩니다.
결과 비교
다음 단계에 따라 여러 평가의 결과를 비교하세요.
- Agent Assist 콘솔에서 평가로 이동합니다.
- 평가를 클릭하여 세부정보를 확인합니다. 이 평가는 비교의 기준을 제공하고 비교에 포함할 측정항목을 결정합니다.
- 비교 > 러닝 추가를 클릭하여 비교할 다른 평가를 추가합니다. 한 번에 최대 5개의 평가를 비교할 수 있습니다. 각 표시 이름은 회색으로 강조 표시됩니다.
- 비교에서 평가를 삭제하려면 닫기 닫기를 클릭합니다.
요약 생성기 버전 비교
요약 자동 평가를 사용하여 다양한 버전의 요약 생성기에서 생성된 요약을 비교할 수도 있습니다. 대화 스크립트 모음이 필요합니다.
다음은 요약 v4.0 생성기와 v5.0 생성기를 기반으로 평가 결과를 비교하는 예입니다.
1단계: 요약 생성기의 새 버전 만들기
요약 생성기를 아직 사용하지 않는 경우 안내에 따라 요약 버전 4.0을 사용하는 생성기를 만듭니다. 그런 다음 다음 단계에 따라 요약 버전 5.0을 사용하는 두 번째 생성기를 만듭니다.
- Agent Assist 콘솔 > 요약 페이지로 이동합니다.
- 생성기에서 more_vert > 생성기 복제 > 생성기 사본의 이름을 클릭합니다.
- 버전에서 5.0을 선택하고 저장을 클릭합니다.
2단계: 데이터 세트 만들기
안내에 따라 최대 100개의 대화로 데이터 세트를 만듭니다. 평가당 최대 100개의 대화를 만들 수 있습니다.
3단계: 요약 평가 만들기
다음 단계에 따라 각 평가를 만듭니다.
- Agent Assist 콘솔로 이동하여 로그인하고 프로젝트를 선택합니다.
- 평가 > 새 평가를 클릭합니다.
- 고유한 표시 이름을 입력합니다.
- 요약 4.0 생성기를 선택합니다.
- 다음을 클릭합니다.
- 특정 데이터 세트 선택을 선택합니다.
- 요약 생성을 선택합니다.
- 다음 > 폴더 선택을 클릭합니다.
- 결과를 저장할 버킷의 Cloud Storage 폴더를 선택한 다음 확인을 클릭합니다. 자동 평가에서는 CSV 파일에 쓰고 Cloud Storage 버킷에 저장합니다.
- 실행을 클릭합니다. 이는 장기 실행 작업입니다. 새 평가가 표에 표시됩니다.
요약 5.0 생성기에 대해 2~10단계를 반복하고 동일한 데이터 세트를 사용합니다.
4단계: 평가 결과 비교
안내에 따라 결과를 비교합니다. Agent Assist에 두 평가 결과의 비교가 표시됩니다. 한 생성기의 점수가 다른 생성기보다 높으면 높은 점수가 녹색으로 강조 표시됩니다. 두 생성기의 점수가 동일한 경우에도 녹색으로 강조 표시됩니다.
제한사항
요약 자동 평가에서는 VPC 서비스 제어를 지원하지 않습니다.
사용 가능한 리전
요약 자동 평가는 3개의 Agent Assist 리전에서만 사용할 수 있습니다. 각 기능에 사용할 수 있는 리전 목록은 지역화 표를 참고하세요.