이 문서에서는 AI 음식 주문 에이전트를 구성, 테스트, 모니터링할 수 있는 웹 기반 인터페이스인 음식 주문 AI 에이전트 콘솔에 대한 개요를 제공합니다.
콘솔의 리소스 계층 구조
음식 주문 AI 에이전트 콘솔은 주문 환경을 음식 주문 AI 에이전트 API 리소스에 직접 매핑되는 3단계 계층 구조로 구성합니다.
- 프로젝트: 음식 주문 AI 에이전트 API가 사용 설정되어 있고 프로젝트 수준 액세스 제어가 관리되는 Google Cloud 프로젝트입니다.
- 브랜드: 레스토랑 브랜드와 공유 에이전트 구성을 나타내는 최상위
Brand리소스입니다. - 스토어: 오프라인 레스토랑 위치, 스토어 수준 재정의, 연결된
Menu를 나타내는 개별Store리소스입니다.
주요 콘솔 기능
음식 주문 AI 에이전트 콘솔에서 Google Cloud 프로젝트와 브랜드를 선택한 후 탐색 메뉴를 사용하여 다음 영역에서 주문 에이전트를 관리하고 관찰할 수 있습니다.
- 개요: 세션 볼륨, 포함률, 결과 분포, 업셀 실적을 비롯한 채널 전반의 운영 상태, 에이전트 실적, 판매 실적 측정항목을 모니터링합니다.
- 주문 내역: 개별 주문 세션을 검사하고, 스토어, 기간, 세션 결과별로 세션을 필터링하고, 장바구니 업데이트와 함께 세부 경로 안내 스크립트를 검토하고, 세션 오디오를 재생합니다.
- 에이전트 맞춤설정: 환영 인사, 음성 특성, 애매모호성 해소 규칙, 업셀 전략을 비롯한 브랜드 전체 및 스토어별 에이전트 동작을 구성합니다.
- 스토어 및 메뉴: 스토어 위치를 보고 관리하고, 수집된 메뉴 항목, 수정자 그룹, 수정자를 탐색하고, 메뉴 수집 로그를 검사합니다.
- 에이전트 미리보기: 프로덕션에 변경사항을 출시하기 전에 선택한 스토어 및 메뉴 구성에 대해 음성 또는 텍스트를 사용하여 주문 흐름을 대화형으로 테스트합니다.
- 평가: 테스트 데이터 세트 및 테스트 사례를 정의하고, 평가 컨텍스트 및 어설션 일치자를 구성하고, 자동화된 일괄 시뮬레이션을 실행하고, 실행 기록을 검토합니다.
주문 내역
주문 내역 페이지를 사용하면 브랜드의 완료된 주문 세션을 검토하고, 에스컬레이션 또는 오류를 조사하고, 에이전트가 고객 주문을 처리한 방식을 분석할 수 있습니다.
세션 필터링 및 내보내기
세션 목록 테이블에서 각 행에는 주문 ID, 시작 타임스탬프, 스토어 ID, 세션 시간, 결과 라벨, 자동 개입 분석이 표시됩니다. 툴바 컨트롤을 사용하여 세션을 좁히고 데이터를 내보낼 수 있습니다.
- 모든 필터: 세션 ID, 기간, 스토어 ID, 결과 라벨, 개입 카테고리 또는 발화 텍스트별로 세션을 필터링합니다.
- 내보내기: 오프라인 보고 및 분석을 위해 필터링된 세션 목록을 CSV 파일로 다운로드합니다.
세션 세부정보 검사
주문 내역 테이블에서 행을 클릭하여 해당 세션의 주문 세부정보 패널을 엽니다.
- 세션 요약 및 결과: 세션 ID, 스토어 메타데이터, 전반적인 결과 분류 (예:
SUCCESS또는 에스컬레이션된 결과), 사람의 개입 또는 실패 이유를 설명하는 개입 분석 신호를 확인합니다. - 대화 스크립트 및 오디오 재생: 턴별 고객 및 에이전트 스크립트를 읽으면서 전체 세션 녹음 또는 개별 턴 오디오를 듣습니다.
- 장바구니 상태 업데이트: 대화의 각 턴에서 고객의 장바구니 항목과 수정자가 어떻게 변경되었는지 검사하고, 에이전트가 제출한 주문을 최종 POS 주문과 비교합니다.
스토어 및 메뉴
스토어 및 메뉴 페이지를 사용하면 오프라인 레스토랑 위치를 관리하고, 각 스토어와 연결된 메뉴를 탐색하고, 수정자 계층 구조를 검사하고, 메뉴 수집 상태를 검토할 수 있습니다.
스토어 위치 관리
스토어 위치 페이지에는 브랜드에 대해 구성된 모든 스토어가 나열됩니다. 테이블에는 각 스토어의 ID, 표시 이름, 실제 주소, 할당된 태그, 운영 상태 (예: Active 또는 Disabled), 마지막 업데이트 날짜가 표시됩니다.
스토어 위치 페이지에서 다음을 수행할 수 있습니다.
- 스토어 필터링 및 검색: 상태, 마지막 업데이트 날짜 범위, 지리적 위치 (도시 또는 주), 태그 또는 스토어 ID별로 스토어를 필터링합니다. 스토어 ID, 이름 또는 도로 주소로 검색할 수도 있습니다.
- 일괄 작업 실행: 테이블 체크박스를 사용하여 여러 스토어를 선택하여 태그를 추가하거나, 스토어를 비활성화하거나, 비활성화된 스토어를 일괄 삭제합니다.
- 스토어 설정 구성: 스토어의 설정 아이콘을 클릭하여 스토어 설정 페이지를 엽니다. 여기에서 스토어 수준 세부정보, 영업시간, 시간대, 스토어 수준 에이전트 맞춤설정 및 업셀 재정의를 구성할 수 있습니다.
메뉴 및 항목 계층 구조 탐색
메뉴 페이지에는 브랜드 및 스토어에 수집된 메뉴 버전이 나열됩니다. 각 항목에는 메뉴 ID, 연결된 스토어 ID, 표시 이름, 마지막 업데이트 타임스탬프, 태그가 표시됩니다. 현재 활성 메뉴에는 최신 배지가 라벨로 지정됩니다.
메뉴 항목에서 메뉴 보기 를 클릭하여 대화형 메뉴 탐색기 를 엽니다.
- 메뉴 보기 전환: 메뉴에서 메뉴 항목, 수정자, 수정자 그룹의 계층 구조 트리 보기와 목록 보기 간에 전환합니다.
- 항목 및 수정자 세부정보 검토: 항목 가격, 수정자 가격 조정, 콤보 번호, 콤보 크기, 기본 수량, 수정자 선택 제약조건 (예: 최소 및 최대 개수), 항목 이미지, 재고 상태 (예: 재고 없음 또는 사용 불가)를 확인합니다.
- 메뉴 비교: 모든 스토어에서 최대 2개의 메뉴를 선택하여 나란히 비교하고, 추가, 삭제 또는 수정된 항목을 보여주기 위해 차이점을 강조표시합니다.
에이전트 미리보기
에이전트 미리보기 페이지는 구성 변경사항을 고객 대상 채널에 배포하기 전에 AI 주문 에이전트를 테스트할 수 있는 대화형 시뮬레이터를 제공합니다.
테스트 시나리오 설정
시뮬레이션된 주문을 시작하기 전에 시나리오 설정 페이지에서 테스트 시나리오 매개변수를 정의합니다.
- 스토어: 대상 스토어 위치를 선택합니다. 에이전트는 해당 스토어의 활성 메뉴, 가격, 시간대, 스토어별 맞춤설정 재정의를 로드합니다.
- 시간대: 자동 을 선택하여 현재 시간에서 시간대를 자동으로 결정하거나 특정 시간대 (예: 아침 식사 또는 점심 식사)를 선택하여 시간 제한 메뉴 가용성을 테스트합니다.
- 채널: 시뮬레이션된 주문 채널(예: 드라이브 스루, 모바일, 전화 또는 웹)을 선택합니다.
- 에이전트 맞춤설정 및 업셀 전략: 특정 맞춤설정 프로필 또는 업셀 전략을 선택하여 에이전트가 브랜드 전체 또는 실험적 동작을 적용하는 방식을 테스트합니다.
- 대화형 모드: 마이크를 사용하여 실시간 오디오를 통해 상호작용하려면 음성을 선택하고, 채팅 인터페이스를 통해 테스트하려면 텍스트를 선택합니다.
대화형 주문 테스트
주문 시작 을 클릭하여 대화형 시뮬레이션 세션을 시작합니다.
- 실시간 대화: 음성 모드에서 마이크에 대고 말하여 에이전트와 자연스럽게 대화합니다. 에이전트는 세부 경로 안내 음성 텍스트 변환, 오디오 재생, 인터럽트('바지인') 지원을 제공합니다. 텍스트 모드에서 채팅 입력란에 고객 발화를 입력합니다.
- 대화형 추천: 스크립트 스트림에서 추천 항목 및 수정자 칩을 클릭하여 한 번의 클릭으로 고객 선택을 시뮬레이션합니다.
- 실시간 장바구니 추적: 장바구니 측면 패널을 열어 턴별 실시간 장바구니 변경사항을 관찰합니다. 추가된 항목, 구성된 수정자 및 수정자 수량, 항목별 가격, 실행 중인 주문 총계를 볼 수 있습니다.
- 세션 내 메뉴 참조: 세션 중에 메뉴 측면 패널을 열어 활성 대화와 함께 사용 가능한 항목과 기본 가격을 탐색합니다.
- 과거 세션 비교: 과거 세션 을 클릭하여 주문 내역 으로 바로 이동하고 시뮬레이션된 결과를 실제 고객 상호작용과 비교합니다.
평가
평가 페이지를 사용하면 변경사항을 고객에게 배포하기 전에 주문 에이전트의 대화형 동작, 장바구니 정확성, 비즈니스 규칙을 검증하는 자동화된 테스트 모음을 빌드하고 실행할 수 있습니다.
평가 프레임워크 및 API 사용에 관한 자세한 내용은 평가 프레임워크를 사용하여 주문 에이전트 평가를 참고하세요.
데이터 세트 및 테스트 사례 관리
데이터 세트 및 사례 탭을 사용하면 평가 테스트 시나리오를 구성하고 유지관리할 수 있습니다.
- 평가 데이터 세트: 관련 테스트 사례를 이름이 지정된 데이터 세트 (예: 회귀 모음, 메뉴 변경 모음 또는 업셀 테스트 모음)로 그룹화합니다. 새 데이터 세트를 만들고, 데이터 세트를 검색하고, 데이터 세트를 YAML 파일로 가져오거나 내보낼 수 있습니다.
- 평가 사례: YAML 파일에서 가져오거나 프로덕션 세션에서 변환된 독립적인 테스트 사례를 관리합니다. 사례는 자체적으로 존재하거나 데이터 세트로 드래그하여 데이터 세트로 구성할 수 있습니다.
- 정적 텍스트 턴 사례: 특정 고객 텍스트 입력이 턴별로 제공되는 예측 가능하고 재현 가능한 멀티턴 대화를 정의합니다.
- 동적 텍스트 턴 사례: 고급 자연어 주문 안내 (예: 특별한 식단 요청이 있는 맞춤 콤보 식사 주문)를 지정하고 생성 시뮬레이션을 사용하여 에이전트가 다양한 고객 문구를 처리하는 방식을 테스트합니다.
- 과거 세션에서 변환: 주문 내역 페이지에서 완료된 고객 세션을 평가 사례로 직접 변환하여 에스컬레이션을 재현하고 회귀를 방지할 수 있습니다.
평가 컨텍스트 및 일치자 구성
평가 사례는 컨텍스트를 사용하여 실제 주문 환경을 시뮬레이션하고 일치자를 사용하여 에이전트 실적을 평가합니다.
- 평가 컨텍스트: 대상 스토어 위치, 활성 메뉴, 시간대 (예: 아침 식사 또는 점심 식사)를 비롯한 컨텍스트 탭에서 테스트 사례의 운영 환경을 구성합니다.
- 주문 결과 일치자: 일치자 탭에서 예상되는 최종 장바구니 상태를 정의합니다. 평가는 에이전트의 최종 주문을 예상 항목, 수정자 선택, 항목 수량과 비교합니다.
- 에이전트 발화 문자열 일치자: 하위 문자열 또는 정규 표현식 일치를 사용하여 에이전트의 음성 또는 텍스트 응답에 필수 키워드, 면책조항 또는 특정 문구가 포함되어 있는지 확인합니다.
- LLM 판단 일치자: LLM-as-a-judge 어설션을 사용하여 에이전트가 고객에게 정중하게 인사했는지, 애매모호한 요청을 적절하게 명확히 했는지, 브랜드 톤 가이드라인을 준수했는지와 같은 정성적 기준을 평가합니다.
평가 실행 및 기록 검토
전체 데이터 세트 또는 개별 테스트 사례에서 평가 실행을 실행할 수 있습니다.
- 데이터 세트 및 사례 실행: 데이터 세트 옆에 있는 데이터 세트 실행을 클릭하여 포함된 모든 사례를 실행하거나 체크박스를 사용하여 특정 사례를 선택하고 실행을 클릭하여 개별 시나리오를 테스트합니다.
- 실행 기록: 기록 탭은 완료된 평가 실행과 진행 중인 평가 실행을 추적하여 실행 타임스탬프, 데이터 세트 이름, 기간, 전반적인 통과 또는 실패율을 표시합니다.
- 실행 세부정보 검사: 평가 실행을 클릭하여 사례별 결과를 드릴다운합니다. 세부 경로 안내 대화 스크립트를 검사하고, 예상 장바구니 콘텐츠와 실제 장바구니 콘텐츠를 시각적 차이점으로 비교하고, 일치자 통과 및 실패 설명을 검토할 수 있습니다.