추가 고려사항 및 테스트

대화형 에이전트 인터페이스의 권장사항 및 테스트를 위해 추가로 고려해야 할 사항이 있습니다.

권장사항 구현

대화형 에이전트 인터페이스를 구현할 때는 다음과 같은 권장사항을 고려하세요.

  • 방문자 ID 일관성: 특정 최종 사용자의 각 요청과 함께 고유한 visitor_id가 일관되게 전송되도록 합니다. 이는 정확한 맞춤설정 및 모델 학습에 매우 중요합니다. 이 식별자는 세션 및 로그인 또는 로그아웃 상태에서 최종 사용자에게 일관되게 유지되는 것이 가장 좋습니다.
  • 브랜치 관리: default_branch가 일반적이지만 제품 카탈로그가 여러 브랜치로 구성된 경우 올바른 브랜치 ID를 사용해야 합니다.
  • Search API 상호작작용: SIMPLE_PRODUCT_SEARCH 및 refined_search가 제공되는 모든 경우에 실제 제품 목록을 가져오려면 refined_search 필드의 query 또는 원래 쿼리를 사용하여 기본 Search API (SearchService.Search)를 별도로 호출해야 합니다. 대화형 API는 제품 결과를 직접 반환하는 대신 대화형 환경과 사용자 의도 파악에 주로 중점을 둡니다.
  • 사용자 인터페이스 디자인: 사용자를 안내할 수 있도록 conversational_text_response, followup_question, refined_search 옵션을 직관적인 방식으로 명확하게 표시하도록 웹 인터페이스를 디자인합니다.

LLM 생성을 위한 속성 구성

대화형 에이전트가 응답을 생성할 수 있도록 하려면 속성 컨트롤 에서 속성을 가져오기 가능 으로 설정해야 합니다.

속성이 색인 가능 이지만 가져오기 가능 이 아닌 경우 대화형 에이전트는 제품을 찾을 수 있지만 세부정보를 읽어 사용자 질문에 답변할 수는 없습니다. 대화형 에이전트는 종종 죄송합니다. 해당 제품이 없습니다 와 같은 대체 응답을 트리거합니다.

따라서 LLM이 사용할 수 있도록 시맨틱 속성 (Title, Description, Brand, Specs)을 가져오기 가능: True 로 설정해야 합니다. 프런트엔드에서 렌더링을 위해 필요한 경우 사용자 인터페이스 또는 앱 속성 (BrandID, SkuID)을 가져오기 가능: True 로 설정합니다. 컨텍스트 윈도우 사용을 최적화하려면 백엔드 메타데이터를 가져오기 가능: False 로 설정합니다.

A/B 테스트 계획

관련성은 중요한 입력 측정항목이지만 AI Commerce Search는 비즈니스 결과를 최적화하기 위해 다른 변수도 고려합니다.

측정항목
방문당 수익 (RPV) 방문당 수익은 전환율, AOV, 관련성을 고려하므로 검색 실적에 가장 효과적인 측정항목입니다.
전환—평균 주문 금액 (AOV) 전환율과 AOV는 모두 RPV에 기여합니다.
관련성—구매 가능성—가격 관련성은 다른 입력과 함께 실적이 우수한 검색 결과를 생성하는 데 사용됩니다.

A/B 준비 체크리스트

사용되는 성공 측정항목은 다음과 같습니다.

항목 정의 단계
이벤트 기여 분석 스키마 Google과 협력하여 측정을 위해 사용자 이벤트를 적절하게 분류합니다. 실험 전
모니터링 데이터 입력 학습 데이터에 성능에 영향을 미칠 수 있는 이상치가 포함되어 있는 경우 이를 빠르게 파악할 수 있습니다. 실험 전
이벤트 노출 범위 검색 또는 추천 AI 세션과 관련된 가능한 모든 결과를 계측하고 있나요? 실험 전
측정 가능한 성공 기준 측정 가능한 용어로 완료된 작업의 정의를 문서화합니다. 실험 전
UX 편향 측정 기능 실험 부문 전반에서 일관된 UX를 보장합니다. 실험 중
VAIS 데이터와 소비 간의 일관성 기여 분석 토큰, 필터, 정렬 기준, 오프셋 등이 API에서 UserEvents로 전달되는지 확인합니다. 방문자/사용자 ID가 이벤트와 API 요청 간에 일치합니다. 실험 중
실험 중 조정 승인 조정 활동을 계획하고, 변경사항을 문서화하고, 측정 및 해석을 적절하게 조정합니다. 실험 중

개념 증명 또는 최소 기능 제품 구현

데이터 수집 A/B 테스트 설계 성능 측정항목 거버넌스 및 프로세스

최신 전체 제품 카탈로그 수집

Google과 사용자 간의 데이터 동기화를 보장하기 위해 권장되는 이벤트 수집 방법을 준수합니다.
Google에서는 노출 데이터를 포함한 실시간 이벤트 추적을 권장합니다.

실험 ID, 방문자 ID와 같은 필요한 속성을 전달하고 해당되는 경우 검색 토큰을 올바르게 구현합니다.

 실험 권장사항을 통합하여 신뢰할 수 있는 결과를 보장합니다.
  • 통합을 확인합니다.
  • 한 번에 하나의 변경사항을 테스트합니다.
  • 공격적인 캐싱을 피합니다.
  • 테스트와 제어 간에 웹 인터페이스의 공정성을 보장합니다.
  • 방문자 ID를 사용하여 트래픽 분할 시 트래픽 공정성을 보장합니다.
  • 제품 데이터 일관성을 보장합니다.
  • 테스트 및 제어 전반에 동일한 비즈니스 규칙을 적용합니다.
 모든 평가 기준은 경험적이고 객관적으로 측정되며 측정항목을 기반으로 해야 합니다.

추적되는 측정항목의 정확한 정의에 대한 조정은 실적을 정확하게 측정하는 데 매우 중요합니다.

추적되는 표준 측정항목은 다음과 같습니다.
  • 검색 CTR (결과 관련성)
  • 검색 결과 없음 비율 (의도 파악)
  • 방문자당 수익 / 사용자당 수익
  • 전환할 검색 횟수
 데이터 통합, 테스트, 기능 출시, 최적화는 리소스가 필요한 반복적인 프로세스입니다.

실험 주기 예시

최소 기능 제품 종속성 충족 측정 보정 프로덕션 어두운 모드 배포 진행/중단 결정
  • 계약
  • 학습된 모델 및 서빙 구성
  • 제품 및 이벤트 데이터 수집
  • 커머스 검색 원격 분석과 (클라이언트) 데이터를 비교하고 이에 따라 조정
  • 측정 기준선 조정
  • 오프라인 평가 실행
  • 구성 조정
  • 트래픽 분할을 확인하는 A/A 테스트
  • QA 서명 받기
  • 램프를 계속 진행하기로 약속

AB 실험 일정의 예

진행 중인 테스트 트래픽의 X% 로 램프 측정, 조정, 반복 실시간 트래픽의 X% 로 램프
  • 계속 조정/최적화
  • 증분 기능 테스트
  • 검색 세그먼트 전반의 실적 분석
  • 모델링/규칙 조정
  • 실적 교차 확인
  • 비정상 이벤트 식별 및 설명
  • 실험 시작
  • 매일 실적 측정항목 공유
  • 조정 실행

성공적인 실험의 구성요소

측정 보정 및 성공 기준 수립 실험 공정성 유지 데이터 품질 모니터링
  • 공식 출시 전에 카탈로그, 사용자 이벤트, API 소비 일관성을 확인하는 시간을 계획합니다.
  • 측정 가능한 성공 기준을 미리 설정합니다 (이상적으로 RPV 변경으로 표현).
  • 회귀 또는 비정상 이벤트를 선제적으로 식별하고 설명한 후 수정합니다.
  • 측정항목을 자주 공유하고 실험 부문 전반에서 측정항목 정의를 파악하고 문서화합니다.
  • 세그먼트 간 UX 차이를 최소화합니다 (일반적인 레이아웃 및 시각적 요소, 데이터만 다름).
  • 상품화 / 비즈니스 규칙에 유의합니다 (편향을 도입하지 않도록 함).
  • 카탈로그 드리프트를 측정합니다.
  • 사용자 이벤트를 통해 실험 결과를 올바르게 주석 처리합니다.

역할 및 실험 소유권

Google 나
품질 평가 커머스 검색 결과 UX 영향
측정 백업/유효성 검사 권한
원격 분석/데이터 플랫폼 볼륨 측정 (성능 검증)
이벤트 및 색인 비정상 이벤트		 기여 분석 토큰 및 재현 단계 (문제 검증)
플랫폼 검색 제품 수준 항목
  • 데이터 매핑
  • 모델/학습 조정
  • 품질/서빙 비정상 이벤트
  • 플랫폼 할당량/한도
  • 제품/클라이언트 라이브러리 결함
 쿼리/서빙 항목
  • 요청 증강 (컨텍스트 라우팅, 캐싱, 의도 처리 포함)
  • 서빙 구성 (조정)
  • 소스 데이터 보강
  • 클라이언트 성능 (예: WC 스레드)
  • UX/API/플랫폼/라이브러리 결함
진행/중단 추천 승인

콘솔에서 실험 실행

  1. Gemini Enterprise for Customer Experience 콘솔의 AI Commerce Search에서 실험 페이지로 이동합니다.

    실험 페이지로 이동

  2. Google의 기여 분석 방법론을 적용하여 AI Commerce Search 온보딩 및 A/B 테스트를 위한 고급 셀프서비스 분석에 콘솔을 사용합니다.

  • 트래픽 분류, 비즈니스 측정항목, 검색 및 탐색 실적을 모니터링합니다.

  • 키워드 검색과 탐색 모두에 검색 방문당 수준 측정항목을 적용합니다.

  • 실험 실적을 통계적 유의성 측정항목이 포함된 시계열로 봅니다.

  • 삽입된 Looker 플랫폼을 사용합니다.