추가 고려사항 및 테스트

권장사항과 대화형 상거래 에이전트 인터페이스 테스트를 위해서는 추가 고려사항을 고려해야 합니다.

권장사항 구현

대화형 상거래 에이전트 인터페이스를 구현할 때는 다음 권장사항을 고려하세요.

  • 방문자 ID 일관성: 특정 최종 사용자의 각 요청과 함께 고유한 visitor_id가 일관되게 전송되도록 지원합니다. 이는 정확한 맞춤설정과 모델 학습에 매우 중요합니다. 이 식별자는 세션과 로그인 또는 로그아웃 상태에서 최종 사용자에게 일관되게 유지되는 것이 좋습니다.
  • 브랜치 관리: default_branch이 일반적이지만 제품 카탈로그가 여러 브랜치로 구성된 경우 올바른 브랜치 ID를 사용해야 합니다.
  • 검색 API 상호작용: SIMPLE_PRODUCT_SEARCH 및 refined_search이 제공되는 모든 경우 실제 제품 목록을 가져오려면 refined_search 필드의 query 또는 원래 쿼리를 사용하여 핵심 검색 API (SearchService.Search)를 별도로 호출해야 합니다. Conversational API는 제품 결과를 직접 반환하기보다는 대화형 환경과 사용자 의도 이해에 주로 중점을 둡니다.
  • 사용자 인터페이스 디자인: 사용자를 안내할 수 있도록 conversational_text_response, followup_question, refined_search 옵션을 직관적으로 표시하도록 웹 인터페이스를 디자인합니다.

A/B 테스트 계획

관련성은 중요한 입력 측정항목이지만, 커머스용 Vertex AI Search는 비즈니스 결과를 최적화하기 위해 다른 변수도 고려합니다.

측정항목
방문당 수익 (RPV) 방문당 수익은 전환율, AOV, 관련성을 고려하므로 검색 실적에 가장 효과적인 측정항목입니다.
전환 - 평균 주문 금액 (AOV) 전환율과 AOV는 모두 RPV에 영향을 미칩니다.
관련성 - 구매 가능성 - 가격 관련성은 다른 입력과 함께 실적이 우수한 검색 결과를 생성하는 데 사용됩니다.

A/B 준비 체크리스트

사용된 성공 측정항목은 다음과 같습니다.

항목 정의 단계
이벤트 기여 분석 스키마 Google과 협력하여 측정할 사용자 이벤트를 적절하게 분류합니다. 실험 전
모니터링 데이터 입력 학습 데이터에 성능에 영향을 미칠 수 있는 이상치가 포함되어 있는 경우 이를 빠르게 파악할 수 있습니다. 실험 전
이벤트 중계 검색 또는 추천 AI 세션과 관련된 가능한 모든 결과를 계측하고 있나요? 실험 전
측정 가능한 성공 기준 완료의 정의 (측정 가능한 용어로)를 문서화했습니다. 실험 전
UX 편향 측정 기능 실험 부문 전반에서 일관된 UX를 보장합니다. 실험 중
VAIS 데이터와 소비 간 일관성 기여 분석 토큰, 필터, 정렬 기준, 오프셋 등이 API에서 UserEvents로 전달되는지 확인합니다. 방문자/사용자 ID가 이벤트와 API 요청 간에 일치합니다. 실험 중
실험 중 조정 승인 튜닝 활동을 계획하고, 변경사항을 문서화하고, 측정 및 해석을 적절하게 조정합니다. 실험 중

개념 증명 또는 최소 기능 제품 구현

데이터 수집 A/B 테스트 설계 성능 측정항목 거버넌스 및 프로세스

최신 상태의 완전한 제품 카탈로그 인제스트

Google과 사용자 간의 데이터 동기화를 보장하기 위해 권장되는 이벤트 수집 방법을 준수합니다.
Google에서는 노출 데이터를 포함한 실시간 이벤트 추적을 권장합니다.

실험 ID, 방문자 ID와 같은 필수 속성을 전달하고 해당하는 경우 검색 토큰을 올바르게 구현합니다.

 실험 권장사항을 통합하여 신뢰할 수 있는 결과를 얻으세요.
  • 통합을 확인합니다.
  • 한 번에 하나의 변경사항만 테스트합니다.
  • 공격적인 캐싱을 피하세요.
  • 테스트와 관리 간에 웹 인터페이스의 공정성을 보장합니다.
  • 방문자 ID를 사용한 트래픽 분할로 트래픽 공정성을 보장합니다.
  • 제품 데이터 일관성 보장
  • 테스트와 대조군에 동일한 비즈니스 규칙을 적용합니다.
 모든 평가 기준은 실증적이고 객관적으로 측정되어야 하며 측정항목에 기반해야 합니다.

추적되는 측정항목의 정확한 정의에 대한 합의는 실적을 정확하게 측정하는 데 중요합니다.

추적되는 표준 측정항목에는 다음이 포함됩니다.
  • 검색 CTR (결과 관련성)
  • Null 검색 비율 (의도 이해)
  • 방문자당 수익 / 사용자당 수익
  • 변환할 검색 수
 데이터 통합, 테스트, 기능 출시, 최적화는 리소스가 필요한 반복적인 프로세스입니다.

실험 주기 예시

최소 기능 제품 종속 항목 충족 측정 보정 프로덕션 어두운 모드 배포 Go/no-go 결정
  • 계약
  • 학습된 모델 및 서빙 구성
  • 제품 및 이벤트 데이터 수집
  • (클라이언트) 데이터를 상거래 검색 원격 분석과 비교하고 그에 따라 조정
  • 측정 기준 조정
  • 오프라인 평가 수행
  • 구성 조정
  • 트래픽 분할을 확인하는 A/A 테스트
  • QA 승인 받기
  • 램프를 사용하여 앞으로 이동하기

A/B 실험 일정의 예

진행 중인 테스트 트래픽의 X% 까지 늘리기 측정, 조정, 반복 실시간 트래픽을 X% 로 늘림
  • 계속 조정/최적화
  • 증분 기능 테스트
  • 검색 세그먼트 전반의 실적 분석
  • 모델링/규칙 조정
  • 실적 교차 확인
  • 이상치 식별 및 설명
  • 실험 시작
  • 일일 실적 측정항목 공유
  • 조정 실행

성공적인 실험의 구성요소

측정값을 보정하고 성공 기준 설정 실험 공정성 유지 데이터 품질 모니터링
  • 공식 출시 전에 카탈로그, 사용자 이벤트, API 사용량의 일관성을 확인할 시간을 계획하세요.
  • 처음에 정량화 가능한 성공 기준을 설정합니다 (이상적으로는 RPV의 변경사항으로 표현).
  • 회귀 또는 이상치를 선제적으로 식별하고 설명한 다음 수정합니다.
  • 측정값을 자주 공유하고 실험 부문 전반에서 측정항목 정의를 이해하고 문서화합니다.
  • 세그먼트 간 UX 차이 최소화 (일반적인 레이아웃과 시각적 요소, 데이터만 다름)
  • 머천다이징 / 비즈니스 규칙에 유의하세요 (편향이 발생하지 않도록 함).
  • 카탈로그 변동 측정
  • 사용자 이벤트를 통해 실험 결과를 적절하게 주석 처리합니다.

역할 및 실험 소유권

Google 나
품질 평가 상거래 검색 결과 UX 영향
측정 백업/검사 권한
원격 분석/데이터 플랫폼 수치 (성능 검증)
이벤트 및 색인 이상치		 기여 분석 토큰 및 재현 단계 (문제 검증)
검색 플랫폼 제품 수준 항목
  • 데이터 매핑
  • 모델/학습 조정
  • 품질/게재 이상치
  • 플랫폼 할당량/한도
  • 제품/클라이언트 라이브러리 결함
 쿼리/게재 항목
  • 요청 증강 (컨텍스트 라우팅, 캐싱, 의도 처리 포함)
  • 서빙 구성 (튜닝)
  • 소스 데이터 보강
  • 클라이언트 성능 (예: WC 스레드)
  • UX/API/플랫폼/라이브러리 결함
진행/중단 추천 승인

콘솔에서 실험 실행

  1. 커머스를 위한 Search 콘솔에서 실험 페이지로 이동합니다.

    실험 페이지로 이동

  2. Google의 기여도 분석 방법론을 적용하여 상거래를 위한 Vertex AI Search 온보딩 및 A/B 테스트를 위한 고급 셀프 서비스 분석에 콘솔을 사용하세요.

  • 트래픽 세분화, 비즈니스 측정항목, 검색 및 탐색 실적을 모니터링합니다.

  • 키워드 검색과 탐색 모두에 검색 방문당 수준 측정항목을 적용합니다.

  • 통계적 유의성 측정항목을 사용하여 실험 실적을 시계열로 확인합니다.

  • 삽입된 Looker 플랫폼을 사용합니다.