적절한 데이터 기여 분석, 일관된 사용자 식별, 정확한 이벤트 추적을 통해 신뢰할 수 있는 결과를 얻고 모델 성능을 최적화할 수 있습니다. 문제가 발생하면 측정항목이 왜곡되고, 비교가 편향되고, 학습 데이터가 손상될 수 있습니다. 이러한 결과는 정보에 입각한 의사 결정과 검색 개선을 방해합니다.
시작하기 전에
A/B 실험 수행에 대한 일반 안내를 참고하세요.
테스트 구성요소
스타터 A/B 검사에는 다음 테스트 구성요소가 포함됩니다.
방문자 ID: 로그인 상태와 관계없이 기기에서 방문자를 추적하는 데 필요합니다. 방문자가 로그인하든 로그아웃하든 변경되지 않아야 합니다. 사용자가 사용자 여정 사이에 로그인하면 방문자 ID는 일정하게 유지됩니다.
세션 ID: 방문자의 상호작용 세션을 추적합니다. 일반적으로 30분 동안 활동이 없으면 종료되는 기간 동안의 사용자 행동의 집계로 정의됩니다.
사용자 ID: 로그인한 사용자의 지속적인 식별자 (예: 고객 ID)로, 맞춤설정을 위해 여러 기기에서 사용됩니다. 적극 권장됩니다. 항상 해시된 값이어야 합니다.
기여 분석 토큰: 모든 검색 응답에서 반환되는 해시 토큰입니다. 검색 쿼리 매개변수가 정확하게 일치하는지 여부와 관계없이 기여 분석 토큰은 고유합니다.
설명
이 검사에서는 A/B 실험에서 순 방문자 ID 수가 통제 그룹과 테스트 그룹 간에 무작위로 분할되는지 확인합니다.
방문자 ID는 단일 기기의 사용자를 위한 고유 식별자입니다.
영향
방문자 ID가 불공정하게 분할되면 과거에 A/B 테스트에서 측정 오류가 발생할 수 있었습니다.
한 실험 그룹에 과도한 수의 특정 유형 방문자(예: 많은 양의 탐색 트래픽을 전송하는 봇 방문자)가 포함되어 있으면 해당 그룹의 측정항목에 부정적인 영향을 미칠 수 있습니다. 이로 인해 주요 실적 지표 비교가 왜곡되고 모델 학습에는 직접적으로 영향을 미치지 않지만 측정에는 큰 영향을 미칩니다.
설명
이 검사를 통해 로그인한 사용자를 나타내는 고유 사용자 ID 수가 통제 그룹과 테스트 그룹 간에 균등하게 분배됩니다. 사용자 ID는 기기 간에 일관되게 유지되어야 합니다.
영향
영향은 방문자 ID와 유사합니다. 로그인한 사용자가 테스트 트랙과 통제 트랙 간에 무작위로 할당되지 않으면 인구통계가 편향될 수 있습니다.
예를 들어 실험 그룹에 주로 신규 사용자가 포함되고 지출이 많은 사용자는 통제 그룹에 남아 있는 경우 측정항목이 한쪽으로 인위적으로 유리하게 표시됩니다.
이는 측정 및 핵심성과지표 (KPI) 비교에 영향을 미칩니다.
설명
이 검사는 특히 방문자 ID와 구매 기록으로 식별되는 거래 수가 많거나 반복 구매가 많은 사용자의 분포를 실험 트랙 전반에서 확인합니다.
목표는 지출이 많은 사용자를 균등하게 분할하는 것입니다.
영향
- 수익에 크게 기여하는 파워 사용자의 분포가 고르지 않으면 실험 그룹 간 KPI 비교가 크게 왜곡될 수 있습니다.
- 소비 습관과 같은 인구통계 정보를 기반으로 편향을 디버깅하는 것은 복잡할 수 있습니다.
- 이로 인해 방문자당 수익 (RPV) 또는 세션당 수익과 같은 수익 기반 측정항목에 불균형적인 영향을 미칩니다.
- A/B 테스트 중 측정 정확도에 미치는 영향을 강조합니다.
설명
이 검사는 검색 응답에 반환된 기여 분석 토큰이 해당 검색으로 인해 발생한 검색 이벤트에 올바르게 포함되어 있는지 확인합니다.
Vertex AI Search for commerce가 이벤트를 생성한 검색에 다시 연결하려면 기여 분석 토큰이 필요합니다.
- 이는 일반적으로 Vertex AI Search에서 제공하는 트래픽과 관련이 있습니다.
- 이 문제는 검색 응답 캐싱의 가능성도 나타내며, 이로 인해 오래된 인벤토리와 오래된 순위로 인해 검색 성능과 사용자 환경이 저하됩니다.
영향
토큰을 사용한 적절한 기여 분석은 클릭 및 구매를 비롯한 사용자 행동을 특정 검색 API 호출에 연결하는 데 중요합니다. 토큰이 없으면 검색 이벤트가 다른 검색 서비스 제공업체에서 발생한 것처럼 잘못 사용될 수 있으며 후속 이벤트를 검색에 정확하게 연결할 수 없습니다.
부정확하거나 누락된 기여 분석 토큰은 모델 학습을 방해합니다. 순위 모델을 학습시키기 위한 긍정적 및 부정적 예시를 생성하기 위해 이벤트 데이터 (예: 구매가 이어진 검색)를 연결하는 데 사용되기 때문입니다. 또한 A/B 실험 중에 실적을 평가하는 데 중요한 검색당 수익과 같은 검색별 측정항목을 정확하게 계산할 수 없습니다.
이는 모델 학습, 측정, 성능 분석에 모두 영향을 미칩니다.
설명
이 검사를 통해 Search API에 대한 검색 요청 호출에 사용된 방문자 ID와 사용자 ID가 후속 검색 사용자 이벤트에 포함된 방문자 ID 및 사용자 ID와 동일한지 확인합니다 (해당 검색 상호작용과 관련된 세부정보 페이지 조회, 장바구니 추가, 구매 완료 이벤트가 있는 경우).
visitorId및userId필드는 각각 단일 기기의 사용자를 위한 고유 식별자입니다.- 검색이 사용자 활동을 올바르게 식별하려면 검색 요청과 사용자 이벤트 전반에서 방문자 및 사용 ID의 서식이 일관되어야 합니다.
- 디버깅 접근 방식에는 방문자 ID와 사용자 ID를 사용하여 상호작용을 추적하는 방법이 포함될 수 있습니다.
영향
불일치는 이벤트 누락이나 데이터 손상과 같은 잠재적인 문제를 나타냅니다.
방문자 ID와 사용자 ID는 특히 맞춤설정 기능을 위한 Retail Search 모델 학습에 매우 중요합니다. 정확한 구매 기여도 분석은 방문자 ID와 사용자 ID를 일관되게 사용하는 데 달려 있습니다.
Vertex AI Search for Commerce는 방문자 ID를 사용하여 사용자가 본 검색 결과를 동일한 방문자 ID가 나중에 표시된 제품을 구매했는지 여부에 연결합니다. 검색-클릭, 장바구니 추가 또는 구매 데이터를 연결하여 순위 모델 학습을 위한 긍정적 및 부정적 예시를 생성하는 데 사용됩니다.
방문자 ID가 일치하지 않으면 구매 이벤트를 이전 검색 또는 세부정보 페이지 조회에 기여 분석할 수 없는 문제가 발생하여 검색에 후속 구매가 없는 것처럼 보입니다. 이렇게 하면 모델 학습이 중단될 뿐만 아니라 검색당 수익과 같은 검색당 측정항목을 계산하기 어려워집니다. 또 다른 문제는 사용자 이벤트를 검색에 정확하게 연결하는 데 의존하는 방문자당 수익, 전환율, 평균 주문 금액과 같은 핵심성과지표 (KPI)를 정확하게 계산하는 것입니다. 따라서 이 확인은 모델 학습과 측정 모두에 영향을 미칩니다.
설명
이 검사에서는 특정 실험 트랙 (특히 Google 트랙)에 대해 Search API에 이루어진 검색 요청량을 동일한 트랙에 대해 기록된 검색 사용자 이벤트량과 비교합니다.
수집된 검색 이벤트 수는 이루어진 검색 API 호출 수와 거의 일치해야 합니다.
영향
- 심각한 불일치는 사용자 이벤트가 제대로 수집되거나 Google에 전송되지 않음을 나타냅니다.
- 이는 이벤트 수집 문제 (이벤트 누락 또는 불완전) 또는 실험 ID를 사용한 사용자 이벤트의 잘못된 태그 지정으로 인해 발생할 수 있습니다.
- 이벤트에서 포착된 사용자 상호작용은 모델에 결과를 최적화하는 데 필요한 의견을 제공하므로 적절한 사용자 이벤트 수집이 필수적입니다.
- 이벤트가 누락되면 모델이 학습에 사용할 데이터가 줄어들어 성능에 부정적인 영향을 미칠 수 있습니다.
- A/B 테스트를 평가하는 데 사용되는 측정항목 (예: 클릭률, 전환율, 수익 측정항목)의 정확성과 신뢰성은 사용자 이벤트 데이터의 완전성과 정확성에 전적으로 달려 있습니다.
- 이벤트가 누락되면 이러한 측정항목을 정확하게 계산할 수 없어 실적 분석이 왜곡되고 A/B 테스트 결과가 신뢰할 수 없게 됩니다.
- API 호출과 이벤트 간의 쿼리 수 불일치는 모델 학습과 측정에 모두 영향을 미칩니다.
설명
이 검사에서는 사용자가 검색 결과에 필터를 적용할 때 (검색 요청에 반영됨) 기여 분석 토큰으로 연결된 해당 검색 사용자 이벤트에도 올바른 필터 정보가 포함되어 있는지 확인합니다.
이 검사에는 특정 토큰 연결 쌍의 일관성을 확인하고 이벤트에 있는 필터 데이터의 전체적인 일관성을 API 호출과 비교하여 확인하는 작업이 포함됩니다.
영향
- 동적 패싯을 사용하려면 검색 이벤트에 필터 문을 포함해야 합니다.
- Retail Search 모델은 검색 요청에 있는 필터에서 패싯 인기를 추론하며, 이는 최적의 동적 패싯 성능에 매우 중요합니다.
- 사용자 이벤트에 필터 데이터가 누락되었거나 잘못된 경우 필터와 관련된 사용자 상호작용에서 학습하는 모델의 기능이 저하됩니다.
- 이는 동적 패싯과 같은 기능의 학습 및 효과에 직접적인 영향을 미칩니다.
- 이 확인은 검색 결과, 대화형 검색, 동적 패싯과 관련된 문제를 디버깅하는 데도 유용합니다.
- 주로 동적 패싯 및 관련 기능에 대한 모델 학습에 영향을 미치지만 이러한 특정 기능의 성능을 정확하게 디버그하고 측정하는 기능에도 영향을 미칩니다.
- 동적 패싯과 관련된 모델 학습에 영향을 미치며 필터 데이터를 사용하는 기능의 디버깅 및 성능 분석 (측정)에 중요합니다.
설명
- 이 검사에서는 Search API에 전송된 검색 요청에 포함된 페이지로 나누기 매개변수 (오프셋) 및 정렬 기준 (order by)이 해당 검색 사용자 이벤트에 올바르게 표시되는지 확인합니다.
- 이러한 이벤트는 일반적으로 기여 분석 토큰을 사용하여 원래 요청에 연결됩니다.
- 이 검사를 통해 특정 토큰 연결 상호작용과 이벤트에서 전송되는 전체 데이터의 일관성이 보장됩니다.
- 이러한 이벤트 데이터의 일관성을 유지하는 것은 페이지로 나누기 또는 정렬이 포함된 사용자 여정을 디버깅하고 대화형 검색 및 동적 패싯과 같은 기능을 사용하는 데 중요합니다.
영향
- 불일치가 있으면 특정 페이지로 나누기 또는 정렬 조건에서 사용자가 검색 결과와 상호작용하는 방식을 정확하게 분석할 수 없습니다.
- 이로 인해 이러한 기능의 디버깅 작업에 영향을 미치고 성능을 정확하게 평가하기가 어려워집니다 (대화형 검색 또는 동적 패싯 성능과 같은 기능의 측정에 영향을 미침).
- 일관된 이벤트 데이터는 모델 학습의 기본이며, 불일치는 다양한 디스플레이 조건에서 사용자 행동 분석을 통해 도출된 통계에 간접적으로 영향을 미칠 수 있습니다.
- 요청 매개변수와 이벤트 값의 일관성은 클릭 기반 재순위 지정 모델의 성능에 중요한 것으로 언급됩니다.
- 이 변경사항은 주로 특정 기능의 디버깅 및 측정에 영향을 미치며, 페이지로 나누거나 정렬된 결과와의 사용자 상호작용을 이해하는 것과 관련된 모델 학습 효과에도 어느 정도 영향을 미칩니다.
설명
- 이 검사를 통해 로그인하지 않은 사용자에게 사용되는 고유 방문자 ID가 A/B 테스트 기간 동안 단일 실험 그룹 또는 레인 (통제 또는 테스트)에 할당된 상태로 유지됩니다.
- 트래픽 증가 또는 명시적 재셔플과 같은 계획된 변경사항이 없는 한 일관된 방문자 할당이 예상됩니다.
- 전환 감지는 방문자 ID로 식별되는 단일 사용자가 예기치 않게 실험 그룹 간에 이동하고 있음을 의미합니다.
- 이 문제는 이벤트 전송이 잘못되었거나, 이벤트에 실험 ID 태그가 잘못되었거나, 프런트엔드 구현 문제가 있거나, 검색 트래픽 라우팅이 잘못 구성된 경우에 발생할 수 있습니다.
영향
- 공정한 A/B 테스트를 위해서는 일관된 사이트 방문자 할당이 중요합니다.
- 사이트 방문자가 차선을 전환하면 사용자 이벤트 (클릭, 장바구니 추가, 구매)가 다른 실험 ID로 기록되어 전체 행동을 단일 환경에 정확하게 귀속시킬 수 없습니다. 이로 인해 각 차선의 핵심성과지표 (KPI)를 계산하는 데 사용되는 데이터가 손상되어 측정 결과가 왜곡되고 신뢰할 수 없게 됩니다.
- 특히 맞춤설정을 위한 Retail Search 모델 학습은 시간 경과에 따른 사용자 상호작용을 연결하고 구매를 이전 검색 이벤트에 귀속시키기 위해 일관된
visitorId및userId필드에 크게 의존합니다. - 방문자 ID 전환은 이 연결을 끊어 모델이 일관된 검색 환경 내에서 사용자의 여정을 효과적으로 학습하지 못하도록 합니다. 이는 측정과 모델 학습에 모두 큰 영향을 미칩니다.
설명
- 이 검사는 통제 그룹 또는 홀드아웃 트래픽에 속하는 실험 ID로 태그되었지만 예상치 않게 Google에서 생성한 기여 분석 토큰이 포함된 검색 사용자 이벤트를 구체적으로 살펴봅니다.
- 기여 분석 토큰은 Retail Search API에서 반환되며 Google에서 제공하는 트래픽의 후속 사용자 이벤트에 포함됩니다.
- 대조군 트래픽은 기존 검색엔진을 사용하며 Google 저작자 표시 토큰을 수신하거나 전송해서는 안 됩니다.
- 이 문제는 실험 ID 전환 확인과 관련이 있습니다. 이벤트가 잘못 태그되거나 라우팅되었음을 의미하기 때문입니다.
- 이 문제는 검색 응답 캐싱이 발생할 수 있음을 나타내며, 이로 인해 오래된 인벤토리와 오래된 순위로 인해 검색 성능과 사용자 환경이 저하될 수 있습니다.
영향
- 통제 그룹 이벤트에 Google 기여 분석 토큰이 있으면 기여 분석에 잘못된 태그가 지정됩니다.
- 즉, 통제 (비Google) 검색을 경험한 사용자의 이벤트가 Google 실험 트랙과 잘못 연결됩니다.
- 이렇게 하면 대조군 데이터가 포함되어 Google 트랙의 측정항목 계산이 왜곡되고, 인식된 실적이 왜곡되며, 측정이 무효화됩니다.
- 모델 학습 관점에서 모델은 기여도가 부여된 사용자 이벤트를 사용하여 검색 결과와의 상호작용을 학습합니다.
- 통제 그룹의 잘못된 기여도 이벤트를 포함하면 학습 세트에 관련성이 없거나 충돌하는 데이터가 도입되어 모델 성능이 저하될 수 있습니다.
- 이 검사는 측정과 모델 학습 모두에 영향을 미칩니다.
설명
- 이 검사는 Retail Search API 자체에 대한 수신 검색 요청 호출에 중점을 둡니다.
- 통제 그룹 또는 홀드아웃 트래픽으로 지정된 방문자 ID 또는 실험 ID에서 시작된 요청을 찾습니다.
- 이는 통제 또는 홀드아웃 그룹을 대상으로 하는 트래픽이 Google 실험 트랙의 API 엔드포인트로 잘못 전달되고 있음을 나타냅니다.
- 이 문제는 방문자 ID 전환 확인과 매우 유사하지만 사용자 이벤트 측면이 아닌 API 요청 측면에서 관찰됩니다.
영향
- 이 결과는 A/B 테스트의 트래픽 분할 및 라우팅 메커니즘에 근본적인 잘못된 구성이 있음을 나타냅니다.
- 대조군 트래픽이 Google API로 전송되면 실험 부문이 제대로 격리되지 않습니다.
- 이렇게 하면 A/B 테스트 설정이 무효화되고 비교의 공정성이 저하됩니다.
- 의도하지 않은 사용자가 포함되어 Google 레인의 트래픽 양과 구성이 부풀려지므로 측정에 직접적인 영향을 미쳐 부정확한 측정항목 계산 및 분석이 발생합니다.
- 모델 학습의 경우 API 로그 자체가 기본 학습 데이터는 아니지만, 잘못 라우팅된 트래픽으로 인해 생성된 후속 사용자 이벤트가 잘못된 것으로 간주되는 경우 학습 데이터에 노이즈와 잠재적으로 잘못된 신호가 도입됩니다.
- 이 문제는 측정과 모델 학습 모두에 영향을 미칩니다.
설명
- 이 검사에서는 사용자 (방문자 ID 또는 사용자 ID로 식별됨)에 대해 기록된 구매 완료 사용자 이벤트가 관리 또는 실험과 같이 할당된 A/B 테스트 트랙에 해당하는 올바른
experimentIds로 태그되었는지 확인합니다. - 사용자의 구매 이벤트가 구매로 이어진 관련 검색 작업을 수행할 때 속해 있던 실험 트랙이 아닌 다른 실험 트랙과 연결된 인스턴스를 감지합니다.
- 이 문제는 실험 그룹에 대한 일관된 방문자 할당을 유지하는 것과 밀접한 관련이 있으며 구매 완료 이벤트에 experimentId가 포함되어야 합니다.
영향
- 정확한 A/B 테스트를 위해서는 실험 트랙에 방문자를 일관되게 할당하는 것이 중요합니다.
- 구매 완료 이벤트에 잘못된 실험 ID가 태그되면 해당 트랙에 잘못된 기여도가 부여됩니다.
- 이로 인해 수익률, 구매주문서 비율, 평균 주문 금액, 전환율과 같이 차선별 구매 데이터를 사용하는 측정항목이 직접적으로 왜곡됩니다.
- 기여 분석이 잘못되면 실험 그룹 간의 실적을 정확하게 비교할 수 없으므로 A/B 테스트 측정 결과가 무효화되고 신뢰할 수 없게 됩니다.
- 모델 학습 관점에서 소매업 검색 모델, 특히 수익 또는 전환율을 최적화하는 모델은 사용자 상호작용 (예: 검색)을 후속 구매에 연결하여 전환으로 이어지는 결과를 파악하는 방식으로 학습합니다.
- 구매 이벤트를 검색에 다시 연결하기 위해 방문자, 사용자, 실험 ID를 사용하는 경우가 많은 적절한 기여 분석은 이러한 긍정적인 학습 예시를 만드는 데 필수적입니다.
- ID가 일치하지 않거나 실험 트랙 전환으로 인해 구매 이벤트의 기여도가 잘못 부여되면 학습 데이터가 잘못된 신호로 손상됩니다.
- 구매 이벤트에서 실험 ID가 전송되는 경우 유효함: 언급된 바와 같이 이 확인은
experimentIds가 올바르게 구현되고 구매 완료 사용자 이벤트 내에서 전송되는 경우에만 유효하며 영향을 미칩니다.
설명
- 구매 이벤트 확인과 마찬가지로 이 확인은 지정된 방문자 ID의 장바구니 추가 사용자 이벤트가 실험 ID 필드를 사용하여 사용자에게 할당된 실험 트랙과 올바르게 연결되어 있는지 확인합니다.
- 사용자가 할당되지 않은 트랙의 실험 ID로 장바구니 추가 이벤트가 태그된 케이스를 식별합니다.
- 이 문제는 다양한 이벤트 유형에서 일관되지 않은 방문자 ID 사용 또는 잘못된
experimentIds태그 지정으로 인해 발생할 수 있습니다.
영향
- 잘못 태그된 add_to_cart 이벤트는 이 사용자 동작이 실험 트랙에 잘못 기여 분석되도록 합니다.
- 특히 장바구니에 추가 비율이 전환 유입경로에서 중요한 단계로 간주되는 경우 장바구니에 추가 비율 및 전환율과 같은 측정항목이 직접적으로 왜곡됩니다.
- 부정확한 측정항목은 A/B 테스트 결과의 신뢰성과 실험의 영향을 올바르게 측정하는 기능을 저해합니다.
- 모델 학습 관점에서 장바구니 추가 이벤트는 모델, 특히 수익 최적화 모델이 학습하는 중요한 긍정적 신호 역할을 합니다.
- ID 또는
experimentIds태그가 일관되지 않아 이러한 이벤트가 잘못된 실험 트랙에 잘못 기여한 것으로 간주되면 모델이 노이즈가 있거나 잘못된 학습 신호를 수신합니다. - 장바구니 추가 이벤트에서 실험 ID가 전송되는 경우 유효함: 언급된 바와 같이 이 확인은
experimentIds가 올바르게 구현되고 장바구니 추가 사용자 이벤트 내에서 전송되는 경우에만 유효하며 영향을 미칩니다.
설명
- 이 검사는 기기 유형 (예: 모바일, 데스크톱, 앱)별로 분류된 사용자 활동의 분포가 각 사용자 이벤트 유형 (검색, 세부정보 페이지 조회, 장바구니에 추가, 구매)에 대해 관리 및 실험 트랙 전반에 걸쳐 균형을 이루는지 평가합니다.
- 통제 그룹과 테스트 그룹에서 모바일을 사용하여 사이트와 상호작용하는 사용자의 비율이 거의 동일하도록 하고, 다른 기기 유형도 마찬가지입니다.
- 심각한 왜곡이 감지되면 기기 유형에 따라 트래픽을 분할하거나 이벤트를 라우팅하는 데 사용되는 메커니즘에 문제가 있을 수 있습니다.
영향
기기 분포가 치우쳐져 있다는 것은 인구통계 분할 문제와 마찬가지로 사용된 기기 측면에서 통제 그룹과 테스트 그룹의 인구통계가 균형을 이루지 않는다는 의미입니다.
사용자 행동, 탐색 패턴, 전환율은 사용된 기기에 따라 크게 달라질 수 있습니다. 실험 트랙 간에 기기 분할이 불균형하면 A/B 테스트 비교에 편향이 발생하여 각 트랙의 주요 비즈니스 측정항목이 부정확하게 측정됩니다. 또한 한 그룹의 결과가 특정 기기 유형의 사용자 비율에 불균형적으로 영향을 미쳐 실험의 실제 영향을 파악하기 어려울 수도 있습니다.
기기 유형이 모든 모델에서 항상 직접적인 기능은 아니지만 트래픽의 균형을 유지하면 각 채널 내 사용자 이벤트에서 파생된 학습 데이터가 기기 전반의 사용자 행동의 실제 분포를 정확하게 반영할 수 있습니다. 불균형은 특정 기기의 사용자 행동을 과도하게 나타내거나 과소하게 나타내는 학습 데이터로 간접적으로 이어질 수 있으며, 이는 전체 사용자층에 최적으로 조정되지 않은 모델로 이어질 수 있습니다.
이벤트는 KPI 추적 및 일반적인 문제 해결의 기반을 형성합니다.
설명
- 이 검사는 유사한 검색어에 대해 관리 및 실험 트랙 간에 검색 사용자 이벤트에 포함된 필터 데이터를 비교합니다.
- 필터 정보가 올바르고 일관되게 캡처되며 차선 간에 패리티가 있는지 확인합니다.
- 여기에는 사용자에게 표시되는 사용 가능한 필터 옵션 (패싯)이 동일하거나 유사한지, 이벤트에서 전송된 필터 값이 예상 형식 또는 카탈로그 데이터와 일치하는지, 필터링을 위한 UI/UX가 유사한지 확인하는 작업이 포함됩니다.
- 필터가 캡처되지 않거나 잘못 캡처되거나 필터링 UI/옵션이 다른 경우 불일치가 발생할 수 있으며, 이는 일반적으로 카탈로그 또는 Search API의 구성 문제로 거슬러 올라갈 수 있습니다.
영향
- 실험 트랙 간 필터링 환경 또는 필터 데이터가 포착되는 방식의 차이는 사용자가 검색 결과와 상호작용하는 방식에 직접적인 영향을 미칠 수 있습니다.
- 한 레인에서 더 나은 또는 다른 필터링 옵션을 제공하는 경우 해당 레인의 사용자는 검색을 다르게 세부적으로 조정할 수 있으므로 사용자 행동이 달라지고 필터링된 검색의 전환율과 같은 측정항목에 영향을 미칠 수 있습니다.
- 이로 인해 A/B 테스트에 변수 편향이 도입되어 관찰된 측정항목 차이를 핵심 검색 순위 차이에만 귀속시키기가 어려워집니다.
- 이벤트에서 캡처된 필터 데이터가 부족하면 필터 사용량별로 분류된 실적 측정항목을 분석하는 기능도 제한되어 측정 통계에 영향을 미칩니다.
- 모델 학습의 경우 모델이 사용자 필터 사용 신호에서 패싯 인기를 학습하므로 검색 이벤트의 필터 정보는 동적 패싯 모델을 학습하는 데 중요합니다.
- 이벤트의 정확한 필터 사용 정보는 클릭 기반 재순위 지정 모델에도 중요합니다. 이벤트의 필터 값이 검색 요청의 필터 값과 일치하지 않으면 필터가 있는 쿼리에 대한 모델의 성능에 부정적인 영향을 미칩니다.
- 이벤트의 필터 데이터가 일관되지 않거나 누락되면 동적 패싯 및 필터링된 검색어의 재순위 지정과 관련된 모델 품질이 저하됩니다.
설명
- 이 검사에서는
attributionToken를 사용하여 검색 이벤트를 해당 검색 API 요청에 연결하여 특정 검색 사용자 여정을 검사합니다. - 기여 분석 토큰은 커머스용 Vertex AI Search에서 생성되고 각 검색 요청으로 반환됩니다.
- 이 검사는 검색 이벤트의
searchQuery필드를 기여 분석 토큰을 반환한 초기 검색 API 요청에서 전송된 실제 쿼리 문자열과 비교합니다. - 연결 기여 분석 토큰이 있음에도 불구하고 이러한 쿼리 문자열이 일치하지 않으면 사용자 이벤트에서 전송되는 searchQuery가 사용자의 원래 검색어를 정확하게 반영하지 않는다는 의미입니다.
영향
- 이 문제는 모델 학습에 큰 영향을 미칩니다.
- 상거래용 Vertex AI Search는 이벤트 데이터를 사용하여 모델을 학습시킵니다.
- 모델, 특히 클릭 기반 재순위 지정 모델은 클릭, 장바구니 추가, 구매와 같은 사용자 상호작용을 결과를 생성한 검색 요청에 다시 연결하여 학습합니다.
- 이 연결은
searchQuery및attributionToken필드를 비롯한 이벤트 내의 정확한 정보를 기반으로 합니다. - 이벤트의
searchQuery이 Search API 요청의 실제 쿼리와 일치하지 않으면 모델이 잘못된 데이터로 학습되어 사용자 행동이 잘못된 쿼리와 연결됩니다. - 모델이 결함이 있는 쿼리 데이터를 기반으로 최적화되지 않은 순위 지정 전략을 학습하므로 검색 결과 품질에 심각한 부정적 영향을 미칠 수 있습니다.
- 주로 모델 학습 품질에 영향을 미치지만, 잘못된 데이터로 학습된 모델은 성능이 저하될 수 있으므로 이벤트가 다른 방식으로 포착되더라도 A/B 테스트 결과가 왜곡될 수 있어 측정에도 간접적으로 영향을 미칠 수 있습니다.
설명
- 이 검사는 테스터가 검색, 제품 클릭 (
detail-page-view이벤트), 장바구니에 추가, 구매 등의 일련의 작업이 포함된 일반적인 사용자 여정을 시뮬레이션하는 수동 검증 프로세스입니다. - 테스터는 이러한 작업의 방문자 ID와 타임스탬프를 기록한 후 로그 또는 데이터 플랫폼에서 해당 특정 방문자 ID에 대해 기록된 사용자 이벤트를 가져옵니다.
- 목표는 사용자가 관찰한 작업과 시스템에 기록된 이벤트 간의 1:1 대응 관계를 확인하는 것입니다 (예: 검색 작업은 검색 이벤트, 클릭 또는
detail-page-view이벤트를 생성해야 함). - 이벤트 누락, 잘못된 방문자 ID가 있는 이벤트 또는 이벤트 내 손상된 데이터 (예: 제품 ID 또는 실험 ID 누락)는 이벤트 파이프라인에 문제가 있음을 나타냅니다.
영향
- 이 검사에서 확인된 문제는 측정과 모델 학습에 모두 큰 영향을 미칩니다.
측정
- 정확하고 완전한 사용자 이벤트는 A/B 테스트에서 검색 클릭률, 검색 전환율, 검색 장바구니 추가율, 방문자당 수익과 같은 주요 비즈니스 측정항목을 계산하는 데 기본이 됩니다.
- 이러한 측정항목은 사용자 행동 (클릭, 장바구니 추가, 구매)을 특정 검색 결과 및 실험 트랙에 기여도로 연결하는 데 기반합니다.
- 사용자의 이벤트가 누락되거나 손상되면 사용자의 행동이 완전히 포착되지 않아 사용자가 속한 실험 트랙의 측정항목이 잘못 계산됩니다.
- 이로 인해 편향과 노이즈가 발생하여 A/B 테스트 결과가 부정확해지고 의사 결정에 신뢰할 수 없게 됩니다. 예를 들어 구매 이벤트가 누락되면 전환율 및 수익 증가 측정항목에 직접적인 영향을 미칩니다.
모델 학습
- 상거래용 Vertex AI Search 모델은 사용자 행동 패턴을 학습하고 순위를 최적화하기 위해 사용자 이벤트 데이터를 기반으로 광범위하게 학습합니다.
- 방문자 및 사용자 ID는 맞춤설정 기능에 매우 중요하며, 학습 예시를 만들기 위해 이벤트를 연결하는 데도 필요합니다.
- 이벤트가 누락되거나 손상되면 모델이 해당 사용자의 상호작용 시퀀스에서 유용한 학습 신호를 잃게 됩니다. 예를 들어 구매 또는 장바구니에 담기 이벤트가 누락되면 모델이 전환으로 이어진 제품 상호작용을 학습할 수 없습니다.
- 마찬가지로 세부정보 페이지 조회 이벤트가 누락되면 모델이 클릭에 관한 신호를 받지 못합니다. 학습 데이터의 양과 품질이 감소하면 모델이 효과적으로 학습하는 능력이 저하되어 검색 결과 품질이 저하되고 ML 기반 검색 엔진을 사용하는 이점이 무효화될 수 있습니다.
- 방문자 ID 매핑 또는 형식이 일관되지 않아도 이 프로세스가 중단될 수 있습니다.
- 구매 이벤트가 누락되면 모델이 구매를 인식하지 못하므로 모델 학습에 영향을 미칩니다.