適切なデータ アトリビューション、一貫したユーザー識別、正確なイベント トラッキングにより、信頼性の高い結果と最適なモデル パフォーマンスを実現できます。問題が発生すると、指標が歪んだり、比較に偏りが生じたり、トレーニング データが破損したりする可能性があります。このような結果は、十分な情報に基づく意思決定や検索の改善を妨げます。
始める前に
A/B テストの実施に関する一般的なガイダンスを参照してください。
テスト コンポーネント
スターター A/B チェックには、次のテスト コンポーネントが組み込まれています。
訪問者 ID: ログイン状態に関係なく、デバイス上の訪問者をトラッキングするために必要です。訪問者がログインまたはログアウトしても変更されません。ユーザー ジャーニーの間にユーザーがログインした場合、訪問者 ID は一定のままです。
セッション ID: サイト訪問者のインタラクション セッションをトラッキングします。一定期間内のユーザーの行動をまとめたものとして定義されます。通常、30 分間操作がないと終了します。
ユーザー ID: ログイン中のユーザーの永続的な識別子（顧客 ID など）。デバイス間でパーソナライズに使用されるため、強く推奨されます。常にハッシュ値である必要があります。
アトリビューション トークン: すべての検索レスポンスで返されるハッシュトークン。検索クエリ パラメータが完全に一致するかどうかに関係なく、アトリビューション トークンは一意です。
説明
このチェックでは、A/B テストでユニーク ユーザー ID の数がコントロール グループとテストグループにランダムに分割されていることを確認します。
訪問者 ID は、単一のデバイス上のユーザーの一意の識別子です。
影響
訪問者 ID の不公平な分割は A/B テストの測定エラーの原因となってきました。
特定のタイプの訪問者（大量のプローブ トラフィックを送信する bot の訪問者など）がテスト群に偏って含まれている場合、そのテスト群の指標にマイナスの影響が及ぶ可能性があります。これにより、主要業績評価指標の比較が歪み、モデル トレーニングに直接影響するわけではありませんが、測定に大きな影響が生じます。
説明
このチェックにより、ログイン ユーザーを表す一意のユーザー ID の数がコントロール グループとテストグループの間で均等に分布していることを確認します。ユーザー ID はデバイス間で一貫している必要があります。
影響
影響は訪問者 ID と同様です。ログイン ユーザーがテストレーンとコントロール レーンにランダムに割り当てられないと、人口統計情報の分割に偏りが生じる可能性があります。
たとえば、テストグループに新規ユーザーが大部分を占め、高額購入者がコントロール グループに残っている場合、指標は一方に有利なように見えます。
これは、測定と重要業績評価指標（KPI）の比較に影響します。
説明
このチェックでは、トランザクション数が多いユーザーやリピート購入者の分布（多くの場合、訪問者 ID と購入履歴で特定される）がテストレーン全体で均等かどうかを特に確認します。
目標は、これらの高額購入ユーザーを均等に分割することです。
影響
- 収益に大きく貢献するパワーユーザーの分布が均等でないと、テストグループ間の KPI の比較が大きく偏る可能性があります。
- 消費習慣などのユーザー属性情報に基づくバイアスをデバッグするのは複雑になる可能性があります。
- この影響は、訪問者あたりの収益（RPV）やセッションあたりの収益などの収益ベースの指標に特に大きく現れます。
- A/B テストにおける測定精度の影響を強調します。
説明
このチェックでは、検索レスポンスで返されたアトリビューション トークンが、その検索の結果として得られた検索イベントに正しく含まれていることを確認します。
アトリビューション トークンは、Vertex AI Search for Commerce がイベントを生成した検索にリンクするために必要です。
- これは通常、Vertex AI Search によって提供されるトラフィックに関連します。
- この問題は、検索レスポンスのキャッシュ保存の可能性も示しています。キャッシュ保存により、在庫の鮮度が低下し、ランキングが古くなるため、検索のパフォーマンスとユーザー エクスペリエンスが低下します。
影響
トークンを使用した適切なアトリビューションは、クリックや購入などのユーザー行動を特定の検索 API 呼び出しにリンクするために不可欠です。トークンがないと、検索イベントが別の検索プロバイダによるものとして誤って使用され、後続のイベントを検索に正確にリンクできなくなります。
不正確なアトリビューション トークンや欠落したアトリビューション トークンは、モデルのトレーニングを妨げます。これは、ランキング モデルをトレーニングするための正例と負例を生成するために、イベントデータ（検索後の購入など）をリンクするために使用されるためです。また、A/B テスト中にパフォーマンスを評価するうえで不可欠な、検索あたりの収益などの検索あたりの指標を正確に計算することもできなくなります。
これは、モデルのトレーニングと測定、パフォーマンス分析の両方に影響します。
説明
このチェックにより、Search API への検索リクエスト呼び出しで使用される訪問者 ID とユーザー ID が、後続の検索ユーザー イベントに含まれる訪問者 ID とユーザー ID と同じであることが確認されます（可能であれば、その検索インタラクションに関連する詳細ページ ビュー、カートに追加、購入完了の各イベントも確認されます）。
visitorIdフィールドとuserIdフィールドは、それぞれ単一のデバイス上のユーザーの一意の識別子です。- 検索がユーザーのアクティビティを正しく識別するには、検索リクエストとユーザー イベント全体で訪問者 ID とユーザー ID の形式を統一する必要があります。
- デバッグ アプローチでは、訪問者 ID とユーザー ID を使用してインタラクションをトレースすることがあります。
影響
不一致は、イベントの欠落やデータの破損などの潜在的な問題を示します。
訪問者 ID とユーザー ID は、特にパーソナライズ機能において、Retail Search モデルのトレーニングに不可欠です。購入を正確にアトリビューションするには、訪問者 ID とユーザー ID を一貫して使用する必要があります。
Vertex AI Search for Commerce は、訪問者 ID を使用して、ユーザーが閲覧した検索結果と、同じ訪問者 ID が後で表示された商品を購入したかどうかをリンクします。検索からクリック、カートに追加、購入までのデータをリンクして、ランキング モデルのトレーニング用の正例と負例を生成するために使用されます。
訪問者 ID が一致しない場合、購入イベントをその前の検索や詳細ページの閲覧に関連付けることができなくなり、検索に続く購入がないように見えるため、ブレークが発生します。これにより、モデルのトレーニングが中断されるだけでなく、検索あたりの収益などの検索ごとの指標の計算も困難になります。もう 1 つの課題は、ユーザー イベントを検索に正確にリンクすることに依存する、訪問者あたりの収益、コンバージョン率、平均注文額などの重要業績評価指標（KPI）を正確に計算することです。そのため、このチェックはモデルのトレーニングと測定の両方に影響します。
説明
このチェックでは、特定のテストレーン（特に Google レーン）の Search API に対して行われた検索リクエストの数と、その同じレーンで記録された検索ユーザー イベントの数を比較します。
収集された検索イベントの数は、行われた検索 API 呼び出しの数とほぼ一致することが想定されます。
影響
- 大きな不一致は、ユーザー イベントが適切に収集または Google に送信されていないことを示します。
- これは、イベントの取り込みに関する問題（イベントの欠落や不完全なイベント）や、ユーザー イベントにテスト ID が正しくタグ付けされていないことが原因で発生する可能性があります。
- イベントでキャプチャされたユーザー インタラクションは、結果を最適化するために必要なフィードバックをモデルに提供するため、適切なユーザー イベントの収集は不可欠です。
- イベントが欠落している場合、モデルのトレーニングに使用されるデータが少なくなり、パフォーマンスに悪影響を及ぼす可能性があります。
- A/B テストの評価に使用される指標（クリック率、コンバージョン率、収益指標など）の精度と信頼性は、ユーザー イベント データの完全性と正確性に完全に依存します。
- イベントが欠落すると、これらの指標を正確に計算できなくなり、パフォーマンス分析が偏ったり、A/B テストの結果が信頼できなくなったりします。
- API 呼び出しとイベントのクエリ数の不一致は、モデルのトレーニングと測定の両方に影響します。
説明
このチェックでは、ユーザーが検索結果にフィルタを適用したとき（検索リクエストに反映されます）、アトリビューション トークンでリンクされた対応する検索ユーザー イベントにも正しいフィルタ情報が含まれていることを確認します。
このチェックでは、特定のトークンリンク ペアの一貫性を検証するだけでなく、イベントに存在するフィルタデータと API 呼び出しの全体的な一貫性も検証します。
影響
- 動的ファセットを使用するには、検索イベントにフィルタ ステートメントを含める必要があります。
- Retail Search モデルは、検索リクエストに存在するフィルタからファセットの人気度を推測します。これは、最適な動的ファセット パフォーマンスを実現するために重要です。
- ユーザー イベントでフィルタデータが欠落しているか、正しくない場合、フィルタを含むユーザー操作からモデルが学習する能力が低下します。
- これは、動的ファセットなどの機能のトレーニングと有効性に直接影響します。
- このチェックは、検索結果、会話型検索、動的ファセットに関連する問題のデバッグにも役立ちます。
- 主な影響は、動的ファセットと関連機能に特化したモデル トレーニングに及びますが、これらの特定の機能のパフォーマンスを正確にデバッグして測定する機能にも影響します。
- 動的ファセットに関連するモデル トレーニングに影響します。フィルタ データに依存する機能のデバッグとパフォーマンス分析（測定）に重要です。
説明
- このチェックでは、Search API に送信された検索リクエストに含まれるページネーション パラメータ（オフセット）と並べ替え条件（並べ替え）が、対応する検索ユーザー イベントで正しく表されていることを確認します。
- 通常、これらのイベントはアトリビューション トークンを使用して元のリクエストにリンクされます。
- このチェックにより、特定のトークンリンクされたインタラクションとイベントで送信されるデータ全体の整合性が確保されます。
- イベントデータのこの一貫性を維持することは、ページネーションや並べ替えを含むユーザー ジャーニーのデバッグや、会話型検索や動的ファセットなどの機能にとって重要です。
影響
- 不一致があると、特定のページ設定や並べ替え条件でユーザーが検索結果をどのように操作しているかを正確に分析できなくなります。
- これにより、これらの機能のデバッグ作業に影響が生じ、パフォーマンスを正確に評価することが難しくなります（会話型検索や動的ファセットなどの機能のパフォーマンスの測定に影響します）。
- 一貫性のあるイベントデータはモデルのトレーニングの基礎となるものであり、一貫性がないと、さまざまな表示条件でのユーザー行動分析から得られる分析情報に間接的に影響する可能性があります。
- クリックベースのランキング モデルのパフォーマンスには、リクエスト パラメータとイベント値の一貫性が重要であるとされています。
- これは主に、特定の機能のデバッグと測定に影響します。また、ページネーションされた結果や並べ替えられた結果に対するユーザーの操作を理解することに関連するモデル トレーニングの有効性にも、ある程度影響します。
説明
- このチェックにより、一意の訪問者 ID（ログインしていないユーザーに使用）が A/B テスト期間中、単一のテストグループまたはレーン（コントロールまたはテスト）に割り当てられたままになります。
- トラフィックの段階的な増加や明示的な再シャッフルなどの計画的な変更がない限り、一貫した訪問者の割り当てが想定されます。
- 切り替えの検出とは、訪問者 ID で識別される 1 人のユーザーが、予期せずテストグループ間を移動していることを意味します。
- これは、イベントの送信が適切でない、イベントのテスト ID タグ付けが正しくない、フロントエンドの実装に問題がある、検索トラフィックのルーティングが正しく構成されていないなどの問題が原因で発生する可能性があります。
影響
- 公平な A/B テストを行うには、サイト訪問者の割り当てを一貫して行うことが重要です。
- サイト訪問者がレーンを切り替えると、ユーザー イベント（クリック、カートに追加、購入）が異なるテスト ID で記録される可能性があり、全体的な行動を 1 つのテストに正確に帰属させることができなくなります。これにより、各レーンの重要業績評価指標（KPI）の計算に使用されるデータが破損し、測定結果が偏って信頼性が低下します。
- 小売検索モデルのトレーニング（特にパーソナライズ）では、一貫した
visitorIdフィールドとuserIdフィールドを使用して、ユーザーのインタラクションを時系列でリンクし、購入を先行する検索イベントに帰属させることが重要です。 - 訪問者 ID の切り替えによりこのリンクが切断され、モデルは一貫した検索エクスペリエンス内のユーザーの行動を効果的に学習できなくなります。これは、測定とモデルのトレーニングの両方に大きな影響を与えます。
説明
- このチェックでは、コントロール グループまたはホールドアウト トラフィックに属するテスト ID でタグ付けされているにもかかわらず、Google が生成したアトリビューション トークンが予期せず含まれている検索ユーザー イベントを特に確認します。
- アトリビューション トークンは Retail Search API によって返され、Google が配信するトラフィックの以降のユーザー イベントに含めることを目的としています。
- コントロール トラフィックは既存の検索エンジンを使用し、Google アトリビューション トークンを受信または送信しません。
- この問題は、イベントが誤ってタグ付けまたはルーティングされていることを意味するため、テスト ID の切り替えチェックに関連しています。
- この問題は、検索レスポンスのキャッシュ保存の可能性を示している場合があります。キャッシュ保存により、在庫の鮮度が低下し、ランキングが古くなるため、検索のパフォーマンスとユーザー エクスペリエンスが低下します。
影響
- コントロール グループのイベントに Google アトリビューション トークンが存在すると、アトリビューションが誤ってタグ付けされます。
- つまり、コントロール（Google 以外）の検索を体験したユーザーのイベントが、Google のテストレーンに誤って関連付けられていることになります。
- これにより、コントロール グループのデータが Google レーンの指標の計算に直接含まれ、認識されるパフォーマンスが歪められ、測定が無効になります。
- モデルのトレーニングの観点から見ると、モデルはアトリビューションされたユーザー イベントを使用して、検索結果とのインタラクションから学習します。
- コントロール グループの誤って帰属されたイベントを含めると、トレーニング セットに無関係なデータや競合するデータが導入され、モデルのパフォーマンスが低下する可能性があります。
- このチェックは、測定とモデルのトレーニングの両方に影響します。
説明
- このチェックでは、Retail Search API 自体への受信検索リクエスト呼び出しに重点を置いています。
- コントロール グループまたはホールドアウト トラフィック用に指定された訪問者 ID またはテスト ID から発信されたリクエストを探します。
- これは、コントロール グループまたはホールドアウト グループを対象とするトラフィックが、Google のテストレーンの API エンドポイントに誤って転送されていることを示します。
- この問題は、訪問者 ID の切り替えチェックと非常によく似ていますが、ユーザー イベント側だけでなく、API リクエスト側からも確認されます。
影響
- この結果は、A/B テストのトラフィック分割とルーティング メカニズムの基本的な構成ミスを示しています。
- 対照群のトラフィックが Google API に送信されると、テスト群が適切に分離されません。
- これにより、A/B テストの設定が無効になり、比較の公平性が損なわれます。
- Google レーンのトラフィック量と構成が意図しないユーザーを含めることで膨張し、指標の計算と分析が不正確になるため、測定に直接影響します。
- モデル トレーニングでは、API ログ自体は主なトレーニング データではありませんが、この誤ったトラフィックによって生成された後続のユーザー イベントも誤って帰属している場合、トレーニング データにノイズが入り、誤ったシグナルが混入する可能性があります。
- この問題は、測定とモデル トレーニングの両方に影響します。
説明
- このチェックでは、ユーザー（訪問者 ID またはユーザー ID で識別）に対して記録された購入完了のユーザー イベントに、割り当てられた A/B テストレーン（コントロールまたはテストなど）に対応する正しい
experimentIdsがタグ付けされていることを検証します。 - ユーザーの購入イベントが、購入につながる関連する検索アクションを行ったときにユーザーが属していたテストレーン以外のテストレーンに関連付けられているインスタンスを検出します。
- この問題は、テストグループへの訪問者の割り当ての一貫性を維持することに密接に関連しており、購入完了イベントに experimentId が含まれていることが前提となります。
影響
- 正確な A/B テストを行うには、テストレーンへの訪問者の割り当てを一貫して行うことが重要です。
- 購入完了イベントに誤って間違ったテスト ID がタグ付けされている場合、そのレーンに誤って割り当てられます。
- これにより、収益率、購入注文率、平均注文額、コンバージョン率など、レーンごとの購入データに依存する指標が直接的に歪められます。
- アトリビューションが誤っていると、さまざまなテストグループのパフォーマンスを正確に比較できなくなり、A/B テストの測定結果が無効で信頼性の低いものになります。
- モデルのトレーニングの観点から見ると、小売検索モデル（特に収益またはコンバージョン率の最適化を目的とするモデル）は、ユーザーのインタラクション（検索など）をその後の購入にリンクさせて、どの結果がコンバージョンにつながるかを把握することでトレーニングされます。
- 購入イベントを検索に結び付けるために、サイト訪問者、ユーザー、テストの ID を使用する適切なアトリビューションは、このようなポジティブなトレーニング例を作成するために不可欠です。
- ID の不整合やテストレーンの切り替えが原因で、購入イベントが誤って割り当てられると、トレーニング データが誤ったシグナルで破損します。
- 購入イベントでテスト ID が送信される場合に有効: 前述のとおり、このチェックは、
experimentIdsが正しく実装され、購入完了ユーザー イベント内で送信される場合にのみ有効で、効果があります。
説明
- 購入イベントのチェックと同様に、このチェックでは、特定の訪問者 ID のカートに追加ユーザー イベントが、テスト ID フィールドを使用して、ユーザーに割り当てられたテストレーンに正しく関連付けられていることを確認します。
- ユーザーが割り当てられていないレーンのテスト ID がカートに追加イベントにタグ付けされているケースを特定します。
- この問題は、異なるイベントタイプ間での訪問者 ID の使用の一貫性の欠如や、
experimentIdsタグ付けの誤りが原因で発生することがあります。
影響
- 誤ってタグ付けされたカートに追加イベントは、このユーザー行動がテストレーンに誤って割り当てられる原因となります。
- 特に、カートイン率がコンバージョン ファネルの重要なステップと見なされている場合、カートイン率やコンバージョン率などの指標が直接歪められます。
- 指標が不正確だと、A/B テストの結果の信頼性が損なわれ、テストの影響を正確に測定できなくなります。
- モデル トレーニングの観点から見ると、「カートに追加」イベントは、モデル（特に収益最適化モデル）が学習する重要なポジティブ シグナルとして機能します。
- ID または
experimentIdsタグ付けの不整合により、これらのイベントが誤って間違ったテストレーンに割り当てられると、モデルはノイズの多いトレーニング シグナルや誤ったトレーニング シグナルを受け取ります。 - カートに追加イベントでテスト ID が送信される場合に有効: 前述のとおり、このチェックは、
experimentIdsが正しく実装され、カートに追加ユーザー イベント内で送信される場合にのみ有効で、影響があります。
説明
- このチェックでは、デバイスタイプ（モバイル、パソコン、アプリなど）別に分類されたユーザー アクティビティの分布が、各タイプのユーザー イベント（検索、商品詳細ページの閲覧、カートに追加、購入）のコントロール レーンとテスト レーンでバランスが取れているかどうかを評価します。
- この方法では、モバイルを使用してサイトにアクセスするユーザーの割合が、コントロール グループとテストグループでほぼ同じになるように調整されます。他のデバイスタイプについても同様です。
- 大きなスキューが検出された場合は、デバイスタイプに基づいてトラフィックを分割したり、イベントをルーティングしたりするために使用されるメカニズムに問題がある可能性があります。
影響
デバイスの分布が偏っているとは、使用されているデバイスに関して、コントロール グループとテストグループの人口統計学的バランスが取れていないことを意味します。これは、人口統計学的分割の問題と似ています。
ユーザーの行動、閲覧パターン、コンバージョン率は、使用するデバイスによって大きく異なる可能性があります。そのため、テストレーン間でデバイスの分割が不均衡になると、A/B テストの比較にバイアスが導入され、各レーンの主要なビジネス指標の測定が不正確になります。また、特定のデバイスタイプのユーザーの割合が一方のグループで高くなったり低くなったりすると、そのグループの結果が不均衡に影響を受けるため、テストの真の影響を判断しにくくなることもあります。
デバイスタイプはすべてのモデルで直接的な特徴とは限りませんが、トラフィックのバランスを確保することで、各レーン内のユーザー イベントから導出されるトレーニング データが、デバイス間のユーザー行動の実際の分布を正確に反映するようになります。不均衡があると、特定のデバイスのユーザー行動が過大または過小に表されるトレーニング データが間接的に生成され、ユーザーベース全体に対して最適に調整されていないモデルが生成される可能性があります。
イベントは、KPI のトラッキングと一般的なトラブルシューティングの基礎となります。
説明
- このチェックでは、類似する検索クエリについて、検索ユーザー イベントに含まれるフィルタデータをコントロール レーンとテスト レーンで比較します。
- フィルタ情報が正しく、一貫して、レーン間で同等にキャプチャされていることを確認します。
- これには、ユーザーに提示されるフィルタ オプション（ファセット）が同じか同等であるか、イベントで送信されるフィルタ値が想定される形式やカタログデータと一致するか、フィルタリングの UI/UX が同等であるかを確認することが含まれます。
- フィルタがキャプチャされていない、正しくキャプチャされていない、フィルタリングの UI やオプションが異なる場合、不一致が生じる可能性があります。通常、これはカタログまたは検索 API の構成の問題に起因します。
影響
- テストレーン間でフィルタリング エクスペリエンスやフィルタデータの取得方法が異なると、ユーザーが検索結果を操作する方法に直接影響する可能性があります。
- 一方のレーンでより優れたフィルタリング オプションが提供されている場合、そのレーンのユーザーは検索を異なる方法で絞り込む可能性があるため、ユーザー行動にばらつきが生じ、フィルタリングされた検索のコンバージョン率などの指標に影響する可能性があります。
- これにより、A/B テストに変数バイアスが導入され、観測された指標の差をコア検索ランキングの差のみに帰属させることが難しくなります。
- イベントでキャプチャされたフィルタデータがないと、フィルタの使用状況でスライスされたパフォーマンス指標を分析する機能も制限され、測定結果に影響します。
- モデル トレーニングでは、検索イベントのフィルタ情報が動的ファセット モデルのトレーニングに不可欠です。モデルは、ユーザーのフィルタ使用シグナルからファセットの人気度を学習するためです。
- イベント内の正確なフィルタ使用情報も、クリックベースの再ランキング モデルにとって重要です。イベント内のフィルタ値が検索リクエスト内のフィルタ値と一致しない場合、フィルタを含むクエリに対するモデルのパフォーマンスに悪影響が及びます。
- イベントのフィルタデータに一貫性がない場合や欠落している場合、動的ファセットとフィルタされたクエリの再ランキングに関連するモデルの品質が低下します。
説明
- このチェックでは、
attributionTokenを使用して検索イベントを対応する Search API リクエストにリンクし、特定の検索ユーザー ジャーニーを調べます。 - アトリビューション トークンは、Vertex AI Search for Commerce によって生成され、検索リクエストごとに返されます。
- このチェックでは、検索イベントの
searchQueryフィールドと、アトリビューション トークンを返した最初の Search API リクエストで送信された実際のクエリ文字列を比較します。 - リンク アトリビューション トークンが存在するにもかかわらず、これらのクエリ文字列が一致しない場合は、ユーザー イベントで送信される searchQuery がユーザーの元の検索クエリを正確に反映していないことを示します。
影響
- この問題はモデル トレーニングに大きな影響を与えます。
- Vertex AI Search for Commerce は、イベントデータを使用してモデルをトレーニングします。
- モデル（特にクリックベースの再ランキング モデル）は、ユーザー インタラクション（クリック、カートに追加、購入など）を結果を生成した検索リクエストにリンクすることで学習します。
- このリンクは、
searchQueryフィールドやattributionTokenフィールドなど、イベント内の正確な情報に依存しています。 - イベントの
searchQueryが Search API リクエストの実際のクエリと一致しない場合、モデルは誤ったデータでトレーニングされ、ユーザーの行動が誤ったクエリに関連付けられます。 - モデルが欠陥のあるクエリデータに基づいて最適でないランキング戦略を学習するため、検索結果の品質に重大な悪影響が生じる可能性があります。
- 主な影響はモデルのトレーニングの質に及びますが、間接的に測定にも影響する可能性があります。たとえば、不適切なデータでトレーニングされたモデルはパフォーマンスが低くなる可能性があり、イベントが適切にキャプチャされていても、A/B テストの結果が偏る可能性があります。
説明
- このチェックは手動の検証プロセスです。テスターは、検索、商品のクリック（
detail-page-viewイベント）、カートへの追加、購入などの一連のアクションを含む一般的なユーザー ジャーニーをシミュレートします。 - テスターは、これらのアクションの訪問者 ID とタイムスタンプを記録し、その特定の訪問者 ID のユーザー イベントをログまたはデータ プラットフォームから取得します。
- このテストの目的は、ユーザーの操作とシステムに記録されたイベント（検索操作で検索イベント、クリック、
detail-page-viewイベントが生成されるなど）の 1 対 1 の対応関係を確認することです。 - イベントの欠落、訪問者 ID が正しくないイベント、イベント内のデータ（商品 ID やテスト ID など）の破損は、イベントのパイプラインに問題があることを示しています。
影響
- このチェックで特定された問題は、測定とモデル トレーニングの両方に大きな影響を与えます。
測定
- 正確で完全なユーザー イベントは、検索クリック率、検索コンバージョン率、検索カート追加率、訪問者あたりの収益など、A/B テストで重要なビジネス指標を計算するうえで不可欠です。
- これらの指標は、ユーザーの行動（クリック、カートに追加、購入）を特定の検索結果とテストレーンに帰属させることに基づいています。
- ユーザーのイベントが欠落しているか破損している場合、ユーザーのアクションが完全にキャプチャされず、ユーザーが属していたテストレーンのこれらの指標が正しく計算されません。
- これにより、バイアスとノイズが導入され、A/B テストの結果が不正確になり、意思決定に信頼性がなくなります。たとえば、購入イベントが欠落していると、コンバージョン率と収益増加率の指標に直接影響します。
モデルのトレーニング
- Vertex AI Search for Commerce モデルは、ユーザー イベントデータで広範なトレーニングを行い、ユーザーの行動パターンを学習してランキングを最適化します。
- 訪問者 ID とユーザー ID は、パーソナライズ機能と、イベントをリンクしてトレーニング例を作成するために不可欠です。
- イベントが欠落または破損すると、モデルはそのユーザーのインタラクション シーケンスから貴重なトレーニング シグナルを失います。たとえば、購入イベントやカートに追加イベントがないと、どの商品インタラクションがコンバージョンにつながったかをモデルで学習できません。
- 同様に、詳細ページの表示イベントがない場合、モデルはクリックに関するシグナルを取得しません。トレーニング データの量と品質が低下すると、モデルが効果的に学習する能力が低下し、検索結果の品質が低下します。また、ML ベースの検索エンジンを使用するメリットがなくなる可能性もあります。
- 訪問者 ID のマッピングや形式に一貫性がない場合も、このプロセスが中断される可能性があります。
- 購入イベントがないと、モデルが購入を認識しないため、モデルのトレーニングに影響します。