このページでは、A/B テストを実施して、Vertex AI Search for Commerce がビジネスに与える影響を理解する方法について説明します。
概要
A/B テストは、テストグループとコントロール グループという 2 つのグループを使用した無作為抽出テストです。テストグループは、別の処理（この場合は予測または Vertex AI Search for Commerce からの検索結果）を受け取ります。コントロールグループはこの処理を受け取りません。
A/B テストを実施する場合は、ユーザー イベントの記録時にユーザーがどのグループに属しているかに関する情報を含めます。この情報は、モデルを絞り込み、指標を提供するために使用されます。
アプリケーションの両方のバージョンが同じである必要がありますが、テストグループのユーザーには Vertex AI Search for commerce で生成された結果が表示され、コントロール グループは表示されません。両方のグループのユーザー イベントを記録してください。
トラフィック分割の詳細については、App Engine ドキュメントのトラフィックの分割をご覧ください。
テストのプラットフォーム
VWO や AB Tasty などのサードパーティのテスト プラットフォームを使用してテストを設定します。コントロール グループとテストグループはそれぞれ、そのプラットフォームから固有のテスト ID を取得します。ユーザー イベントを記録する際は、experimentIds フィールドにテスト ID を含めて、ユーザーが所属するグループを指定します。テスト ID を指定すると、コントロール グループとテストグループで確認されたアプリケーションのバージョンの指標を比較できます。
A/B テストのベスト プラクティス
A/B テストの目的は、サイトの更新の影響（この場合は Vertex AI Search for Commerce の使用）を正確に判断することです。影響を正確に測定するには、テスト結果に他の違いが入らず、影響を受けないように、テストを正しく設計して実施する必要があります。
推奨されるテスト ID のマッピング
テスト ID は A/B テストに使用されます。このテストでは、Vertex AI Search for Commerce と既存の検索ソリューションを比較できます。また、完全に導入された Vertex AI Search for Commerce サイトでテストを実行し、新しい構成、コントロール、ブースト仕様などをコントロール グループに対してテストする場合にも使用できます。
ユーザー イベントのテスト ID フィールドは配列であるため、より詳細な測定が可能です。
以下のようなユースケースが考えられます。
- Vertex AI Search for Commerce のパフォーマンスは、コントロール グループと比較する必要があります。
- 全体的なパフォーマンスを測定する必要があります。
- モバイル専用のパフォーマンスを測定する必要があります。
- パソコンのみのパフォーマンスを測定する必要があります。
- 検索とレコメンデーションのパフォーマンスも個別に測定する必要があります。
このような粒度の細かい測定を行うには、合計 10 個のテスト ID が必要になる場合があります。そのうち 4 個は、すべてのイベントのイベント テスト ID 配列で送信する必要があります。
| イベント コントロール グループのテスト ID | テスト（コマースを検索）イベント グループのテスト ID | ユーザー イベントのスコープ |
|---|---|---|
| 管理 | Vertex AI Search for Commerce | すべてのイベント |
Control_mobile |
Google_mobile |
すべてのモバイル イベント |
Control_desktop |
Google_desktop |
すべてのデスクトップ イベント |
Control_search |
Google_search |
すべての検索と関連イベント |
Control_recommendations |
Google_recommendations |
すべての推奨事項と関連イベント |
全体的なパフォーマンスを測定するには、イベントから導出された指標を、テスト ID が Control と Vertex AI Search for commerce のイベントで比較します。モバイル検索のパフォーマンスを測定するには、テスト ID が Control_mobile + Control_search のイベントから導き出された指標と、Google_mobile + Google_search のイベントから導き出された指標を比較します。
カテゴリの階層
コントロール グループとテストグループで、同じ商品に同じカテゴリ階層が設定されていることを確認します。たとえば、コントロール サイトでは、T シャツ商品のカテゴリ階層が clothing > mens > tops > tee-shirts となっており、テストサイトでは同じ商品が mens > popular > tops という別のカテゴリ階層に属しているとします。この設定により、対照群サイトとテストサイトで検索結果とカテゴリ ファセットが異なります。page_category はフィルタとともにブラウズ呼び出しの入力であるため、この問題はブラウザ エクスペリエンスに影響します。
A/B テスト前のユーザー エクスペリエンスの同等性
サイトで A/B テストを実施する準備として、正しいテスト ID マッピングを使用して実際のユーザーの検索トラフィックやおすすめトラフィックを Vertex AI Search for Commerce に送信する前に、コントロールとして使用される従来の検索バックエンドを備えたコマース サイトと、Vertex AI Search for Commerce バックエンドを備えたサイトとの間で、ユーザー インターフェースとエクスペリエンスの同等性を確認することが重要です。
検索クエリが指定された場合、制御検索バックエンドと Vertex AI Search for Commerce バックエンドの検索結果ページ間でテストする項目は次のとおりです。
ファセットの数は同じですか？そうでない場合は、Vertex AI Search for Commerce でファセット仕様と属性設定を確認します。ファセットは、ユーザーが最初の検索結果から目的の商品をフィルタして見つけるのに役立つため、重要です。ファセットがより適切で意味のあるものになるほど、ユーザーは希望の商品をより短時間で見つけられるようになります。そうでない場合、クリック数とスクロール数が増え、検索エクスペリエンスが損なわれ、最終的にコンバージョン率とクリック率に影響する可能性があります。また、検索の放棄につながる可能性もあります。そのため、コントロール サイトとテストサイトで同様のファセットを使用することで、ユーザーが商品を検索する際に、どちらかのサイトが有利になることはありません。
検索結果にスポンサーの商品を配置することは、多くの e コマースサイトでよく見られる機能です。ほとんどの場合、スポンサーの商品はオーガニック検索結果の一部ではありません。コントロール サイトとテストサイトの検索結果ページに表示されるプレースメントと商品が、同一ではないにしてもほぼ同じになるように注意する必要があります。そうしないと、収益パフォーマンス指標の測定にノイズが加わり、対照サイトとテストサイトのスポンサー プロダクトの独自性によっては、ノイズが大きくなる可能性があります。
その他、考慮すべきユーザー インターフェースの側面は次のとおりです。
- コントロール サイトとテストサイトで価格と割引の情報が同じであるか。
- 検索クエリに対して、予測入力で同じ候補が提案されていますか？
- ファセット値の順序は同じですか？
- 商品がリストやグリッドなど、同じスタイルで表示されているか。
最後のヒントと考慮事項
有意義な A/B テストを設計するには、次のヒントを参考にしてください。
A/B テストを設定する前に、予測または検索プレビューを使用して、モデルが予期したとおりに動作することを確認します。
テストグループとコントロール グループに対して、サイトの動作が同じであることを確認します。
サイトの動作には、レイテンシ、表示形式、テキスト形式、ページ レイアウト、画質、画像サイズが含まれます。コントロール グループとテストグループのエクスペリエンスの間でこれらの属性のいずれにも明確な違いはありません。
コマース向け Vertex AI Search から返される場合は結果を受け入れて表示し、返される順序と同じ順序で表示します。
在庫切れのアイテムの除外は、受け入れ可能です。ただし、ビジネスルールに基づいた結果のフィルタリングまたは順序付けはしないでください。
検索ユーザー イベントを使用し、必要なアトリビューション トークンを含める場合は、それらが正しく設定されていることを確認してください。詳しくは、属性トークンのドキュメントをご覧ください。
レコメンデーションまたは検索結果をリクエストする際に指定するサービス構成が、そのレコメンデーションまたは検索結果の意図と一致し、結果を表示する場所が一致していることを確認してください。
レコメンデーションを使用する場合、サービス構成は、モデルのトレーニング方法、つまり推奨される商品に影響します。詳細
既存のソリューションを Vertex AI Search for Commerce と比較する場合は、コントロール グループ エクスペリエンスをテストグループ エクスペリエンスから厳密に切り離します。
コントロール ソリューションがレコメンデーションや検索結果を提供しない場合は、コントロール ページで Vertex AI Search for Commerce から提供しないようにしてください。これを行うと、テスト結果が不正確になります。
ユーザーがコントロール グループとテストグループを切り替えないようご注意ください。これは同じセッション内で特に重要ですが、セッション間についても推奨されます。これにより、テストのパフォーマンスが向上し、統計的に有意な A/B テストの結果を迅速に取得できます。