监控和分析 A/B 实验

本页介绍了如何在 Gemini Enterprise for Customer Experience 控制台的 AI Commerce Search 中监控 A/B 实验流量，并比较搜索的关键业务指标。

概览

您可以开展 A/B 实验，比较现有搜索实现与 AI Commerce Search 之间的关键业务指标。

设置实验及其流量拆分后，您可以使用 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 实验页面监控实验流量并查看业务指标。

如需在控制台中设置 A/B 实验监控，您需要输入有关 A/B 测试的信息，例如名称、时间范围和实验组信息。每个实验变体组都对应于您为 A/B 实验创建的实验组，其中您在控制台中设置的第一个组会被视为基准对照组。

每个实验都有一个监控标签页，其中显示流量分配指标，可帮助您确定 A/B 测试是否设置正确。这对于验证 A/B 测试中是否引入了偏差非常重要。例如，需要注意的一个典型问题是，某些搜索查询或类别是否由一个实验组提供服务，但其他实验组不提供服务。

每个实验还都有一个 Analytics（分析）标签页，您可以在其中查看关键业务指标的比较情况。其中包括两类业务指标：

  • 每次搜索或每次浏览的指标，例如每次搜索的点击次数。
  • 每次搜索或每次浏览访问的指标，例如每次浏览访问的收入。

如需查看指标的完整列表，请参阅指标列表。

每个业务指标都会提供原始值、与基准对照组相比的相对升幅以及 95% 置信区间。您可以查看汇总指标和按日期显示的指标。

“流量监控”标签页会显示是否发生了意外的流量分配以及发生日期。系统会比较实际流量分配百分比与您在设置监控时输入的预期分配百分比，以确定是否存在意外的流量分配。如果相对差异等于或小于 10%，则认为流量分配正确。例如，如果流量本应在两个实验组之间平均分配，那么实际分配比例为 45% 到 55% 只是在预期范围内。

您可以使用控制台同时监控多个实验。

实验日期和按日期划分的指标使用 America/Los_Angeles 作为时区，并使用 America/Los_Angeles 时间 12:00 AM 作为开始日期和结束日期。

无论实验是正在进行、已完成还是待处理，您都可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体组数量、实验 ID 和预期流量分配百分比。数据会追溯更新。

监控和分析 A/B 实验有以下要求/限制：

  • 您可以跟踪的实验数据的时间范围上限为 180 天。如果实验开始时间已超过 180 天，系统不会捕获早于该时间的指标。

  • 按查询或按类别进行的流量监控仅返回实验中所有变体组获得流量最多的前 100 个查询或类别。

准备工作

在 Gemini Enterprise for Customer Experience 控制台中为 A/B 实验设置 AI Commerce Search 监控之前，请执行以下操作：

  • 为现有搜索实现和 AI Commerce Search 提供的事件设置用户事件注入。

  • 查看 A/B 实验最佳实践。

  • 使用第三方实验平台（如 Google 优化工具或 Optimizely）来设置实验。

  • 为每个实验组设置并记录用户事件 experimentIds。 设置实验监控时，您需要为每个变体组指定实验 ID。

在控制台中添加实验

请按照以下步骤操作，在 Gemini Enterprise for Customer Experience 控制台的 AI Commerce Search 中添加要监控的新实验：

在此过程中，您将在 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 中创建与您在第三方实验平台中创建的现有实验组对应的变体组。如需查看变体实验组如何映射到现有实验组的示例，请参阅实验设置示例。

添加实验详细信息

在控制台中添加实验并输入其详细信息。

  1. 前往 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 实验页面。

    前往“实验”页面

  2. 点击添加实验。

    系统会打开新实验页面。

  3. 输入实验的名称。

  4. 选择实验的开始日期和结束日期。

    如果您的实验流量设置为逐步增加，请将开始日期设置为流量增加完成且流量分配稳定后的日期。

  5. 选择相应实验所跟踪的活动类型：

    • 浏览：按网页类别浏览网站上的内容。浏览活动通过搜索响应中的空查询来表示。

    • 搜索：您网站上的文字查询搜索。

接下来，为实验创建变体组。

添加变体

在控制台中添加实验详细信息后，创建与每个实验组对应的变体实验组。

您设置的第一个变体实验组是基准变体。基准通常代表现有解决方案。

在开始之前，请确保您已为每个实验组设置用户事件 experimentIds。

  1. 点击添加变体实验组。

    系统会打开创建变体实验组面板。

  2. 输入与此变体实验组将监控的实验设置关联的用户事件 experimentId：

    • 如果您要设置第一个变体组：请输入与作为基准的基准组关联的用户事件 experimentId。

    • 如果您已设置基准变体臂：输入与下一个实验组关联的用户事件 experimentId。

  3. 为此变体实验组输入一个直观易懂的名称。

    此名称会显示在控制台的监控信息中心内。

  4. （可选）提供此变体实验组的说明。

  5. 选择投放流量的目标页面：

    • Google AI Commerce Search API：此变体组会监控 AI Commerce Search 结果的流量。

    • 外部：如果此变体组监控来自外部服务的流量以获取结果。例如，如果实验是将现有服务的流量与 AI 商业搜索流量进行比较，则基准（或对照）变体组可能代表外部目的地。

  6. 点击创建以完成此变体组的创建。

    变体实验组会显示在新实验页面上。

  7. 重复上述步骤，为计划监控的每个实验组创建关联的变体组。

    您必须至少有一个外部组和一个 Google Vertex AI Search for Retail API 组。

  8. （可选）默认情况下，预期流量百分比会在所有变体实验组之间平均分配。如需自定义预期流量百分比，请执行以下操作：

    1. 在添加变体部分下，点击流量百分比列中的流量百分比值。

      系统会打开流量百分比面板。

    2. 在权重分配字段中，选择自定义百分比。

    3. 在每个变体组的流量百分比列中，输入其预期流量百分比。

      所有变体实验组的流量百分比总和必须为 100%。

    4. 点击完成。

      流量百分比面板会关闭。

  9. 在新实验页面上点击创建，以完成实验创建。

    该实验会显示在新手入门实验页面上。

实验设置示例

本部分展示了两个实验设置示例。

示例 1 显示了一个基准对照组和一个 AI 智能购物搜索实验组。

示例 2 展示了如何将基准对照组与两个 AI 智能购物搜索实验组进行比较。

示例 1：两个变体组

在此示例中，假设您计划设置一个 A/B 实验，其中包含：

  • 发送给内部搜索引擎的 20% 的搜索请求作为基准对照组
  • 20% 的搜索请求作为实验组发送给 Google AI Commerce Search API
  • 60% 作为未纳入 A/B 测试的留出组

请求和用户事件配置如下：

流量类型 Discovery Engine event.experimentIds event.attributionToken 流量百分比
控制流量 内部 CONTROL 不适用 20%
实验流量 Google AI Commerce Search API EXPERIMENT 搜索响应中的归因令牌 20%
留出流量 任一 / 两者皆有 不适用 取决于 Discovery Engine 60%

留出流量可能由内部搜索引擎、AI 商业搜索或两者共同提供。由于它们不属于 A/B 测试，因此没有实验 ID。为了指明哪些用户事件属于 A/B 测试，请务必提供 experimentIds 和 attributionToken 信息。您的 experimentId 字符串可能与此示例中给出的字符串不同。确保您在实验和用户事件中使用的 ID 保持一致。

在控制台中创建相应实验时，您只需创建两个变体组，因为留出组不属于实验的一部分。两个变体实验组之间的预期流量百分比分配比例为 50% / 50%。

若要为此示例实验设置监控，您需要在控制台中为每个实验组创建相应的变体组。下表显示了您在此示例的变体组设置期间在控制台中输入的信息。

变体实验组名称 流量目的地 用户事件实验 ID 预期流量百分比
对照组示例 外部 CONTROL 50%
实验组示例 Google AI Commerce Search API 实验 50%

示例 2：三个实验组

在此示例中，假设您计划对热门查询（高频查询）进行 A/B 实验，并同时包含启用和停用动态多面浏览。请求和用户事件配置如下：

变体实验组名称 流量目的地 event.experimentIds event.attributionToken 流量百分比
头部查询控制 内部 CONTROL 不适用 50% 的热门查询
启用动态分面的热门查询实验 Google AI Commerce Search API EXP_DF_ON 搜索响应中的归因令牌 25% 的热门查询
热门查询动态分面关闭实验 Google AI Commerce Search API EXP_DF_OFF 搜索响应中的归因令牌 25% 的热门查询
非头部查询和其他留出数据 Google AI Commerce Search API 不适用 取决于所用引擎 不适用

若要为此示例实验设置监控，您需要在控制台中为每个实验组创建相应的变体组。下表显示了您在此示例的变体组设置期间在控制台中输入的信息。

变体实验组名称 流量目的地 用户事件实验 ID 预期流量百分比
对照组示例 外部 CONTROL 50%
实验组 1 示例 Google AI Commerce Search API EXP_DF_ON 25%
实验组 2 示例 Google AI Commerce Search API EXP_DF_OFF 25%

流量指标

实验的监控页面会显示以下指标是否存在意外的流量分配：

  • 搜索/浏览事件数（按日期）
  • 搜索/浏览访问者数量（按日期）
  • 搜索/浏览事件数（按类别）

如果其中一个指标出现意外的流量拆分，监控页面顶部的相应卡片会显示发生意外流量拆分的日期。点击意外的流量分配，查看列出相应指标的意外流量分配的可过滤表格。

实验的监控页面上的下表会根据使用情况比较不同变体组之间的流量指标。点击任意表格标题旁边的查看更多，即可查看列出相应指标的所有流量分配情况的可过滤表格：

  • 搜索/浏览事件数（按日期）：在指定日期，变体组中发生的搜索或浏览总次数。

  • 搜索/浏览访问者数量（按日期）：在指定日期，在某个变体组中进行过搜索或浏览的访问者数量。

  • 每个类别的搜索/浏览事件数：从实验开始日期到结束日期（如果实验仍在进行中，则为到今天为止），在某个变体组中搜索给定查询或类别的总次数。此表仅显示实验中所有变体实验组的总流量排名前 100 的查询或类别。

监控实验

新手入门实验页面会显示一个表格，其中列出了您最近的实验。

如需监控实验，请执行以下操作：

  1. 前往 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 实验页面。

    前往“实验”页面

  2. 点击实验名称。

    系统随即会打开相应实验的监控页面。

  3. 查看网页是否存在意外的流量分配。

    每个指标都会显示发生任何意外流量分配的日期。

  4. 如果您发现意外的拆分，请点击意外的流量分配，查看列出相应指标的意外流量分配的可过滤表格。

解决意外的流量分配问题

通过 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 监控实验，有助于您发现实验中的潜在问题。

如果您遇到意外的流量分配情况，请确保事件已标记正确的实验 ID。例如，如果属于对照组的事件被标记了错误的实验 ID，则该事件可能会归因于错误的实验组。

如果事件标记正常运行，Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 报告的意外流量分配可能表明您的实验平台存在流量分配问题。在这种情况下，请在解决问题之前暂停 A/B 测试，以免实验产生错误的结果。

Google Analytics 的业务指标

有两组业务指标可供使用：

  • 每次搜索或每次浏览指标
  • 每次搜索访问或每次浏览访问

每次搜索访问的指标

此处列出了每次搜索访问的指标定义。每次浏览会话指标的定义与每次搜索会话指标的定义类似，只是将所有“搜索”实例替换为“浏览”。

在“采购订单率”中，一个采购订单可以包含多个 SKU。每个 SKU 的数量可以大于或等于 1。

-->
指标名称 定义
搜索访问次数 包含至少一次搜索的会话数。
跳出率 仅包含 1 个用户事件的搜索会话数 / 搜索会话数
网页浏览率 点击次数（网页浏览次数）/搜索访问次数
“加入购物车”(ATC) 率 搜索访问中的“加入购物车”商品数量 / 搜索访问次数
购买订单率 搜索访问中的采购订单数 / 搜索访问次数
收入率 搜索访问中的收入总和 / 搜索访问次数
平均订单价值 (AOV) 搜索访问带来的收入总和 / 搜索访问带来的购买订单数

每次搜索的指标

此处列出了每次搜索的指标定义。每次浏览指标的定义与每次搜索指标的定义类似，只是将所有“搜索”实例替换为“浏览”。

指标名称 定义
搜索量 搜索事件的次数
无结果率 无结果的搜索事件数 / 搜索次数
点击率 (CTR) 因搜索而产生的点击次数（网页浏览次数）/搜索次数
“加入购物车”(ATC) 率 搜索促成的“加入购物车”商品数量 / 搜索次数
购买率 搜索促成的购买商品单位数 / 搜索次数
收入率 搜索带来的收入总和 / 搜索次数
平均单位价值 (AUV) 搜索带来的收入总和 / 搜索带来的购买商品单位数

分析实验的业务效果

每个实验的 Analytics 标签页都会显示业务指标信息中心。信息中心会显示不同变体组的效果比较。

指标信息中心有两个：

  • 每次搜索访问和每次浏览访问指标
  • 每次搜索和每次浏览的指标

系统会根据实验的 ProductType 属性显示搜索指标或浏览指标。

每个信息中心都会显示一个汇总指标表，其中显示了在日期范围过滤器中显示的日期内汇总的指标结果。默认日期值是实验的开始日期和结束日期。

每个指标都以汇总结果表以及提供更详细信息的每日值图表的形式显示。

汇总表的日期范围使用实验的开始日期和结束日期作为默认日期值。如果实验正在进行，则结束日期会设置为当前日期。您可以修改日期范围过滤条件。如果为提取的用户事件提供了 userAgent，您还可以按设备类型细分指标。点击刷新图标，将修改后的过滤条件应用于指标。

当指标的相对升幅足够大，超过置信区间带宽时，相应变体将显示绿色背景色。同样，如果相对升幅足够负，相应变体就会显示红色背景颜色。如果相对升幅小于置信区间宽度，则灰色背景色表示相应结果不具有统计显著性。

例如，在比较变体组与基准对照组时：

  • 如果某个指标（例如每次搜索的点击率）为 +3.0%，且置信区间（显示为升幅 CI）为 [2.1%、4.0%]，则系统会以绿色突出显示相应实验组，以表明与基准对照组相比，该实验组在此指标上的效果更佳。
  • 如果指标“每次浏览会话的收入率”为 -1.5%，置信区间为 [-2.6%, -0.4%]，则变体组会以红色突出显示，表示该指标的效果不如基准对照组。
  • 如果指标“每次搜索的平均单位价值”为 +1.0%，置信区间为 [-1.1%, 3.0%]，则变体实验组会以灰色突出显示，表示效果差异尚未达到统计显著性。

一般来说，数据点越多，方差就越小。与每日指标相比，几周内累积的指标的置信区间带宽会更小，并且更有可能显示出统计显著性。

修改实验详情

您可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体组数量、实验 ID 和预期流量分配百分比，无论实验是正在进行、已完成还是待处理。数据会追溯更新。

如需修改实验详细信息，请执行以下操作：

  1. 前往 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 实验页面。

    前往“实验”页面

  2. 在显示近期实验的表格中，找到您打算修改的实验。

  3. 点击相应表格行右侧的三点状操作图标，然后点击修改。

    系统随即会打开修改实验页面。

  4. 修改您打算更新的实验字段。

  5. 点击更新以保存更改。

从控制台中删除实验

如需在 Gemini Enterprise for Customer Experience 控制台中删除 AI Commerce Search 实验，请执行以下操作：

  1. 前往 Gemini Enterprise for Customer Experience 控制台中的 AI Commerce Search 实验页面。

    前往“实验”页面

  2. 在显示近期实验的表格中，找到您打算删除的实验。

  3. 点击相应表格行右侧的三点状操作图标，然后点击删除。

    系统会打开删除实验？确认窗口。

  4. 输入实验名称，然后点击确认以确认删除。

    删除完成后，控制台会显示一条消息，指出您的实验已成功删除。