En esta página, se describe cómo puedes usar los experimentos A/B para comprender cómo Vertex AI Search for commerce afecta tu negocio.
Descripción general
Un experimento A/B es un experimento aleatorio con dos grupos: un grupo experimental y un grupo de control. El grupo experimental recibe un tratamiento diferente (en este caso, predicciones o resultados de la búsqueda de Vertex AI Search for Commerce). El grupo de control no lo recibe.
Cuando ejecutas un experimento A/B, debes incluir la información sobre en qué grupo se encontraba un usuario cuando registraste los eventos del usuario. Esa información se usa para definir mejor el modelo y proporcionar métricas.
Ambas versiones de la aplicación deben ser iguales, excepto que los usuarios del grupo experimental ven los resultados generados por Vertex AI Search for Commerce y los del grupo de control no. Debes registrar eventos de usuario para ambos grupos.
Para obtener más información sobre la división del tráfico, consulta Divide el tráfico en la documentación de App Engine.
Plataformas de experimentos
Configura el experimento con una plataforma de experimentos de terceros, como VWO o AB Tasty. Los grupos de control y experimental obtienen un ID de experimento único de la plataforma. Cuando registres un evento de usuario, especifica en qué grupo se encuentra el usuario con el ID del experimento en el campo experimentIds. Proporcionar el ID del experimento te permite comparar las métricas de las versiones de tu aplicación que ven los grupos de control y experimentales.
Prácticas recomendadas para los experimentos A/B
El objetivo de un experimento A/B es determinar con precisión el impacto de la actualización de tu sitio (en este caso, mediante el uso de Vertex AI Search for Commerce). Para obtener una medición precisa del impacto, debes diseñar y, luego, implementar el experimento de forma correcta, de modo que otras diferencias no se acumulen y no afecten los resultados del experimento.
Asignación de ID del experimento recomendada
Los IDs de experimento se usan para las pruebas A/B, en las que puedes comparar Vertex AI Search for Commerce con una solución de búsqueda existente. También se pueden usar para ejecutar experimentos con un sitio de comercio electrónico de Vertex AI Search completamente adoptado en el que se debe probar una nueva configuración, un nuevo control o una nueva especificación de refuerzo, por nombrar algunos ejemplos, en comparación con un grupo de control.
El campo ID del experimento en los eventos del usuario es un array, lo que permite una medición más detallada.
Considera los siguientes casos prácticos:
- El rendimiento de Vertex AI Search for Commerce debe compararse con un grupo de control.
- Se debe medir el rendimiento general.
- Se debe medir el rendimiento solo en dispositivos móviles.
- Se debe medir el rendimiento solo en computadoras de escritorio.
- El rendimiento de las búsquedas y las recomendaciones también se debe medir por separado.
Para lograr mediciones tan detalladas y segmentadas, es posible que necesites un total de 10 IDs de experimento, de los cuales cuatro se deben enviar en el array de IDs de experimento de eventos para cada evento.
| IDs de experimentos para el grupo de control de eventos | IDs de experimentos para el grupo de eventos de prueba (búsqueda de comercio) | Alcance de los eventos del usuario |
|---|---|---|
| Control | Vertex AI Search para comercios | Todos los eventos |
Control_mobile |
Google_mobile |
Todos los eventos para dispositivos móviles |
Control_desktop |
Google_desktop |
Todos los eventos de escritorio |
Control_search |
Google_search |
Todos los eventos de búsqueda y relacionados |
Control_recommendations |
Google_recommendations |
Todas las recomendaciones y los eventos relacionados |
Para medir el rendimiento general, compara las métricas derivadas de los eventos con los IDs de experimento Control y Vertex AI Search for Commerce. Para medir el rendimiento de la Búsqueda para dispositivos móviles, compara las métricas derivadas de los eventos con los IDs de experimento Control_mobile + Control_search en comparación con Google_mobile + Google_search.
Jerarquía de categorías
Asegúrate de que los mismos productos tengan la misma jerarquía de categorías entre el grupo de control y el grupo de prueba. Por ejemplo, en el sitio de control, un producto de camiseta tiene la jerarquía de categorías de modo que clothing > mens > tops > tee-shirts, y el mismo producto se encuentra en una jerarquía de categorías diferente en el sitio de prueba, de modo que mens > popular > tops. Esta configuración genera diferentes resultados de la búsqueda y diferentes facetas de categorías entre los sitios de control y de prueba. Este problema afecta la experiencia del navegador, ya que page_category es la entrada de la llamada de exploración, junto con los filtros.
Paridad de la experiencia del usuario antes de las pruebas A/B
Cuando prepares el sitio para las pruebas A/B, antes de publicar el tráfico de búsqueda o recomendaciones de usuarios reales en Vertex AI Search for Commerce con la asignación correcta del ID del experimento, es importante tener en cuenta la paridad de la interfaz y la experiencia del usuario entre el sitio de comercio electrónico, con el backend de búsqueda heredado que se usa como control, y el sitio con el backend de Vertex AI Search for Commerce.
Dada una búsqueda, entre las páginas de resultados de la búsqueda de control y el backend de Vertex AI Search for Commerce, algunas cosas que se deben probar incluyen las siguientes:
¿Se muestra la misma cantidad de facetas? Si no es así, revisa las especificaciones de las facetas y la configuración de los atributos en Vertex AI Search for Commerce . Esto es importante porque las facetas ayudan a los usuarios a filtrar y navegar hasta el producto preferido desde los resultados de la búsqueda inicial. Las facetas mejores y más significativas hacen que los usuarios tarden menos en encontrar el producto que prefieren. De lo contrario, se generarán más clics y desplazamiento, lo que podría dificultar la experiencia de búsqueda y, en última instancia, afectar los porcentajes de conversiones y de clics. Esto también podría provocar el abandono de la búsqueda. Por lo tanto, tener facetas similares entre los sitios de control y de prueba significa que no hay una ventaja injusta para los usuarios cuando buscan productos entre uno y otro.
La colocación de productos de patrocinadores en los resultados de la búsqueda suele ser una función común en muchos sitios de comercio electrónico, y, en la mayoría de los casos, los productos de los patrocinadores no forman parte de los resultados de la búsqueda orgánica. Se debe tener cuidado para asegurarse de que la colocación y los productos que se muestran en la página de resultados de búsqueda entre el sitio de control y el sitio de prueba sean casi iguales, si no idénticos. De lo contrario, se agregará ruido a la medición de las métricas de rendimiento de los ingresos y, según la singularidad de los productos patrocinados entre los sitios de control y de prueba, el ruido podría ser mayor.
Otros aspectos varios de la interfaz de usuario que debes tener en cuenta:
- ¿La información sobre el precio y el descuento es la misma en los sitios de control y de prueba?
- ¿El autocompletado sugiere las mismas opciones para la búsqueda?
- ¿Los valores de las facetas están en el mismo orden?
- ¿Los productos se muestran con el mismo estilo, por ejemplo, en una lista o una cuadrícula?
Sugerencias y consideraciones finales
Para diseñar un experimento A/B significativo, ten en cuenta estas sugerencias:
Antes de configurar tu experimento A/B, usa la predicción o la vista previa de la búsqueda para asegurarte de que el modelo se comporte como se espera.
Asegúrate de que el comportamiento de tu sitio sea idéntico para el grupo experimental y el de control.
El comportamiento del sitio incluye la latencia, el formato de visualización, el formato del texto, el diseño de página, la calidad de imagen y el tamaño de imagen. No debería haber diferencias discernibles para ninguno de estos atributos entre la experiencia de los grupos de control y experimental.
Acepta y muestra los resultados como se muestran en Vertex AI Search para comercio, y muéstralos en el mismo orden en que se muestran.
Filtrar los elementos que estén agotados es aceptable. Sin embargo, debes evitar ordenar o filtrar los resultados según las reglas de tu empresa.
Si utilizas eventos de usuario de búsqueda y los incluyes con el token de atribución requerido, asegúrate de que estén configurados correctamente. Consulta la documentación sobre los tokens de atribución.
Asegúrate de que la configuración de entrega que proporciones cuando solicites recomendaciones o resultados de la búsqueda coincida con tu intención para esa recomendación o resultado de búsqueda, y con la ubicación en la que muestras los resultados.
Cuando usas recomendaciones, la configuración de entrega afecta la forma en que se entrenan los modelos y, por lo tanto, qué productos se recomiendan. Obtén más información.
Si comparas una solución existente con Vertex AI Search for Commerce, mantén la experiencia del grupo de control segregada de forma estricta de la experiencia del grupo experimental.
Si la solución de control no proporciona una recomendación o un resultado de búsqueda, no proporciones uno desde Vertex AI Search for Commerce en las páginas de control. Si lo haces, se sesgarán los resultados de tu prueba.
Asegúrate de que los usuarios no cambien entre el grupo de control y el grupo experimental. Esto es especialmente importante dentro de la misma sesión, pero también se recomienda entre sesiones. Esto mejora el rendimiento del experimento y te ayuda a obtener resultados con importancia estadística de las pruebas A/B más rápido.