La atribución de datos adecuada, la identificación coherente del usuario y el seguimiento preciso de eventos permiten obtener resultados confiables y un rendimiento óptimo del modelo. Los problemas pueden generar métricas sesgadas, comparaciones parciales y datos de entrenamiento dañados. Estos resultados dificultan la toma de decisiones fundamentadas y la mejora de la búsqueda.
Antes de comenzar
Consulta la Guía general para realizar experimentos A/B.
Componentes de prueba
Las verificaciones A/B iniciales incorporan estos componentes de prueba:
ID de visitante: Se requiere para hacer un seguimiento de un visitante en un dispositivo, independientemente del estado de acceso. No debería cambiar, ya sea que el visitante acceda o salga de su cuenta. Si el usuario accede a su cuenta entre los recorridos del usuario, el ID de visitante permanece constante.
ID de sesión: Se usa para hacer un seguimiento de la sesión de interacción de un visitante. Se define como una agregación del comportamiento del usuario en un período, que suele finalizar después de 30 minutos de inactividad.
ID de usuario: Es un identificador persistente y muy recomendable para un usuario que accedió a su cuenta (como un ID de cliente) que se usa en todos los dispositivos para la personalización. Siempre debe ser un valor hash.
Token de atribución: Es un token hash que se devuelve en cada respuesta de búsqueda. Los tokens de atribución son únicos, independientemente de si los parámetros de la búsqueda coincidieron de forma precisa.
Descripción
Esta verificación implica comprobar que la cantidad de IDs de visitantes únicos se divida de forma aleatoria entre los grupos de control y de prueba en un experimento A/B.
El ID de visitante es un identificador único para un usuario en un solo dispositivo.
Impacto
Históricamente, una división injusta de los IDs de visitante puede causar errores de medición en las pruebas A/B.
Si un grupo experimental contiene una cantidad desproporcionada de ciertos tipos de visitantes, como un visitante bot que envía grandes volúmenes de tráfico de sondeo, puede afectar negativamente las métricas de ese grupo. Esto sesga las comparaciones de los indicadores clave de rendimiento y afecta en gran medida la medición, pero no directamente el entrenamiento de modelos.
Descripción
Esta verificación garantiza que la cantidad de IDs de usuario únicos, que representan a un usuario que accedió, se distribuya de manera uniforme entre los grupos de control y de prueba. El ID de usuario debe ser el mismo en todos los dispositivos.
Impacto
El impacto es similar al del ID de visitante. Si los usuarios que accedieron no se asignan de forma aleatoria entre los segmentos de prueba y de control, se puede generar una división demográfica sesgada.
Por ejemplo, si el grupo experimental contiene principalmente usuarios nuevos, mientras que los usuarios que gastan mucho permanecen en el grupo de control, las métricas parecerán favorecer artificialmente a un lado.
Esto afecta las comparaciones de las mediciones y los indicadores clave de rendimiento (KPI).
Descripción
Esta verificación analiza específicamente la distribución de los usuarios con una gran cantidad de transacciones o compras repetidas, que a menudo se identifican por sus IDs de visitante y su historial de compras, en los diferentes segmentos del experimento.
El objetivo es garantizar que estos usuarios con un gasto elevado se dividan de manera uniforme.
Impacto
- Una distribución desigual de los usuarios avanzados, que contribuyen significativamente a los ingresos, puede sesgar en gran medida las comparaciones de KPI entre los grupos del experimento.
- Depurar los sesgos en función de la información demográfica, como los hábitos de gasto, puede ser complejo.
- Esto afecta de manera desproporcionada a las métricas basadas en los ingresos, como los ingresos por visitante (RPV) o los ingresos por sesión.
- Enfatiza el impacto en la precisión de la medición durante las pruebas A/B.
Descripción
Esta verificación confirma que el token de atribución que se devolvió en la respuesta de búsqueda se haya incluido correctamente en el evento de búsqueda que generó esa búsqueda.
El token de atribución es necesario para que Vertex AI Search for Commerce vincule los eventos a la búsqueda que los generó:
- Por lo general, esto es relevante para el tráfico que publica Vertex AI Search.
- Este problema también indica la posibilidad de almacenamiento en caché de la respuesta de búsqueda, lo que degradará el rendimiento de la búsqueda y la experiencia del usuario debido al inventario obsoleto y la clasificación desactualizada.
Impacto
La atribución adecuada con el token es fundamental para vincular el comportamiento del usuario, incluidos los clics y las compras, con llamadas específicas a la API de búsqueda. Sin el token, es posible que los eventos de búsqueda se utilicen de forma incorrecta como si fueran de otro proveedor de búsqueda, y los eventos posteriores no se podrán vincular con precisión a la búsqueda.
Los tokens de atribución inexactos o faltantes interrumpen el entrenamiento de modelos, ya que se usan para vincular los datos de eventos (como las búsquedas seguidas de compras) y generar ejemplos positivos y negativos para entrenar el modelo de clasificación. También impide el cálculo preciso de las métricas por búsqueda, como los ingresos por búsqueda, que son vitales para evaluar el rendimiento durante los experimentos A/B.
Esto afecta tanto el entrenamiento de modelos como la medición y el análisis del rendimiento.
Descripción
Esta verificación garantiza que el ID de visitante y el ID de usuario que se usan en una llamada de solicitud de búsqueda a la API de Search sean el mismo ID de visitante y el mismo ID de usuario que se incluyen en el evento de usuario de búsqueda posterior (si es posible detallar los eventos de vista de página de detalles, agregar al carrito y compra completada que se relacionan con esa interacción de búsqueda).
- Los campos
visitorIdyuserId, respectivamente, son identificadores únicos para un usuario en un solo dispositivo. - Es necesario que el formato del ID de visitante y del ID de uso sea coherente en las solicitudes de búsqueda y los eventos de usuario para que la Búsqueda identifique correctamente la actividad del usuario.
- Los enfoques de depuración pueden implicar el uso del ID de visitante y el ID de usuario para rastrear las interacciones.
Impacto
Una discrepancia indica posibles problemas, como eventos faltantes o datos dañados.
El ID de visitante y el ID de usuario son fundamentales para el entrenamiento de modelos de Retail Search, en especial para las funciones de personalización. La atribución precisa de compras depende del uso coherente de un ID de visitante y un ID de usuario.
Vertex AI Search for Commerce usa el ID de visitante para vincular los resultados de la búsqueda que ve un usuario con el hecho de que ese mismo ID de visitante haya comprado más tarde un producto que se mostró. Se usa para vincular los datos de búsqueda a clic, de agregar al carrito o de compra para generar ejemplos positivos y negativos para entrenar el modelo de clasificación.
Si el ID de visitante no coincide, se produce una interrupción en la que los eventos de compra no se pueden atribuir a la búsqueda o a la vista de la página de detalles que los precedieron, lo que hace que parezca que ninguna búsqueda tiene una compra de seguimiento. Esto no solo interrumpe el entrenamiento de modelos, sino que también dificulta el cálculo de métricas por búsqueda, como los ingresos por búsqueda. Otro desafío radica en calcular con precisión los indicadores clave de rendimiento (KPI), como los ingresos por visitante, el porcentaje de conversiones y el valor promedio del pedido, que dependen de la vinculación precisa de los eventos del usuario con las búsquedas. Por lo tanto, esta verificación afecta tanto el entrenamiento como la medición del modelo.
Descripción
Esta verificación compara la cantidad de solicitudes de búsqueda realizadas a la API de Search para un carril de experimento específico (en particular, el carril de Google) con la cantidad de eventos de usuario de búsqueda registrados para ese mismo carril.
Se espera que la cantidad de eventos de búsqueda recopilados coincida estrechamente con la cantidad de llamadas a la API de Search realizadas.
Impacto
- Una discrepancia significativa indica que los eventos del usuario no se recopilan ni se envían correctamente a Google.
- Esto puede deberse a problemas de transferencia de eventos (eventos faltantes o incompletos) o a un etiquetado incorrecto de los eventos del usuario con el ID del experimento.
- La recopilación adecuada de eventos del usuario es fundamental porque las interacciones del usuario capturadas en los eventos proporcionan al modelo los comentarios necesarios para optimizar los resultados.
- Si faltan eventos, el modelo recibe menos datos para el entrenamiento, lo que puede afectar negativamente su rendimiento.
- La precisión y la confiabilidad de las métricas que se usan para evaluar las pruebas A/B (como el porcentaje de clics, el porcentaje de conversiones y las métricas de ingresos) dependen por completo de la integridad y la exactitud de los datos de eventos del usuario.
- La falta de eventos significa que estas métricas no se pueden calcular con precisión, lo que genera un análisis de rendimiento sesgado y resultados poco confiables de las pruebas A/B.
- Una discrepancia en los recuentos de búsquedas entre las llamadas a la API y los eventos afecta tanto el entrenamiento como la medición del modelo.
Descripción
Esta verificación confirma que, cuando un usuario aplica filtros a los resultados de la búsqueda (que se reflejan en la solicitud de búsqueda), el evento de usuario de búsqueda correspondiente, vinculado por el token de atribución, también incluye la información de filtro correcta.
Esta verificación implica comprobar la coherencia de pares específicos vinculados a tokens, así como la coherencia general de los datos de filtro presentes en los eventos en comparación con las llamadas a la API.
Impacto
- Se requiere incluir instrucciones de filtro en los eventos de búsqueda para usar facetas dinámicas.
- El modelo de Búsqueda de venta minorista deduce la popularidad de las facetas a partir de los filtros presentes en las solicitudes de búsqueda, lo que es fundamental para un rendimiento óptimo de las facetas dinámicas.
- Si faltan datos de filtros o son incorrectos en los eventos del usuario, se ve afectada la capacidad del modelo para aprender de las interacciones del usuario que involucran filtros.
- Esto afecta directamente el entrenamiento y la eficacia de funciones como la segmentación dinámica.
- Esta verificación también es útil para depurar problemas relacionados con los resultados de la búsqueda, la búsqueda conversacional y las facetas dinámicas.
- Si bien el impacto principal se produce en el entrenamiento de modelos específicamente para las facetas dinámicas y las funciones relacionadas, también afecta la capacidad de depurar y medir con precisión el rendimiento de estas funcionalidades específicas.
- Afecta el entrenamiento de modelos relacionado con las facetas dinámicas y es importante para la depuración y el análisis del rendimiento (medición) de las funciones que dependen de los datos de filtros.
Descripción
- Esta verificación confirma que los parámetros de paginación (desplazamiento) y los criterios de ordenamiento (ordenar por) incluidos en una solicitud de búsqueda realizada a la API de Search se representan correctamente en el evento del usuario de búsqueda correspondiente.
- Por lo general, estos eventos se vinculan a la solicitud original con el token de atribución.
- La verificación garantiza la coherencia de las interacciones específicas vinculadas a tokens y de los datos generales que se envían en los eventos.
- Mantener esta coherencia en los datos de eventos es importante para depurar los recorridos del usuario que implican paginación o clasificación, y para funciones como la búsqueda conversacional y las facetas dinámicas.
Impacto
- Una discrepancia dificulta la capacidad de analizar con precisión cómo interactúan los usuarios con los resultados de la búsqueda en condiciones específicas de paginación o clasificación.
- Esto afecta los esfuerzos de depuración de estas funciones y dificulta la evaluación precisa de su rendimiento (lo que afecta la medición de funciones como la búsqueda conversacional o el rendimiento del filtrado dinámico).
- Los datos de eventos coherentes son fundamentales para el entrenamiento de modelos, y las incoherencias podrían afectar indirectamente las estadísticas derivadas del análisis del comportamiento del usuario en diferentes condiciones de visualización.
- La coherencia de los parámetros de solicitud y los valores de eventos se considera importante para el rendimiento de los modelos de nuevo ranking basados en clics.
- Esto afecta principalmente la depuración y la medición de funciones específicas y, en cierta medida, la eficacia del entrenamiento de modelos relacionada con la comprensión de la interacción del usuario con los resultados paginados o ordenados.
Descripción
- Esta verificación garantiza que se asigne un ID de visitante único (que se usa para los usuarios que no accedieron) a un solo grupo o carril del experimento, es decir, al control o a la prueba, durante todo el período de la prueba A/B.
- Se espera una asignación de visitantes coherente, a menos que haya un cambio planificado, como un aumento gradual del tráfico o una reorganización explícita.
- La detección de cambios significa que un solo usuario, identificado por su ID de visitante, se mueve de forma inesperada entre los grupos experimentales.
- Esto puede deberse a problemas como el envío incorrecto de eventos, el etiquetado incorrecto del ID del experimento en los eventos, problemas de implementación en el frontend o un enrutamiento mal configurado del tráfico de búsqueda.
Impacto
- La asignación coherente de visitantes del sitio es fundamental para realizar una prueba A/B justa.
- Si un visitante del sitio cambia de carril, es posible que sus eventos de usuario (clics, agregados al carrito, compras) se registren con diferentes IDs de experimento, lo que imposibilita atribuir con precisión su comportamiento general a una sola experiencia. Esto daña los datos que se usan para calcular los indicadores clave de rendimiento (KPI) de cada carril, lo que genera resultados de medición sesgados y poco confiables.
- Entrenamiento de modelos de Retail Search, en especial para la personalización, depende en gran medida de los campos
visitorIdyuserIdcoherentes para vincular las interacciones de los usuarios a lo largo del tiempo y atribuir las compras a los eventos de búsqueda precedentes. - El cambio de ID de visitante rompe este vínculo, lo que impide que el modelo aprenda de manera eficaz del recorrido de un usuario dentro de una experiencia de búsqueda coherente. Esto afecta significativamente tanto la medición como el entrenamiento de modelos.
Descripción
- Esta verificación analiza específicamente los eventos del usuario de la Búsqueda que están etiquetados con un ID de experimento que pertenece al grupo de control o al tráfico de exclusión, pero que, de forma inesperada, contienen un token de atribución generado por Google.
- La API de Retail Search devuelve los tokens de atribución, que se deben incluir en los eventos de usuarios posteriores para el tráfico publicado por Google.
- El tráfico de control usa el motor de búsqueda existente y no debe recibir ni enviar tokens de atribución de Google.
- Este problema se relaciona con la verificación del cambio de ID del experimento, ya que implica que los eventos se etiquetan o enrutan de forma incorrecta.
- Este problema puede indicar la posibilidad de almacenamiento en caché de la respuesta de búsqueda, lo que degradará el rendimiento de la búsqueda y la experiencia del usuario debido al inventario obsoleto y la clasificación desactualizada.
Impacto
- La presencia de un token de atribución de Google en un evento del grupo de control genera atribuciones etiquetadas de forma incorrecta.
- Esto significa que los eventos de los usuarios que experimentaron la búsqueda de control (no de Google) se asocian de forma incorrecta con el carril del experimento de Google.
- Esto sesga directamente el cálculo de las métricas para el carril de Google, ya que incluye datos del grupo de control, distorsiona el rendimiento percibido y anula la medición.
- Desde la perspectiva del entrenamiento de modelos, este usa los eventos de usuarios atribuidos para aprender de las interacciones con los resultados de la búsqueda.
- Incluir eventos atribuidos erróneamente del grupo de control introduce datos irrelevantes o contradictorios en el conjunto de entrenamiento, lo que podría provocar una degradación en el rendimiento del modelo.
- Esta verificación afecta tanto la medición como el entrenamiento de modelos.
Descripción
- Esta verificación se centra en las llamadas de solicitudes de búsqueda entrantes a la API de Retail Search.
- Busca solicitudes que se originan en IDs de visitantes o IDs de experimentos designados para el grupo de control o el tráfico de datos de exclusión.
- Esto indica que el tráfico destinado al grupo de control o de exclusión se dirige de forma incorrecta al extremo de API del carril de experimentos de Google.
- Este problema es muy similar a la verificación del cambio de ID de visitante, pero se observa desde el lado de la solicitud de la API en lugar de solo desde el lado del evento del usuario.
Impacto
- Este hallazgo apunta a un error de configuración fundamental en el mecanismo de división y enrutamiento del tráfico de la prueba A/B.
- Los grupos experimentales no se aíslan correctamente si el tráfico de control se envía a la API de Google.
- Esto invalida la configuración de la prueba A/B y compromete la imparcialidad de la comparación.
- Esto afecta directamente la medición, ya que el volumen y la composición del tráfico en el carril de Google se inflan debido a la inclusión de usuarios no deseados, lo que genera un análisis y un cálculo de métricas imprecisos.
- Para el entrenamiento de modelos, si bien los registros de la API en sí no son los datos de entrenamiento principales, los eventos de usuario posteriores que genera este tráfico mal direccionado, si también se atribuyen de forma errónea, introducen ruido y señales potencialmente incorrectas en los datos de entrenamiento.
- Este problema afecta tanto la medición como el entrenamiento de modelos.
Descripción
- Esta verificación valida que los eventos de usuario de compra completada registrados para un usuario (identificado por su ID de visitante o ID de usuario) estén etiquetados con el
experimentIdscorrecto correspondiente al carril de la prueba A/B al que se le asignó, como el control o el experimento. - Detecta los casos en los que el evento de compra de un usuario se asocia con un carril de experimento diferente del que se encontraba cuando realizó las acciones de búsqueda pertinentes que lo llevaron a la compra.
- Este problema se relaciona estrechamente con el mantenimiento de una asignación coherente de visitantes a los grupos experimentales y depende de que los experimentIds se incluyan en el evento purchase-complete.
Impacto
- La asignación coherente de visitantes a los segmentos de experimentos es fundamental para realizar pruebas A/B precisas.
- Si los eventos de compra completada se etiquetan por error con el ID de experimento incorrecto, se atribuirán de forma incorrecta a ese carril.
- Esto sesga directamente las métricas que dependen de los datos de compras por carril, como el porcentaje de ingresos, el porcentaje de pedidos de compra, el valor promedio del pedido y el porcentaje de conversiones.
- La atribución incorrecta imposibilita comparar con precisión el rendimiento de los diferentes grupos de experimentos, lo que genera resultados de medición de pruebas A/B no válidos y poco confiables.
- Desde la perspectiva del entrenamiento de modelos, los modelos de Búsqueda de Retail, en especial los que se optimizan para el porcentaje de ingresos o de conversiones, se entrenan vinculando las interacciones de los usuarios (como las búsquedas) con las compras posteriores para comprender qué resultados generan conversiones.
- La atribución adecuada, que a menudo usa IDs de visitantes, usuarios y experimentos para conectar los eventos de compra con las búsquedas, es fundamental para crear estos ejemplos de entrenamiento positivos.
- Si los eventos de compra se atribuyen por error debido a IDs incoherentes o a cambios de carril del experimento, los datos de entrenamiento se dañan con indicadores incorrectos.
- Es válido si los IDs de experimento se envían en el evento de compra: Como se indicó, esta verificación es válida y tiene un impacto solo si los
experimentIdsse implementan y envían correctamente dentro de los eventos del usuario de compra completada.
Descripción
- De manera similar a la verificación del evento de compra, esta acción verifica que los eventos de usuario de agregar al carrito para un ID de visitante determinado estén asociados correctamente con el carril del experimento asignado al usuario a través del campo de IDs de experimento.
- Identifica los casos en los que un evento de agregar al carrito se etiqueta con un ID de experimento para un carril al que no se asignó al usuario.
- Este problema puede deberse a un uso incoherente del ID de visitante en diferentes tipos de eventos o a un etiquetado
experimentIdsincorrecto.
Impacto
- Los eventos add_to_cart etiquetados de forma incorrecta generan una atribución incorrecta de este comportamiento del usuario a los segmentos del experimento.
- Esto sesga directamente las métricas, como el porcentaje de clics en "Agregar al carrito" y el porcentaje de conversiones, en especial si el porcentaje de clics en "Agregar al carrito" se considera un paso importante en el embudo de conversiones.
- Las métricas imprecisas comprometen la confiabilidad de los resultados de las pruebas A/B y la capacidad de medir correctamente el impacto del experimento.
- Desde la perspectiva del entrenamiento de modelos, los eventos de agregar al carrito son indicadores positivos importantes de los que aprenden los modelos, en especial los optimizados para los ingresos.
- Si estos eventos se atribuyen erróneamente al carril de experimento incorrecto debido a un ID o un etiquetado de
experimentIdsincoherentes, el modelo recibe indicadores de entrenamiento ruidosos o incorrectos. - Es válido si los IDs de experimento se envían en el evento de agregar al carrito: Como se indicó, esta verificación es válida y tiene un impacto solo si los
experimentIdsse implementan y envían correctamente dentro de los eventos del usuario de agregar al carrito.
Descripción
- Esta verificación evalúa si la distribución de la actividad del usuario, categorizada por tipo de dispositivo (p.ej., dispositivos móviles, computadoras, aplicaciones), está equilibrada en los segmentos de control y de experimento para cada tipo de evento del usuario (Búsqueda, Vista de la página de detalles, Agregar al carrito, Compra).
- Su objetivo es garantizar que la proporción de usuarios que interactúan con el sitio a través de dispositivos móviles sea aproximadamente la misma en el grupo de control que en el grupo de prueba, y lo mismo para otros tipos de dispositivos.
- Detectar una distorsión significativa indica un posible problema en el mecanismo que se usa para dividir el tráfico o enrutar los eventos según el tipo de dispositivo.
Impacto
Una distribución sesgada de dispositivos significa que los grupos de control y de prueba no están equilibrados demográficamente en términos de los dispositivos utilizados, de manera similar al problema de división demográfica.
El comportamiento del usuario, los patrones de navegación y los porcentajes de conversión pueden variar significativamente según el dispositivo que se use. Por eso, una división desequilibrada de dispositivos entre los segmentos del experimento introduce sesgos en la comparación de la prueba A/B, lo que genera una medición imprecisa de las métricas comerciales clave para cada segmento. Esto también se atribuye al hecho de que los resultados de un grupo pueden verse influenciados de manera desproporcionada por un porcentaje mayor o menor de usuarios de un tipo de dispositivo específico, lo que dificulta determinar el verdadero impacto del experimento.
Si bien el tipo de dispositivo no siempre es una función directa en todos los modelos, garantizar un tráfico equilibrado ayuda a asegurar que los datos de entrenamiento, que se derivan de los eventos del usuario en cada carril, reflejen con precisión la distribución del comportamiento del usuario en el mundo real en todos los dispositivos. Un desequilibrio podría generar indirectamente datos de entrenamiento que representen en exceso o en defecto el comportamiento del usuario en ciertos dispositivos, lo que podría generar un modelo que no esté optimizado de manera óptima para la base de usuarios general.
Los eventos son la base del seguimiento de los KPI y la solución general de problemas.
Descripción
- Esta verificación compara los datos de filtro incluidos en los eventos del usuario de la búsqueda entre los segmentos de control y de experimento para búsquedas similares.
- Verifica que la información del filtro se capture de forma correcta, coherente y con paridad entre los carriles.
- Esto incluye verificar si las opciones de filtro disponibles (facetas) que se presentan a los usuarios son las mismas o equivalentes, si los valores de filtro que se envían en los eventos coinciden con los formatos esperados o los datos del catálogo, y si la IU/UX para el filtrado son comparables.
- Puede surgir una discrepancia si los filtros no se capturan, se capturan de forma incorrecta o si la IU o las opciones de filtrado difieren, lo que generalmente se debe a un problema de configuración en la API de Catalog o Search.
Impacto
- Las diferencias en la experiencia de filtrado o en la forma en que se capturan los datos de los filtros entre los segmentos del experimento pueden influir directamente en la forma en que los usuarios interactúan con los resultados de la búsqueda.
- Si un carril ofrece mejores o diferentes opciones de filtrado, es posible que los usuarios de ese carril refinen sus búsquedas de manera diferente, lo que generará variaciones en el comportamiento del usuario y podría afectar métricas como las tasas de conversión de las búsquedas filtradas.
- Esto introduce un sesgo variable en la prueba A/B, lo que dificulta atribuir las diferencias observadas en las métricas únicamente a las diferencias principales en la clasificación de la búsqueda.
- La falta de datos de filtros capturados en los eventos también limita la capacidad de analizar las métricas de rendimiento segmentadas por el uso de filtros, lo que afecta las estadísticas de medición.
- Para el entrenamiento de modelos, la información de los filtros en los eventos de búsqueda es fundamental para entrenar modelos de facetas dinámicas, ya que el modelo aprende la popularidad de las facetas a partir de los indicadores de uso de los filtros por parte del usuario.
- La información precisa sobre el uso de filtros en los eventos también es importante para los modelos de nuevo ranking basados en clics. Si los valores de los filtros en los eventos no coinciden con los de las solicitudes de búsqueda, el rendimiento del modelo para las búsquedas con filtros se ve afectado de forma negativa.
- Los datos de filtros faltantes o incoherentes en los eventos degradan la calidad del modelo relacionada con las facetas dinámicas y la clasificación de nuevo para las búsquedas filtradas.
Descripción
- Esta verificación implica examinar un recorrido del usuario de búsqueda específico vinculando un evento de búsqueda a su solicitud correspondiente de la API de Search con
attributionToken. - Vertex AI Search for Commerce genera el token de atribución y lo devuelve con cada solicitud de búsqueda.
- Esta verificación compara específicamente el campo
searchQueryen el evento de búsqueda con la cadena de búsqueda real que se envió en la solicitud inicial a la API de Search que devolvió el token de atribución. - Si estas cadenas de consulta no coinciden a pesar de la presencia de un token de atribución de vinculación, esto indica que la búsqueda (searchQuery) que se envía en el evento del usuario no refleja con precisión la búsqueda original del usuario.
Impacto
- Este problema afecta en gran medida el entrenamiento de modelos.
- Vertex AI Search for Commerce usa datos de eventos para entrenar sus modelos.
- Los modelos, en particular los de nuevo ranking basados en clics, aprenden vinculando las interacciones del usuario (como clics, agregados al carrito y compras) a las solicitudes de búsqueda que generaron los resultados.
- Esta vinculación se basa en la información precisa de los eventos, incluidos los campos
searchQueryyattributionToken. - Si el
searchQuerydel evento no coincide con la búsqueda real de la solicitud de la API de Search, el modelo se entrena con datos incorrectos, lo que asocia el comportamiento del usuario con la búsqueda equivocada. - Esto puede generar un impacto negativo grave en la calidad de los resultados de la búsqueda, ya que el modelo aprende estrategias de clasificación subóptimas basadas en datos de búsquedas defectuosos.
- Si bien el impacto principal se produce en la calidad del entrenamiento de modelos, esto también puede afectar indirectamente la medición, ya que los modelos entrenados con datos deficientes pueden tener un rendimiento bajo, lo que genera resultados sesgados en las pruebas A/B, incluso si los eventos se capturan de otro modo.
Descripción
- Esta verificación es un proceso de validación manual en el que un verificador simula un recorrido del usuario típico que incluye una secuencia de acciones como la búsqueda, el clic en un producto (evento
detail-page-view), la adición al carrito y, posiblemente, la realización de una compra. - Al registrar el ID del visitante y las marcas de tiempo de estas acciones, el verificador recupera los eventos del usuario registrados para ese ID de visitante específico de los registros o las plataformas de datos.
- El objetivo es verificar una correspondencia 1:1 entre las acciones observadas del usuario y los eventos registrados en el sistema (por ejemplo, una acción de búsqueda debe generar un evento de búsqueda, un clic o un evento
detail-page-view). - Los eventos faltantes, los eventos con IDs de visitante incorrectos o los datos dañados dentro de los eventos (como los IDs de producto o los IDs de experimento faltantes) indican problemas en la canalización de eventos.
Impacto
- Los problemas que identifica esta verificación afectan en gran medida la medición y el entrenamiento de modelos.
Medida
- Los eventos de usuarios precisos y completos son fundamentales para calcular las métricas comerciales clave en una prueba A/B, como el porcentaje de clics en la búsqueda, el porcentaje de conversiones en la búsqueda, el porcentaje de artículos agregados al carrito en la búsqueda y los ingresos por visitante.
- Estas métricas se basan en la atribución del comportamiento del usuario (clics, agregaciones al carrito, compras) a resultados de la búsqueda y segmentos de experimentos específicos.
- Si faltan eventos o están dañados para un usuario, no se capturan por completo sus acciones, lo que genera un cálculo incorrecto de estas métricas para el carril del experimento en el que se encontraba.
- Esto introduce sesgos y ruido, lo que hace que los resultados de las pruebas A/B sean imprecisos y poco confiables para la toma de decisiones. Por ejemplo, la falta de eventos de compra afecta directamente las métricas de porcentaje de conversiones y aumento de los ingresos.
Entrenamiento del modelo
- Los modelos de Vertex AI Search for Commerce se entrenan de forma exhaustiva con datos de eventos de usuarios para aprender patrones de comportamiento de los usuarios y optimizar la clasificación.
- Los IDs de visitantes y usuarios son fundamentales para las funciones de personalización y para vincular eventos con el objetivo de crear ejemplos de entrenamiento.
- Los eventos faltantes o dañados hacen que el modelo pierda indicadores de entrenamiento valiosos de la secuencia de interacción de ese usuario. Por ejemplo, la falta de eventos de compra o de producto agregado al carrito impide que el modelo aprenda qué interacciones con el producto generaron conversiones.
- Del mismo modo, la falta de eventos de vistas de la página de detalles significa que el modelo no recibe indicadores sobre los clics. Esta reducción en la cantidad y la calidad de los datos de entrenamiento degrada la capacidad del modelo para aprender de manera eficaz, lo que genera una calidad deficiente en los resultados de la búsqueda y, posiblemente, anula los beneficios de usar un motor de búsqueda basado en AA.
- La asignación o el formato incoherentes del ID de visitante también pueden interrumpir este proceso.
- La falta de eventos de compra afecta el entrenamiento de modelos, ya que este nunca ve compras.