Consideraciones y pruebas adicionales

Deben tenerse en cuenta otras consideraciones para aplicar las prácticas recomendadas y probar la interfaz de tu agente de comercio conversacional.

Implementar prácticas recomendadas

Tenga en cuenta estas prácticas recomendadas al implementar la interfaz de su agente de comercio conversacional:

  • Coherencia del ID de visitante: ayuda a asegurar que se envíe de forma coherente un visitor_id único con cada solicitud de un usuario final determinado. Esto es fundamental para que la personalización y el entrenamiento del modelo sean precisos. Lo ideal es que este identificador se mantenga constante para un usuario final en todas las sesiones y estados de inicio o cierre de sesión.
  • Gestión de sucursales: aunque default_branch es habitual, asegúrese de usar el ID de sucursal correcto si su catálogo de productos está estructurado con varias sucursales.
  • Interacción con la API Search: en el caso de SIMPLE_PRODUCT_SEARCH y en cualquier caso en el que se proporcione refined_search, recuerda hacer una llamada independiente a la API Search principal (SearchService.Search) con el query del campo refined_search o la consulta original para obtener las fichas de producto reales. La API Conversacional se centra principalmente en la experiencia conversacional y en la comprensión de la intención del usuario, en lugar de devolver directamente resultados de productos.
  • Diseño de la interfaz de usuario: diseña tu interfaz web para presentar claramente las opciones conversational_text_response, followup_question y refined_search de forma intuitiva para guiar al usuario.

Planificar pruebas A/B

Aunque la relevancia es una métrica de entrada importante, Vertex AI Search para el sector del comercio también tiene en cuenta otras variables con el objetivo de optimizar los resultados empresariales:

Métricas
Ingresos por visita (RPV) Los ingresos por visita son la métrica más eficaz para medir el rendimiento de la búsqueda, ya que tienen en cuenta la tasa de conversión, el valor medio de los pedidos y la relevancia.
Conversión: valor medio de pedido El porcentaje de conversión y el valor medio de los pedidos contribuyen al RPV.
Relevancia, posibilidad de compra y precio La relevancia, entre otros factores, se usa para generar resultados de búsqueda de alto rendimiento.

Lista de comprobación de preparación para pruebas A/B

Estas son las métricas de éxito que se han usado:

Elemento Definición Fase
Esquema de atribución de eventos Colabora con Google para segmentar correctamente los eventos de usuario con fines de medición. Pre-experiment
Monitorizar entradas de datos Capacidad para detectar rápidamente si los datos de entrenamiento contienen anomalías que podrían afectar al rendimiento. Antes del experimento
Cobertura de eventos ¿Estamos instrumentando todos los resultados posibles asociados a las sesiones de IA de búsqueda o de recomendaciones? Pre-experiment
Criterios de éxito medibles Definición de completado documentada (en términos medibles). Pre-experiment
Capacidad para medir los sesgos de la experiencia de usuario Asegúrate de que la experiencia de usuario sea coherente en todas las variantes experimentales. Durante el experimento
Coherencia entre los datos de VAIS y el consumo Verifica que los tokens de atribución, los filtros, el orden, el desplazamiento, etc. se transfieran de la API a UserEvents. Los IDs de visitante o de usuario coinciden entre las solicitudes de eventos y de APIs. Durante el experimento
Aprobación para hacer ajustes durante el experimento Planifica las actividades de ajuste, documenta los cambios y ajusta las mediciones y la interpretación en consecuencia. Durante el experimento

Implementar una prueba de concepto o un producto viable mínimo

Ingestión de datos Diseño de pruebas A/B Métricas de rendimiento Gobernanza y procesos

Ingestión de catálogos de productos actualizados y completos

Cumplir los métodos de ingestión de eventos recomendados para asegurar la sincronización de datos entre Google y usted.
Google recomienda usar el seguimiento de eventos en tiempo real, incluidos los datos de impresiones.

Transfiere los atributos necesarios, como los IDs de experimento y de visitante, e implementa correctamente los tokens de búsqueda cuando corresponda.

 Incorpora las prácticas recomendadas de experimentación para obtener resultados fiables:
  • Verifica la integración.
  • Pruebe con una modificación cada vez.
  • Evita el almacenamiento en caché agresivo.
  • Asegúrate de que la interfaz web sea equitativa entre las pruebas y los controles.
  • Asegura la equidad del tráfico con la división del tráfico mediante el ID de visitante.
  • Asegúrese de que los datos de producto sean coherentes.
  • Aplica las mismas reglas de negocio en las variantes de prueba y de control.
 Todos los criterios de evaluación deben ser empíricos, medirse objetivamente y basarse en métricas.

Para medir el rendimiento de forma precisa, es fundamental que todos los participantes estén de acuerdo con las definiciones exactas de las métricas que se monitorizan.

Entre las métricas estándar que se monitorizan se incluyen las siguientes:
  • CTR de búsqueda (relevancia de los resultados)
  • Tasa de búsquedas nulas (comprensión de la intención)
  • Ingresos por visitante o por usuario
  • Número de búsquedas para convertir
 La integración de datos, las pruebas, el lanzamiento de funciones y la optimización serán procesos iterativos que requerirán recursos.

Cadencia de experimento de ejemplo

Cumplir las dependencias del producto mínimo viable Calibrar la medición Desplegar el modo Oscuro de producción Decisión de seguir adelante o no
  • Contrato
  • Modelo entrenado y configuraciones de servicio
  • Ingestión de datos de producto y de eventos
  • Comparar los datos (de cliente) con la telemetría de la búsqueda de Commerce y hacer los ajustes necesarios
  • Ponerse de acuerdo sobre los valores de referencia de las mediciones
  • Realizar una evaluación sin conexión
  • Configuraciones de ajuste
  • Prueba A/A para verificar la división del tráfico
  • Obtener la aprobación del control de calidad
  • Comprometerse a seguir adelante con la rampa

Cadencia de un experimento A/B de ejemplo

Pruebas continuas Aumentar hasta el X% del tráfico Mide, ajusta y repite Aumentar hasta el X% del tráfico real
  • Seguir ajustando u optimizando
  • Probar funciones incrementales
  • Analizar el rendimiento de los segmentos de búsqueda
  • Hacer los ajustes de modelización o de reglas que sean necesarios
  • Comprobar el rendimiento
  • Identificar y explicar anomalías
  • Iniciar experimento
  • Compartir métricas de rendimiento a diario
  • Realizar ajustes

Componentes de un experimento exitoso

Calibrar las mediciones y establecer los criterios de éxito Mantener la imparcialidad de los experimentos Monitorizar la calidad de los datos
  • Planifica un tiempo para verificar la coherencia del catálogo, los eventos de usuario y el consumo de la API antes del lanzamiento oficial.
  • Establece criterios de éxito cuantificables desde el principio (lo ideal es que se expresen como un cambio en los ingresos por visita).
  • Identifica y explica de forma proactiva las regresiones o anomalías y, a continuación, corrígelas.
  • Comparte las mediciones a menudo, comprende y documenta las definiciones de las métricas en los diferentes grupos experimentales.
  • Minimizar las diferencias de experiencia de usuario entre los segmentos (diseño y elementos visuales comunes, solo datos diferentes).
  • Ten en cuenta las reglas empresariales o de merchandising (asegúrate de que no introduzcan sesgos).
  • Mide la deriva del catálogo.
  • Anota correctamente los resultados de los experimentos (mediante eventos de usuario).

Roles y propiedad de los experimentos

Google Tú
Evaluación de la calidad Resultados de la búsqueda de comercio Impacto en la experiencia de usuario
Mediciones Crear copia de seguridad o validar Acreditado
Telemetría/datos Volumetría de la plataforma (validación del rendimiento)
Anomalías de eventos e índices		 Tokens de atribución y pasos para reproducir el problema (validación de problemas)
Plataforma de búsqueda Artículos a nivel de producto
  • Asignación de datos
  • Ajustes de modelos o entrenamiento
  • Anomalías de calidad o de servicio
  • Cuotas y límites de la plataforma
  • Defectos en el producto o en la biblioteca de cliente
 Elementos de consulta o de servicio
  • Aumento de solicitudes (incluido el enrutamiento de contexto, el almacenamiento en caché y el procesamiento de intenciones)
  • Configuraciones de publicación (ajustes)
  • Enriquecimiento de datos de origen
  • Rendimiento del cliente (por ejemplo, hilos de WC)
  • Defectos de UX, API, plataforma o biblioteca
Apto/No apto Recomendar Aprobar

Realizar experimentos en la consola

  1. Vaya a la página Experimentos de la consola de búsqueda de comercio.

    Ir a la página Experimentos

  2. Usa la consola para realizar análisis avanzados de autoservicio para la incorporación de Vertex AI Search for commerce y pruebas A/B aplicando la metodología de atribución de Google:

  • Monitoriza la segmentación del tráfico, las métricas empresariales y el rendimiento de las búsquedas y la navegación.

  • Aplica métricas a nivel de visita por búsqueda tanto a la búsqueda por palabra clave como a la navegación.

  • Consulta el rendimiento de los experimentos como una serie temporal con métricas de significación estadística.

  • Usar la plataforma Looker insertada.