Consideraciones y pruebas adicionales

Se deben tener en cuenta consideraciones adicionales para las prácticas recomendadas y las pruebas de la interfaz del agente de comercio conversacional.

Implementa las prácticas recomendadas

Ten en cuenta estas prácticas recomendadas cuando implementes la interfaz de tu agente de comercio conversacional:

• Coherencia del ID de visitante: Ayuda a garantizar que se envíe un visitor_id único de forma coherente con cada solicitud para un usuario final determinado. Esto es fundamental para la personalización precisa y el entrenamiento de modelos. Lo ideal es que este identificador siga siendo coherente para un usuario final en todas las sesiones y los estados de acceso o cierre de sesión.
• Administración de ramas: Si bien default_branch es común, asegúrate de usar el ID de rama correcto si tu catálogo de productos está estructurado con varias ramas.
• Interacción con la API de búsqueda: Para SIMPLE_PRODUCT_SEARCH y cualquier caso en el que se proporcione refined_search, recuerda hacer una llamada independiente a la API de búsqueda principal (SearchService.Search) con el query del campo refined_search o la búsqueda original para obtener las fichas de productos reales. La API de Conversational se enfoca principalmente en la experiencia conversacional y la comprensión de la intención del usuario, en lugar de mostrar directamente resultados de productos.
• Diseño de la interfaz de usuario: Diseña tu interfaz web para presentar claramente las opciones de conversational_text_response, followup_question y refined_search de una manera intuitiva para guiar al usuario.

Planifica pruebas A/B

Si bien la relevancia es una métrica de entrada importante, Vertex AI Search for Commerce también tiene en cuenta otras variables con el objetivo de optimizar los resultados comerciales:

Métricas
Ingresos por visita (RPV)	Los ingresos por visita son la métrica más eficaz para el rendimiento de la búsqueda, ya que tienen en cuenta la tasa de conversión, el AOV y la relevancia.
Conversión: Valor promedio del pedido (AOV)	El porcentaje de conversiones y el AOV contribuyen al RPV.
Relevancia, capacidad de compra y precio	La relevancia, entre otras entradas, se usa para producir resultados de la búsqueda de alto rendimiento.

Lista de tareas de preparación para pruebas A/B

Estas son las métricas de éxito que se utilizan:

Ingresos por visita (RPV)

Porcentaje de conversiones (CVR)

Eventos de agregar al carrito

Tasa de clics

Elemento	Definición	Etapa
Esquema de atribución de eventos	Trabaja con Google para segmentar correctamente los eventos del usuario para la medición.	Antes del experimento
Supervisión de las entradas de datos	Capacidad para comprender rápidamente cuándo los datos de entrenamiento contienen anomalías que podrían afectar el rendimiento.	Antes del experimento
Cobertura de eventos	¿Estamos registrando todos los resultados posibles asociados con las sesiones de IA de búsqueda o recomendaciones?	Antes del experimento
Criterios de éxito medibles	Definición de completado documentada (en términos medibles)	Antes del experimento
Capacidad para medir los sesgos de UX	Garantiza una UX coherente en todos los grupos experimentales.	Durante el experimento
Coherencia entre los datos y el consumo de VAIS	Verifica que los tokens de atribución, los filtros, el orden, el desplazamiento, etcétera, se pasen de la API a UserEvents. Los IDs de visitante o usuario coinciden entre el evento y las solicitudes a la API.	Durante el experimento
Aprobación para realizar ajustes durante el experimento	Planifica las actividades de ajuste, documenta los cambios y ajusta las mediciones y la interpretación según corresponda.	Durante el experimento

Implementa una prueba de concepto o un producto viable mínimo

Transferencia de datos	Diseño de la prueba A/B	Métricas de rendimiento	Administración y proceso
Ingesta completa y actualizada del catálogo de productos Cumplimiento de los métodos recomendados de transferencia de eventos para garantizar la sincronización de datos entre Google y tú La recomendación de Google es para el seguimiento de eventos en tiempo real, incluidos los datos de impresiones. Pasa los atributos necesarios, como los IDs de experimento y de visitante, y, cuando corresponda, implementa correctamente los tokens de búsqueda.	Incorpora las prácticas recomendadas para los experimentos y garantiza resultados confiables: Verifica la integración. Prueba un solo cambio a la vez. Evita el almacenamiento en caché agresivo. Asegúrate de que la interfaz web sea equitativa entre las versiones de prueba y de control. Garantiza la equidad del tráfico con la división del tráfico por ID de visitante. Garantiza la coherencia de los datos de productos. Aplica las mismas reglas de negocio en los grupos de prueba y de control.	Todos los criterios de evaluación deben ser empíricos, medirse de forma objetiva y basarse en métricas. Es fundamental que haya alineación en las definiciones exactas de las métricas que se registran para medir el rendimiento con precisión. Entre las métricas estándares que se registran, se incluyen las siguientes: CTR de la búsqueda (relevancia de los resultados) Tasa de búsquedas nulas (comprensión de la intención) Ingresos por visitante o por usuario Cantidad de búsquedas que se convertirán	La integración, las pruebas, el lanzamiento de funciones y la optimización de los datos serán un proceso iterativo que requerirá recursos.

Ejemplo de cadencia del experimento

Cumple con las dependencias del producto mínimo viable	Calibrar la medición	Implementa el modo oscuro de producción	Decisión de proceder o no proceder
Contrato Modelo entrenado y parámetros de configuración de la entrega Transferencia de datos de productos y eventos	Comparar los datos (del cliente) con la telemetría de la Búsqueda de comercio y realizar los ajustes necesarios Alinea los modelos de referencia de medición	Realiza una evaluación sin conexión Ajusta la configuración Prueba A/A para verificar la división del tráfico	Obtén la aprobación del equipo de QA Comprométete a avanzar con la aceleración

Pruebas en curso	Aumenta el tráfico hasta alcanzar el X%	Mide, ajusta y repite	Aumenta el tráfico en vivo hasta alcanzar el X%
Continuar con el ajuste o la optimización Prueba funciones incrementales	Analiza el rendimiento en los diferentes segmentos de la búsqueda Realiza los ajustes necesarios en el modelado o las reglas.	Verifica el rendimiento Identifica y explica las anomalías	Inicia el experimento Comparte las métricas de rendimiento a diario Realiza el ajuste

Componentes de un experimento exitoso

Calibrar las mediciones y establecer los criterios de éxito	Mantén la equidad del experimento	Supervisar la calidad de los datos
Planifica el tiempo para verificar la coherencia del catálogo, los eventos del usuario y el consumo de la API antes del lanzamiento oficial. Establece criterios de éxito cuantificables por adelantado (idealmente, expresados como un cambio en el RPV). Identificar y explicar de forma proactiva las regresiones o anomalías, y luego corregirlas Comparte las mediciones con frecuencia, comprende y documenta las definiciones de las métricas en todos los grupos experimentales.	Minimizar las diferencias de UX entre los segmentos (diseño y elementos visuales comunes, solo datos diferentes) Ten en cuenta las reglas comerciales y de comercialización (asegúrate de que no introduzcan sesgos).	Medir la desviación del catálogo Anota correctamente los resultados del experimento (a través de eventos del usuario).

Roles y propiedad del experimento

	Google	Tú
Evaluación de calidad	Resultados de la búsqueda para comercios	Impacto en la UX
Medidas	Copia de seguridad/validación	Autorizado
Telemetría/datos	Volumetría de la plataforma (validación del rendimiento) Anomalías en eventos e índices	Tokens de atribución y pasos para reproducir (validación de problemas)
Plataforma de búsqueda	Artículos a nivel del producto Asignación de datos Ajustes del modelo o del entrenamiento Anomalías de calidad o entrega Cuotas y límites de la plataforma Defectos de la biblioteca del producto o cliente	Elementos de la consulta o de la publicación Aumento de solicitudes (incluido el enrutamiento contextual, el almacenamiento en caché y el procesamiento de la intención) Configuraciones de entrega (ajuste) Enriquecimiento de datos de origen Rendimiento del cliente (por ejemplo, subprocesos de WC) Defectos de UX, API, plataforma o biblioteca
Apto o no apto	Recomendar	Aprobar

Realiza experimentos en la consola

1. Ve a la página Experiments en la consola de Search for commerce.
   
   Ir a la página Experimentos

2. Usa la consola para realizar análisis avanzados de autoservicio para la incorporación y las pruebas A/B de Vertex AI Search for Commerce aplicando la metodología de atribución de Google:

• Supervisa la segmentación del tráfico, las métricas comerciales y el rendimiento de la búsqueda y la navegación.

• Se aplican métricas a nivel de la visita por búsqueda en la búsqueda por palabras clave y la navegación.

• Consulta el rendimiento del experimento como una serie temporal con métricas de importancia estadística.

• Usar la plataforma de Looker incorporada