En esta página, se proporciona orientación y prácticas recomendadas generales para la transferencia de eventos de usuario. Consulta los instructivos para comenzar.
Antes de comenzar
- Verifica que los datos se hayan importado por completo de Google Analytics 4 a BigQuery.
- Verifica el estado de la importación en la consola y consulta Configura una alerta para la reducción del registro de eventos de usuarios para solucionar problemas.
- Antes de importar datos de eventos de usuario históricos, revisa las prácticas recomendadas para registrar eventos de usuario y la sección Antes de comenzar de esta página.
- Importar datos históricos del catálogo puede mejorar aún más los eventos de usuario y la exactitud del modelo.
Instructivos
En estos instructivos, se muestra cómo importar eventos de usuario desde varias fuentes.
Importa eventos desde Cloud Storage
En este instructivo, se muestra cómo importar eventos de usuarios desde Cloud Storage.
Para seguir la guía paso a paso sobre esta tarea directamente en el editor de Cloud Shell, haz clic en Guiarme:
Importa eventos desde BigQuery
En este instructivo, se muestra cómo importar eventos de usuario desde BigQuery.
Para seguir la guía paso a paso sobre esta tarea directamente en el editor de Cloud Shell, haz clic en Guiarme:
Importa eventos intercalados
En este instructivo, se muestra cómo importar datos de eventos de usuario intercalados.
Para seguir la guía paso a paso sobre esta tarea directamente en el editor de Cloud Shell, haz clic en Guiarme:
La canalización de transferencia de datos de Vertex AI Search for commerce abarca tanto el catálogo de productos como los datos de eventos del usuario. Este flujo de datos proporciona la base para el entrenamiento de modelos y la evaluación continua a través de mecanismos de comentarios. La transferencia de datos precisa y completa es un proceso continuo para mantener la adaptabilidad de los modelos subyacentes, lo que influye directamente en la calidad y la relevancia de los resultados de la búsqueda.
Prácticas recomendadas generales para la transferencia de eventos del usuario
Ten en cuenta estas prácticas recomendadas para la transferencia de datos cuando diseñes tu solución de búsqueda y maximices la eficiencia y la eficacia.
Transfiere eventos del usuario a Vertex AI Search for Commerce
Al igual que el proceso de transferencia del catálogo, Vertex AI Search for Commerce ofrece dos mecanismos para los datos de eventos del usuario. La importación masiva y la transmisión en tiempo real brindan flexibilidad para diversas arquitecturas de backend de clientes. Sin embargo, a diferencia del catálogo, en el que es factible un enfoque híbrido, una estrategia de transferencia dedicada es mejor para los eventos del usuario. De las dos opciones, la transmisión en tiempo real es el estándar en las implementaciones prácticas.
Ambos generan resultados comparables en el entrenamiento de modelos, la medición del KPI y la optimización de los ingresos, pero existen compensaciones sutiles. Por ejemplo, la importación masiva podría ser más eficiente para procesar volúmenes de datos históricos, mientras que la transmisión es más sensible a los usuarios.
La elección depende de los requisitos de tu entorno minorista, como los siguientes:
- Es el objetivo de latencia para incorporar eventos de usuarios en el entrenamiento de modelos.
- Es la cantidad de eventos que se generan.
Cómo escalar la transferencia de eventos del usuario en Vertex AI Search for Commerce
Prepárate para los aumentos repentinos del tráfico y garantiza la integridad de los datos planificando de forma proactiva las situaciones de escalamiento. Los eventos especiales con mucho tráfico, como las ofertas de fin de semana, pueden generar un aumento de entre 10 y 20 veces en la actividad del usuario. Es fundamental que tengas cuotas suficientes y que tu sistema de transferencia de datos pueda escalar para controlar estos aumentos repentinos.
Estos eventos suelen manifestarse como ráfagas repentinas de tráfico, no como aumentos graduales. La falta de eventos durante estos períodos pico puede dificultar el entrenamiento de modelos, degradar el rendimiento de la búsqueda y sesgar las mediciones de KPI. Los problemas de depuración pueden ser difíciles, ya que los eventos son la base del seguimiento de los KPI y la solución general de problemas. La implementación de alertas sólidas puede notificarte sobre el deterioro de la calidad de los datos, que suele ser consecuencia de datos de eventos faltantes o erróneos.
Si anticipas estas situaciones y tomas medidas, mantendrás la confiabilidad y la precisión de tus datos de eventos de usuario, incluso en condiciones de carga extremas. Los datos precisos sientan las bases para que tu sistema de Vertex AI Search for Commerce ofrezca un rendimiento optimizado, estadísticas precisas y una experiencia centrada en el usuario durante los períodos de mayor tráfico.
Arquitectura de referencia para la transferencia de eventos por lotes
La transferencia por lotes requiere una arquitectura escalable diseñada para la transferencia eficiente de eventos del usuario a Vertex AI Search for commerce. La arquitectura se compone de servicios, incluidos Pub/Sub, Dataflow, BigQuery, Workflows y Cloud Storage, para administrar el proceso de transferencia de manera controlada y por etapas. Google Cloud
Descripción general de la arquitectura
La arquitectura de transferencia de eventos por lotes emplea un enfoque de varias etapas para garantizar la transferencia confiable y precisa de los datos de eventos de usuario a Vertex AI Search for commerce.
Entre los componentes clave, se incluyen los siguientes:
- Pub/Sub: Actúa como el punto de entrada inicial para los eventos del usuario y proporciona un sistema de mensajería escalable y duradero.
- Dataflow (eventos de transmisión): Lee continuamente los eventos de usuarios sin procesar de Pub/Sub y los escribe en las tablas de eventos sin procesar de BigQuery. También captura los eventos fallidos para la depuración.
- BigQuery: Sirve como la solución principal de almacenamiento de datos, ya que almacena eventos sin procesar, eventos transformados y varios metadatos relacionados con el proceso de transferencia.
- Flujos de trabajo: Coordina el procesamiento por lotes cada hora de los eventos sin procesar, lo que garantiza la integridad de los datos y facilita el manejo de errores.
- Cloud Storage: Proporciona almacenamiento temporal para Dataflow durante el procesamiento y para archivar los registros de eventos fallidos.
- Vertex AI Search for commerce: Es el destino final de los datos de eventos del usuario, lo que permite capacidades avanzadas de búsqueda y recomendación.
Flujo de datos paso a paso
Este es el flujo de datos paso a paso para la transferencia masiva de eventos.
Transmisión de eventos y persistencia de datos sin procesar:
- Los eventos del usuario se publican en temas de Pub/Sub desde el sistema fuente del cliente.
- Una canalización de transmisión de Dataflow (eventos de transmisión) lee eventos de Pub/Sub de forma continua.
- Los eventos sin procesar exitosos se escriben en las tablas de eventos sin procesar de BigQuery.
- Cualquier falla que se produzca durante esta transferencia inicial se captura y almacena en tablas de errores sin procesar de BigQuery independientes para su análisis y solución de problemas.
Procesamiento y transformación por lotes cada hora:
- Workflows activan una canalización de Dataflow programada por hora (Incr Batch Events).
- Esta canalización lee eventos sin procesar de tablas de BigQuery.
- Los eventos se transforman en el formato requerido de Vertex AI Search for Commerce.
- Los eventos transformados se escriben en tablas de eventos seleccionadas de BigQuery.
- Los errores de transformación se registran en las tablas de eventos con errores seleccionados de BigQuery.
Validación y preparación de datos:
- Workflows ejecuta un procedimiento almacenado de BigQuery para crear o actualizar una vista (vista de eventos de actualización incremental) que refleje los datos de eventos transformados más recientes de la última hora.
- Luego, el flujo de trabajo realiza una verificación de validación en esta vista para garantizar que la cantidad de eventos transformados se encuentre dentro de los umbrales predefinidos.
Importación de Vertex AI Search for Commerce:
- Si la validación se realiza correctamente, Workflows invoca la API de eventos de importación de Vertex AI Search for Commerce y la dirige a la vista de BigQuery que contiene los eventos transformados.
- Luego, Vertex AI Search for commerce importa estos eventos para su posterior procesamiento e indexación.
Consideraciones adicionales para la transferencia de eventos por lotes
Estos son algunos aspectos adicionales que debes tener en cuenta cuando transfieras eventos por lotes:
- Seguridad: Se deben implementar medidas de seguridad adecuadas, como controles de acceso y encriptación, para proteger los datos sensibles de eventos del usuario.
- Supervisión y registro: Se deben configurar la supervisión y el registro integrales para hacer un seguimiento del rendimiento del sistema y detectar posibles problemas de forma proactiva.
- Optimización de costos: Se debe supervisar el uso de recursos para optimizar los costos y garantizar el uso eficiente de los servicios de Google Cloud .
Esta arquitectura proporciona una base para transferir eventos del usuario a Vertex AI Search for Commerce. Con varios Google Cloud servicios y la incorporación de prácticas recomendadas para el procesamiento de datos y el manejo de errores, permite a las organizaciones crear soluciones escalables y fáciles de mantener para experiencias avanzadas de búsqueda y recomendación.
¿Qué sigue?
Para comprender cómo funcionan los eventos de usuario en general, consulta Acerca de los eventos de usuario.
Para obtener instrucciones más detalladas sobre cada método de transferencia, consulta las páginas sobre la importación masiva y la transmisión de eventos en tiempo real.