Esta página fornece orientações e práticas recomendadas gerais para a ingestão de eventos do utilizador. Veja os tutoriais para começar.
Antes de começar
- Verifique se os dados foram totalmente importados do Google Analytics 4 para o BigQuery.
- Verifique o estado da importação na consola e consulte o artigo Configure um alerta para a redução da gravação de eventos do utilizador para resolução de problemas.
- Antes de importar dados de eventos de utilizadores do histórico, reveja as práticas recomendadas para registar eventos de utilizadores e a secção Antes de começar nesta página.
- A importação de dados do catálogo do histórico pode melhorar ainda mais os eventos do utilizador e a precisão do modelo.
Tutoriais
Estes tutoriais mostram como importar eventos do utilizador de várias origens.
Importe eventos do Cloud Storage
Este tutorial mostra como importar eventos de utilizadores do Cloud Storage.
Para seguir orientações passo a passo para esta tarefa diretamente no editor do Cloud Shell, clique em Orientar-me:
Importe eventos do BigQuery
Este tutorial mostra como importar eventos do utilizador do BigQuery.
Para seguir orientações passo a passo para esta tarefa diretamente no editor do Cloud Shell, clique em Orientar-me:
Importe eventos inline
Este tutorial mostra como importar dados de eventos do utilizador incorporados.
Para seguir orientações passo a passo para esta tarefa diretamente no editor do Cloud Shell, clique em Orientar-me:
O pipeline de carregamento de dados do Vertex AI Search for commerce abrange o catálogo de produtos e os dados de eventos do utilizador. Este fluxo de dados fornece a base para a preparação de modelos e a avaliação contínua através de mecanismos de feedback. A ingestão de dados precisa e completa é um processo contínuo para manter a adaptabilidade dos modelos subjacentes, o que influencia diretamente a qualidade e a relevância dos resultados da pesquisa.
Práticas recomendadas gerais para o carregamento de eventos do utilizador
Considere estas práticas recomendadas de carregamento de dados ao arquitetar a sua solução de pesquisa para maximizar a eficiência e a eficácia.
Carregue eventos de utilizador no Vertex AI Search for commerce
Refletindo o processo de carregamento do catálogo, o Vertex AI Search for commerce oferece mecanismos duplos para dados de eventos do utilizador. A importação em massa e o streaming em tempo real oferecem flexibilidade para diversas arquiteturas de back-end de clientes. No entanto, ao contrário do catálogo, onde uma abordagem híbrida é viável, uma estratégia de carregamento dedicada é melhor para eventos do utilizador. Das duas opções, a stream em tempo real é a norma nas implementações práticas.
Ambos geram resultados comparáveis no treino de modelos, na medição de IEDs e na otimização de receita, mas existem compromissos subtis. Por exemplo, a importação em massa pode ser mais eficiente para processar volumes de dados do histórico, enquanto o streaming é mais reativo aos utilizadores.
A escolha depende dos requisitos do seu ambiente de retalho, como:
- O objetivo de latência para incorporar eventos do utilizador no treino do modelo.
- O volume de eventos que estão a ser gerados.
Escalone a carregamento de eventos de utilizadores no Vertex AI Search for commerce
Prepare-se para picos de tráfego e garanta a integridade dos dados planeando proativamente cenários de escalabilidade. Os eventos especiais com tráfego elevado, como os saldos de fim de semana, podem acionar um aumento de 10 a 20 vezes na atividade do utilizador. É fundamental ter quotas suficientes e a escalabilidade do seu sistema de carregamento para processar esses picos.
Estes eventos manifestam-se frequentemente como picos súbitos de tráfego e não aumentos graduais. A falta de eventos durante estes períodos de pico pode prejudicar a preparação do modelo, degradar o desempenho da pesquisa e distorcer as medições dos IEDs. A depuração de problemas pode ser difícil, uma vez que os eventos formam a base do acompanhamento de KPIs e da resolução de problemas gerais. A implementação de alertas robustos pode enviar-lhe notificações sobre a deterioração da qualidade dos dados, que é frequentemente uma consequência de dados de eventos em falta ou incorretos.
Ao antecipar estes cenários e tomar medidas, mantém a fiabilidade e a precisão dos dados de eventos do utilizador, mesmo em condições de carga extremas. Os dados precisos preparam o terreno para que o seu sistema de pesquisa do Vertex AI para comércio ofereça um desempenho otimizado, estatísticas precisas e uma experiência centrada no utilizador durante os picos de tráfego.
Arquitetura de referência para o carregamento de eventos em lote
O carregamento em lote requer uma arquitetura escalável concebida para o carregamento eficiente de eventos do utilizador no Vertex AI Search for commerce. A arquitetura é composta por Google Cloud serviços, incluindo o Pub/Sub, o Dataflow, o BigQuery, os Workflows e o Cloud Storage, para gerir o processo de carregamento de forma faseada e controlada.
Vista geral da arquitetura
A arquitetura de carregamento de eventos em lote emprega uma abordagem de várias fases para garantir a transferência fiável e precisa de dados de eventos do utilizador para o Vertex AI Search for commerce.
Os principais componentes incluem:
- Pub/Sub: funciona como o ponto de entrada inicial para eventos do utilizador, oferecendo um sistema de mensagens escalável e duradouro.
- Dataflow (eventos de streaming): lê continuamente eventos de utilizadores não processados do Pub/Sub e escreve-os em tabelas de eventos não processados do BigQuery, capturando também todos os eventos com falhas para depuração.
- BigQuery: serve como a principal solução de armazenamento de dados, armazenando eventos não processados, eventos transformados e vários metadados relacionados com o processo de carregamento.
- Fluxos de trabalho: orquestra o processamento em lote por hora de eventos não processados, garantindo a integridade dos dados e facilitando o processamento de erros.
- Cloud Storage: oferece armazenamento temporário para o Dataflow durante o processamento e para arquivar registos de eventos com falhas.
- Vertex AI Search for commerce: o destino final dos dados de eventos do utilizador, que permite capacidades avançadas de pesquisa e recomendações.
Fluxo de dados passo a passo
Este é o fluxo de dados passo a passo para o carregamento de eventos em massa.
Streaming de eventos e persistência de dados não processados:
- Os eventos do utilizador são publicados em tópicos do Pub/Sub a partir do sistema de origem do cliente.
- Um pipeline de streaming do Dataflow (eventos de streaming) lê continuamente eventos do Pub/Sub.
- Os eventos não processados bem-sucedidos são escritos em tabelas de eventos não processados do BigQuery.
- Todas as falhas durante esta carregamento inicial são capturadas e armazenadas em tabelas não processadas com falhas separadas do BigQuery para análise e resolução de problemas.
Processamento e transformação em lote por hora:
- Os fluxos de trabalho acionam um pipeline do Dataflow agendado por hora (eventos de lote incr.).
- Este pipeline lê eventos não processados de tabelas do BigQuery.
- Os eventos são transformados no formato necessário do Vertex AI Search para comércio.
- Os eventos transformados são escritos em tabelas de eventos organizadas do BigQuery.
- Todas as falhas de transformação são captadas em tabelas de eventos com falhas organizadas do BigQuery.
Validação e preparação de dados:
- Os fluxos de trabalho executam um procedimento armazenado do BigQuery para criar ou atualizar uma vista (vista de eventos de atualização incremental) que reflete os dados de eventos transformados mais recentes da última hora.
- Em seguida, o fluxo de trabalho executa uma verificação de validação nesta vista, garantindo que o número de eventos transformados se enquadra nos limites predefinidos.
Importação do Vertex AI Search para comércio:
- Se a validação for bem-sucedida, os fluxos de trabalho invocam a API de eventos de importação do Vertex AI Search para comércio, direcionando-a para a vista do BigQuery que contém os eventos transformados.
- Em seguida, o Vertex AI Search for commerce importa estes eventos para processamento e indexação adicionais.
Considerações adicionais para o carregamento de eventos em lote
Outros aspetos a considerar quando carrega eventos em lote:
- Segurança: devem ser implementadas medidas de segurança adequadas, como controlos de acesso e encriptação, para proteger os dados de eventos de utilizadores confidenciais.
- Monitorização e registo: a monitorização e o registo abrangentes devem ser configurados para acompanhar o desempenho do sistema e identificar potenciais problemas de forma proativa.
- Otimização de custos: a utilização de recursos deve ser monitorizada para otimizar os custos e garantir a utilização eficiente dos Google Cloud serviços.
Esta arquitetura oferece uma base para carregar eventos de utilizadores no Vertex AI Search para comércio. A utilização de vários Google Cloud serviços e a incorporação de práticas recomendadas para o processamento de dados e o processamento de erros permitem às organizações criar soluções escaláveis e de fácil manutenção para experiências avançadas de pesquisa e recomendações.
O que se segue?
Para compreender como funcionam geralmente os eventos do utilizador, consulte o artigo Acerca dos eventos do utilizador.
Para instruções mais detalhadas sobre cada método de carregamento, consulte as páginas sobre a importação em massa e o streaming de eventos em tempo real.