Guia para iniciantes sobre a ingestão de eventos de usuário

Esta página oferece orientações e práticas recomendadas gerais para a ingestão de eventos do usuário. Consulte os tutoriais para começar.

Antes de começar

Tutoriais

Estes tutoriais mostram como importar eventos do usuário de várias fontes.

Importar eventos do Cloud Storage

Este tutorial mostra como importar eventos do usuário do Cloud Storage.

Para seguir as instruções da tarefa diretamente no editor do Cloud Shell, clique em Orientações:

Orientações

Importar eventos do BigQuery

Este tutorial mostra como importar eventos do usuário do BigQuery.

Para seguir as instruções da tarefa diretamente no editor do Cloud Shell, clique em Orientações:

Orientações

Importar eventos in-line

Este tutorial mostra como importar dados de eventos do usuário in-line.

Para seguir as instruções da tarefa diretamente no editor do Cloud Shell, clique em Orientações:

Orientações

O pipeline de ingestão de dados da Pesquisa em E-commerce com IA abrange o catálogo de produtos e os dados de eventos do usuário. Esse fluxo de dados fornece a base para treinamento de modelo e a avaliação contínua por mecanismos de feedback. A ingestão de dados precisa e completa é um processo contínuo para manter a adaptabilidade dos modelos subjacentes, influenciando diretamente a qualidade e a relevância dos resultados da pesquisa.

Práticas recomendadas gerais de ingestão de eventos do usuário

Considere estas práticas recomendadas de ingestão de dados ao criar sua solução de pesquisa para maximizar a eficiência e a eficácia.

Ingerir eventos do usuário na Pesquisa em E-commerce com IA

Espelhando o processo de ingestão do catálogo, a Pesquisa em E-commerce com IA oferece mecanismos duplos para dados de eventos do usuário. A importação em massa e o streaming em tempo real oferecem flexibilidade para diversas arquiteturas de back-end do cliente. No entanto, ao contrário do catálogo, em que uma abordagem híbrida é viável, uma estratégia de ingestão dedicada é melhor para eventos do usuário. Das duas opções, o streaming em tempo real é padrão em implementações práticas.

Ambos produzem resultados comparáveis no treinamento de modelo, na medição de KPIs e na otimização de receita, mas existem compensações sutis. A importação em massa, por exemplo, pode ser mais eficiente para processar volumes de dados históricos, enquanto o streaming é mais responsivo aos usuários.

A escolha depende dos requisitos do ambiente de varejo, como:

  • A meta de latência para incorporar eventos do usuário ao treinamento de modelo.
  • O volume de eventos gerados.

Escalonar a ingestão de eventos do usuário na Pesquisa em E-commerce com IA

Prepare-se para picos de tráfego e garanta a integridade de dados planejando proativamente cenários de escalonamento. Eventos especiais de alto tráfego, como vendas de fim de semana, podem gerar um aumento de 10 a 20 vezes na atividade do usuário. É fundamental ter cotas suficientes e a escalonabilidade do sistema de ingestão para lidar com esses picos.

Esses eventos geralmente se manifestam como picos repentinos de tráfego, não aumentos graduais. A falta de eventos durante esses períodos de pico pode prejudicar o treinamento de modelo, degradar o desempenho da pesquisa e distorcer as medições de KPI. A depuração de problemas pode ser desafiadora, porque os eventos formam a base para o acompanhamento de KPIs e a solução de problemas gerais. A implementação de alertas robustos pode notificar você sobre a deterioração da qualidade de dados, que geralmente é uma consequência de dados de eventos ausentes ou incorretos.

Ao antecipar esses cenários e tomar medidas, você mantém a confiabilidade e a precisão dos dados de eventos do usuário, mesmo em condições de carga extrema. Dados precisos preparam o terreno para que o sistema de Pesquisa em E-commerce com IA ofereça desempenho otimizado, análises precisas e uma experiência centrada no usuário durante o pico de tráfego.

Arquitetura de referência para ingestão de eventos em lote

Arquitetura de referência para ingestão de eventos em lote

A ingestão em lote requer uma arquitetura escalonável projetada para a ingestão eficiente de eventos do usuário na Pesquisa em E-commerce com IA. A arquitetura é composta por Google Cloud serviços, incluindo Pub/Sub, Dataflow, BigQuery, Workflows e Cloud Storage, para gerenciar o processo de ingestão de maneira controlada e em etapas.

Visão geral da arquitetura

A arquitetura de ingestão de eventos em lote emprega uma abordagem de várias etapas para garantir a transferência confiável e precisa de dados de eventos do usuário para a Pesquisa em E-commerce com IA.

Os principais componentes incluem:

  • Pub/Sub: atua como o ponto de entrada inicial para eventos do usuário, fornecendo um sistema de mensagens escalonável e durável.
  • Dataflow (eventos de streaming): lê continuamente eventos brutos do usuário do Pub/Sub e os grava em tabelas de eventos brutos do BigQuery, também capturando eventos com falha para depuração.
  • BigQuery: serve como a principal solução do armazenamento em data warehouse, armazenando eventos brutos, eventos transformados e vários metadados relacionados ao processo de ingestão.
  • Workflows: orquestra o processamento em lote por hora de eventos brutos, garantindo a integridade de dados e facilitando o tratamento de erros.
  • Cloud Storage: fornece armazenamento temporário para o Dataflow durante o processamento e para arquivar registros de eventos com falha.
  • Pesquisa em E-commerce com IA: o destino final dos dados de eventos do usuário, permitindo recursos avançados de pesquisa e recomendação.

Fluxo de dados detalhado

Este é o fluxo de dados detalhado para ingestão de eventos em massa.

  1. Streaming de eventos e persistência de dados brutos:

    • Os eventos do usuário são publicados em tópicos do Pub/Sub do sistema de origem do cliente.
    • Um pipeline de streaming do Dataflow (eventos de streaming) lê continuamente eventos do Pub/Sub.
    • Os eventos brutos bem-sucedidos são gravados em tabelas de eventos brutos do BigQuery.
    • Todas as falhas durante essa ingestão inicial são capturadas e armazenadas em tabelas brutas de falhas separadas do BigQuery para análise e solução de problemas.

  2. Processamento e transformação em lote por hora:

    • O Workflows aciona um pipeline do Dataflow programado por hora (Incr Batch Events).
    • Esse pipeline lê eventos brutos de tabelas do BigQuery.
    • Os eventos são transformados no formato necessário da Pesquisa em E-commerce com IA.
    • Os eventos transformados são gravados em tabelas de eventos selecionados do BigQuery.
    • Todas as falhas de transformação são capturadas em tabelas de eventos com falha selecionadas do BigQuery.

  3. Validação e preparação de dados:

    • O Workflows executa um procedimento armazenado do BigQuery para criar ou atualizar uma visualização (Incr Update Event View) que reflete os dados de eventos transformados mais recentes da última hora.
    • Em seguida, o fluxo de trabalho realiza uma verificação de validação nessa visualização, garantindo que o número de eventos transformados esteja dentro dos limites predefinidos.

  4. Importação da Pesquisa em E-commerce com IA:

    • Se a validação for bem-sucedida, o Workflows invoca a API de eventos de importação da Pesquisa em E-commerce com IA, apontando-a para a visualização do BigQuery que contém os eventos transformados.
    • Em seguida, a Pesquisa em E-commerce com IA importa esses eventos para processamento e indexação.

Outras considerações para ingestão de eventos em lote

Outros aspectos a serem considerados ao ingerir eventos em lote são:

  • Segurança: medidas de segurança adequadas, como controles de acesso e criptografia, precisam ser implementadas para proteger dados de eventos do usuário sensíveis.
  • Monitoramento e registro: o monitoramento e o registro abrangentes precisam ser configurados para acompanhar o desempenho do sistema e identificar possíveis problemas de forma proativa.
  • Otimização de custos: a utilização de recursos precisa ser monitorada para otimizar os custos e garantir o uso eficiente dos Google Cloud serviços.

Essa arquitetura fornece uma base para ingerir eventos do usuário na Pesquisa em E-commerce com IA. Usando vários Google Cloud serviços e incorporando práticas recomendadas para processamento de dados e tratamento de erros, ela permite que as organizações criem soluções escalonáveis e fáceis de manter para experiências avançadas de pesquisa e recomendação.

A seguir