Guia para iniciantes sobre a ingestão de eventos de usuário

Esta página oferece orientações e práticas recomendadas gerais para ingerir eventos do usuário. Confira os tutoriais para começar.

Antes de começar

Tutoriais

Estes tutoriais mostram como importar eventos de usuário de várias fontes.

Importar eventos do Cloud Storage.

Neste tutorial, mostramos como importar eventos de usuário do Cloud Storage.

Para seguir as instruções da tarefa diretamente no editor do Cloud Shell, clique em Orientação:

Orientações

Importar eventos do BigQuery

Este tutorial mostra como importar eventos de usuário do BigQuery.

Para seguir as instruções da tarefa diretamente no editor do Cloud Shell, clique em Orientação:

Orientações

Importar eventos inline

Este tutorial mostra como importar dados de eventos do usuário in-line.

Para seguir as instruções da tarefa diretamente no editor do Cloud Shell, clique em Orientação:

Orientações

O pipeline de ingestão de dados da Vertex AI Search for commerce abrange o catálogo de produtos e os dados de eventos do usuário. Esse fluxo de dados fornece a base para treinamento de modelo e a avaliação contínua por mecanismos de feedback. A ingestão de dados precisa e completa é um processo contínuo para manter a adaptabilidade dos modelos subjacentes, influenciando diretamente a qualidade e a relevância dos resultados da pesquisa.

Práticas recomendadas gerais para ingestão de eventos do usuário

Considere estas práticas recomendadas de ingestão de dados ao arquitetar sua solução de pesquisa para maximizar a eficiência e a eficácia.

Ingerir eventos do usuário na Vertex AI Search for commerce

Assim como no processo de ingestão de catálogo, a Vertex AI Search for commerce oferece mecanismos duplos para dados de eventos do usuário. A importação em massa e o streaming em tempo real oferecem flexibilidade para diversas arquiteturas de back-end de clientes. Ao contrário do catálogo, em que uma abordagem híbrida é viável, uma estratégia de ingestão dedicada é melhor para eventos do usuário. Das duas opções, o streaming em tempo real é o padrão em implementações práticas.

Ambos geram resultados comparáveis no treinamento de modelo, na medição de KPI e na otimização de receita, mas existem compensações sutis. Por exemplo, a importação em massa pode ser mais eficiente para processar volumes de dados históricos, enquanto o streaming é mais responsivo aos usuários.

A escolha depende dos requisitos do seu ambiente de varejo, como:

  • A meta de latência para incorporar eventos do usuário ao treinamento de modelo.
  • O volume de eventos gerados.

Escalonar a ingestão de eventos do usuário na Vertex AI Search for commerce

Prepare-se para picos de tráfego e garanta a integridade dos dados planejando proativamente cenários de escalonamento. Eventos especiais com muito tráfego, como promoções de fim de semana, podem causar um aumento de 10 a 20 vezes na atividade do usuário. É fundamental ter cotas suficientes e a escalonabilidade do sistema de ingestão para lidar com esses picos.

Esses eventos geralmente se manifestam como picos repentinos de tráfego, não aumentos graduais. A falta de eventos durante esses períodos de pico pode prejudicar o treinamento de modelo, reduzir o desempenho da pesquisa e distorcer as medições de KPI. A depuração de problemas pode ser difícil, porque os eventos são a base para o acompanhamento de KPIs e a solução de problemas gerais. A implementação de alertas robustos pode notificar você sobre a deterioração da qualidade dos dados, que geralmente é uma consequência de dados de eventos ausentes ou incorretos.

Ao antecipar esses cenários e tomar medidas, você mantém a confiabilidade e a precisão dos dados de eventos do usuário, mesmo em condições de carga extrema. Dados precisos são a base para que seu sistema da Vertex AI Search for commerce ofereça performance otimizada, análises precisas e uma experiência centrada no usuário durante os picos de tráfego.

Arquitetura de referência para ingestão de eventos em lote

Arquitetura de referência para ingestão de eventos em lote

A ingestão em lote exige uma arquitetura escalonável projetada para a ingestão eficiente de eventos do usuário na Vertex AI Search for commerce. A arquitetura é composta por serviços do Google Cloud , incluindo Pub/Sub, Dataflow, BigQuery, Workflows e Cloud Storage, para gerenciar o processo de ingestão de maneira controlada e em etapas.

Visão geral da arquitetura

A arquitetura de ingestão de eventos em lote usa uma abordagem de várias etapas para garantir a transferência confiável e precisa de dados de eventos do usuário para a Vertex AI Search para e-commerce.

Os principais componentes incluem:

  • Pub/Sub: atua como o ponto de entrada inicial para eventos do usuário, fornecendo um sistema de mensagens escalonável e durável.
  • Dataflow (eventos de streaming): lê continuamente eventos brutos do usuário do Pub/Sub e os grava em tabelas de eventos brutos do BigQuery, capturando também eventos com falha para depuração.
  • BigQuery: serve como a principal solução do armazenamento em data warehouse, armazenando eventos brutos, eventos transformados e vários metadados relacionados ao processo de ingestão.
  • Workflows: orquestra o processamento em lote por hora de eventos brutos, garantindo a integridade dos dados e facilitando o tratamento de erros.
  • Cloud Storage: fornece armazenamento temporário para o Dataflow durante o processamento e para arquivar registros de eventos com falha.
  • Vertex AI Search for commerce: o destino final dos dados de eventos do usuário, permitindo recursos avançados de pesquisa e recomendação.

Fluxo de dados detalhado

Este é o fluxo de dados detalhado para a ingestão de eventos em massa.

  1. Streaming de eventos e persistência de dados brutos:

    • Os eventos do usuário são publicados em tópicos do Pub/Sub no sistema de origem do cliente.
    • Um pipeline de streaming do Dataflow (eventos de streaming) lê continuamente eventos do Pub/Sub.
    • Os eventos brutos bem-sucedidos são gravados em tabelas de eventos brutos do BigQuery.
    • Todas as falhas durante essa ingestão inicial são capturadas e armazenadas em tabelas brutas com falha separadas do BigQuery para análise e solução de problemas.

  2. Processamento e transformação em lote por hora:

    • O Workflows aciona um pipeline do Dataflow programado por hora (Incr Batch Events).
    • Esse pipeline lê eventos brutos de tabelas do BigQuery.
    • Os eventos são transformados no formato necessário da Vertex AI Search for commerce.
    • Os eventos transformados são gravados em tabelas de eventos selecionados do BigQuery.
    • Todas as falhas de transformação são capturadas em tabelas de eventos com falha selecionadas do BigQuery.

  3. Validação e preparação de dados:

    • Workflows executam um procedimento armazenado do BigQuery para criar ou atualizar uma visualização (Incr Update Event View) que reflete os dados de eventos transformados mais recentes da última hora.
    • Em seguida, o fluxo de trabalho realiza uma verificação de validação nessa visualização, garantindo que o número de eventos transformados esteja dentro dos limites predefinidos.

  4. Importação da Vertex AI Search for commerce:

    • Se a validação for bem-sucedida, o Workflows vai invocar a API de evento de importação da Pesquisa da Vertex AI para e-commerce, direcionando-a para a visualização do BigQuery que contém os eventos transformados.
    • A Vertex AI Search for commerce importa esses eventos para processamento e indexação adicionais.

Outras considerações sobre a ingestão de eventos em lote

Outros aspectos a serem considerados ao ingerir eventos em lote:

  • Segurança: medidas de segurança adequadas, como controles de acesso e criptografia, precisam ser implementadas para proteger dados sensíveis de eventos do usuário.
  • Monitoramento e geração de registros: um monitoramento e uma geração de registros abrangentes precisam ser configurados para acompanhar o desempenho do sistema e identificar possíveis problemas de forma proativa.
  • Otimização de custos: a utilização de recursos precisa ser monitorada para otimizar os custos e garantir o uso eficiente dos serviços do Google Cloud .

Essa arquitetura oferece uma base para ingerir eventos do usuário na Vertex AI Search for commerce. Ao usar vários serviços do Google Cloud e incorporar práticas recomendadas para processamento de dados e tratamento de erros, ele permite que as organizações criem soluções escalonáveis e fáceis de manter para experiências avançadas de pesquisa e recomendação.

A seguir