A atribuição de dados adequada, a identificação consistente do usuário e o acompanhamento de eventos preciso alcançam resultados confiáveis e um desempenho ideal do modelo. Os problemas podem causar métricas enviesadas, comparações tendenciosas e dados de treinamento corrompidos. Esses resultados dificultam decisões embasadas e a melhoria da pesquisa.
Antes de começar
Consulte as diretrizes gerais sobre como realizar experimentos A/B.
Testar componentes
As verificações iniciais de teste A/B incorporam estes componentes:
ID do visitante: necessário para rastrear um visitante em um dispositivo, independente do estado de login. Ela não deve mudar, seja com o visitante conectado ou desconectado. Se o usuário fizer login entre as jornadas, o ID do visitante vai permanecer constante.
ID da sessão: para rastrear a sessão de interação de um visitante. Definida como uma agregação do comportamento do usuário em um período, geralmente encerrada após 30 minutos de inatividade.
User-ID: altamente recomendado, identificador persistente de um usuário conectado (como um ID de cliente) usado em vários dispositivos para personalização. Ele precisa ser sempre um valor hash.
Token de atribuição: um token de hash retornado em todas as respostas de pesquisa. Os tokens de atribuição são exclusivos, mesmo que os parâmetros de consulta de pesquisa não correspondam exatamente.
Descrição
Essa verificação envolve confirmar se o número de IDs de visitantes únicos é dividido aleatoriamente entre os grupos de controle e de teste em um experimento A/B.
O ID do visitante é um identificador exclusivo de um usuário em um único dispositivo.
Impacto
Uma divisão injusta de IDs de visitantes pode causar erros de medição nos testes A/B.
Se um grupo experimental tiver um número desproporcional de determinados tipos de visitantes, como um bot que envia grandes volumes de tráfego de sondagem, isso pode afetar negativamente as métricas desse grupo. Isso distorce as comparações de indicadores principais de desempenho e afeta muito a medição, mas não diretamente o treinamento de modelo.
Descrição
Essa verificação garante que o número de IDs de usuário únicos, que representa um usuário conectado, seja distribuído igualmente entre os grupos de controle e de teste. O ID do usuário precisa ser consistente em todos os dispositivos.
Impacto
O impacto é semelhante ao ID do visitante. Se os usuários conectados não forem atribuídos aleatoriamente entre as faixas de teste e controle, isso poderá levar a uma divisão demográfica tendenciosa.
Por exemplo, se o grupo experimental tiver predominantemente novos usuários, enquanto os grandes gastadores permanecerem no grupo de controle, as métricas vão parecer favorecer um lado de forma artificial.
Isso afeta as comparações de medição e indicador principal de desempenho (KPI).
Descrição
Essa verificação analisa especificamente a distribuição de usuários com um grande número de transações ou compras repetidas, geralmente identificados pelos IDs de visitante e histórico de compras, nas faixas do experimento.
O objetivo é garantir que esses usuários de alto gasto sejam divididos igualmente.
Impacto
- Uma distribuição desigual de usuários avançados, que contribuem significativamente para a receita, pode distorcer muito as comparações de KPIs entre os grupos de teste.
- A depuração de vieses com base em informações demográficas, como hábitos de gastos, pode ser complexa.
- Isso afeta de forma desproporcional as métricas baseadas em receita, como receita por visitante (RPV) ou receita por sessão.
- Enfatize o impacto na precisão da medição durante os testes A/B.
Descrição
Essa verificação garante que o token de atribuição retornado na resposta da pesquisa esteja incluído corretamente no evento de pesquisa resultante dela.
O token de atribuição é necessário para que a Pesquisa de e-commerce com IA vincule eventos à pesquisa que os gerou:
- Isso geralmente é relevante para o tráfego veiculado pela Pesquisa de e-commerce com IA.
- Esse problema também indica a possibilidade de armazenamento em cache de respostas da pesquisa, o que prejudica o desempenho da pesquisa e a experiência do usuário devido ao inventário desatualizado e à classificação desatualizada.
Impacto
A atribuição adequada usando o token é crucial para vincular o comportamento do usuário, incluindo cliques e compras, a chamadas específicas da API Search. Sem o token, os eventos de pesquisa podem ser usados incorretamente como se fossem de outro provedor de pesquisa, e os eventos subsequentes não podem ser vinculados com precisão à pesquisa.
Tokens de atribuição imprecisos ou ausentes prejudicam o treinamento de modelo, porque são usados para vincular dados de eventos (como pesquisas seguidas de compras) e gerar exemplos positivos e negativos para treinar o modelo de classificação. Além disso, impede o cálculo preciso de métricas por pesquisa, como receita por pesquisa, que são vitais para avaliar o desempenho durante experimentos A/B.
Isso afeta o treinamento de modelo, a medição e a análise de desempenho.
Descrição
Essa verificação garante que o ID do visitante e o ID do usuário usados em uma chamada de solicitação de pesquisa para a API Search sejam os mesmos incluídos no evento de usuário de pesquisa subsequente (se possível, para eventos de visualização de página de detalhes, adição ao carrinho e compra concluída relacionados a essa interação de pesquisa).
- Os campos
visitorIdeuserId, respectivamente, são identificadores exclusivos de um usuário em um único dispositivo. - A formatação consistente do ID do visitante e do usuário em solicitações de pesquisa e eventos do usuário é necessária para que a pesquisa identifique corretamente a atividade do usuário.
- As abordagens de depuração podem envolver o uso do ID do visitante e do ID do usuário para rastrear interações.
Impacto
Uma incompatibilidade indica possíveis problemas, como eventos ausentes ou dados corrompidos.
O ID do visitante e o ID do usuário são cruciais para o treinamento de modelo da IA Commerce Search, principalmente para recursos de personalização. Para uma atribuição de compra precisa, é necessário usar um ID de visitante e um ID de usuário de forma consistente.
A Pesquisa de comércio com IA usa o ID do visitante para vincular os resultados da pesquisa vistos por um usuário à compra posterior de um produto mostrado pelo mesmo ID do visitante. Usado para vincular dados de pesquisa para clique, adicionar ao carrinho ou compra e gerar exemplos positivos e negativos para treinar o modelo de classificação.
Se o ID do visitante não corresponder, isso vai causar uma falha em que os eventos de compra não poderão ser atribuídos à pesquisa ou à visualização da página de detalhes que os precedeu, fazendo parecer que nenhuma pesquisa tem uma compra subsequente. Isso não apenas interrompe o treinamento de modelo, mas também dificulta o cálculo de métricas por pesquisa, como a receita por pesquisa. Outro desafio é calcular com precisão os indicadores principais de performance (KPIs), como receita por visitante, taxa de conversão e valor médio do pedido, que dependem da vinculação precisa de eventos do usuário a pesquisas. Portanto, essa verificação afeta o treinamento de modelo e a medição.
Descrição
Essa verificação compara o volume de solicitações de pesquisa feitas à API Search para uma faixa de teste específica (principalmente a do Google) com o volume de eventos do usuário de pesquisa registrados para essa mesma faixa.
O número de eventos de pesquisa coletados deve corresponder ao número de chamadas da API Search feitas.
Impacto
- Uma incompatibilidade significativa indica que os eventos do usuário não estão sendo coletados ou enviados corretamente ao Google.
- Isso pode ser causado por problemas de ingestão de eventos (eventos ausentes ou incompletos) ou inclusão de tag incorreta de eventos do usuário com o ID do experimento.
- A coleta adequada de eventos do usuário é essencial porque as interações capturadas nos eventos fornecem ao modelo o feedback necessário para otimizar os resultados.
- Se os eventos estiverem faltando, o modelo vai receber menos dados para treinamento, o que pode afetar negativamente a performance dele.
- A acurácia e a confiabilidade das métricas usadas para avaliar testes A/B (como taxa de cliques, taxa de conversão e métricas de receita) dependem totalmente da integridade e da correção dos dados de eventos do usuário.
- A falta de eventos significa que essas métricas não podem ser calculadas com precisão, o que leva a uma análise de performance tendenciosa e resultados de testes A/B não confiáveis.
- Uma incompatibilidade nas contagens de consultas entre chamadas de API e eventos afeta o treinamento de modelo e a medição.
Descrição
Essa verificação garante que, quando um usuário aplica filtros aos resultados da pesquisa (refletidos na solicitação de pesquisa), o evento de usuário de pesquisa correspondente, vinculado pelo token de atribuição, também inclua as informações corretas do filtro.
Essa verificação envolve a consistência de pares específicos vinculados a tokens e a consistência geral dos dados de filtro presentes em eventos em comparação com as chamadas de API.
Impacto
- É necessário incluir instruções de filtro em eventos de pesquisa para usar facetas dinâmicas.
- O modelo de pesquisa de e-commerce com IA deduz a popularidade dos atributos com base nos filtros presentes nas solicitações de pesquisa, o que é crucial para a performance ideal dos atributos dinâmicos.
- Se os dados de filtro estiverem ausentes ou incorretos nos eventos do usuário, a capacidade do modelo de aprender com as interações do usuário que envolvem filtros será prejudicada.
- Isso impacta diretamente o treinamento e a eficácia de recursos como o refinamento dinâmico.
- Essa verificação também é útil para depurar problemas relacionados a resultados da pesquisa, pesquisa conversacional e atributos dinâmicos.
- Embora o impacto principal seja no treinamento de modelo especificamente para facetas dinâmicas e recursos relacionados, ele também afeta a capacidade de depurar e medir com precisão o desempenho dessas funcionalidades específicas.
- Afeta o treinamento de modelo relacionado a facetas dinâmicas e é importante para depuração e análise de desempenho (medição) de recursos que dependem de dados de filtro.
Descrição
- Essa verificação verifica se os parâmetros de paginação (deslocamento) e os critérios de classificação (ordenar por) incluídos em uma solicitação de pesquisa feita à API Search estão representados corretamente no evento de usuário de pesquisa correspondente.
- Esses eventos geralmente são vinculados à solicitação original usando o token de atribuição.
- A verificação garante a consistência de interações específicas vinculadas a tokens e dos dados gerais enviados em eventos.
- Manter essa consistência nos dados de eventos é importante para depurar as jornadas do usuário que envolvem paginação ou classificação e para recursos como pesquisa por voz e atributos dinâmicos.
Impacto
- Uma incompatibilidade dificulta a análise precisa de como os usuários interagem com os resultados da pesquisa em condições específicas de paginação ou classificação.
- Isso afeta os esforços de depuração desses recursos e dificulta a avaliação precisa da performance deles, afetando a medição de recursos como a pesquisa por voz ou a performance de refinamento dinâmico.
- Dados de eventos consistentes são fundamentais para treinamento de modelo, e inconsistências podem afetar indiretamente os insights derivados da análise do comportamento do usuário em diferentes condições de exibição.
- A consistência dos parâmetros de solicitação e dos valores de eventos é importante para a performance dos modelos de reclassificação com base em cliques.
- Isso afeta principalmente a depuração e a medição de recursos específicos e, em certa medida, a eficácia do treinamento de modelo relacionada à compreensão da interação do usuário com resultados paginados ou classificados.
Descrição
- Essa verificação garante que um ID de visitante exclusivo (usado para usuários não conectados) permaneça atribuído a um único grupo ou faixa de experimento (controle ou teste) durante todo o período do teste A/B.
- Uma atribuição consistente de visitantes é esperada, a menos que haja uma mudança planejada, como aumento gradual de tráfego ou reordenação explícita.
- Detectar mudanças significa que um único usuário, identificado pelo ID de visitante, está mudando inesperadamente entre os grupos experimentais.
- Isso pode ser causado por problemas como envio inadequado de eventos, inclusão de tags incorretas de ID do experimento em eventos, problemas de implementação de front-end ou roteamento de tráfego de pesquisa mal configurado.
Impacto
- A atribuição consistente de visitantes do site é crucial para um teste A/B justo.
- Se um visitante do site mudar de faixa, os eventos do usuário (cliques, adições ao carrinho, compras) poderão ser registrados com IDs de experimento diferentes, o que impossibilita atribuir com precisão o comportamento geral a uma única experiência. Isso corrompe os dados usados para calcular os indicadores principais de performance (KPIs) de cada faixa, resultando em medições tendenciosas e não confiáveis.
- O treinamento de modelo da IA Commerce Search, principalmente para personalização, depende muito de campos
visitorIdeuserIdconsistentes para vincular as interações do usuário ao longo do tempo e atribuir compras a eventos de pesquisa anteriores. - A troca de IDs de visitantes rompe esse link, impedindo que o modelo aprenda de maneira eficaz com a jornada de um usuário em uma experiência de pesquisa consistente. Isso afeta significativamente a medição e o treinamento de modelo.
Pesquisar eventos com tokens em outra faixa de experimento (aplicar isso à navegação, se necessário)
Descrição
- Essa verificação analisa especificamente eventos do usuário de pesquisa marcados com um ID de experimento pertencente ao grupo de controle ou ao tráfego de retenção, mas que contêm inesperadamente um token de atribuição gerado pelo Google.
- Os tokens de atribuição são retornados pela API AI Commerce Search e devem ser incluídos em eventos subsequentes do usuário para tráfego veiculado pelo Google.
- O tráfego de controle usa o mecanismo de pesquisa atual e não recebe nem envia tokens de atribuição do Google.
- Esse problema está relacionado à verificação de troca de ID do experimento, já que implica que os eventos estão sendo marcados ou encaminhados por engano.
- Esse problema pode indicar a possibilidade de armazenamento em cache da resposta da pesquisa, o que vai prejudicar o desempenho da pesquisa e a experiência do usuário devido ao inventário desatualizado e à classificação obsoleta.
Impacto
- A presença de um token de atribuição do Google em um evento de grupo de controle leva a atribuições marcadas incorretamente.
- Isso significa que os eventos de usuários que fizeram a pesquisa de controle (não Google) estão associados incorretamente à faixa do experimento do Google.
- Isso distorce diretamente o cálculo das métricas para a faixa do Google, incluindo dados do grupo de controle, distorcendo o desempenho percebido e invalidando a medição.
- Do ponto de vista do treinamento de modelo, o modelo usa eventos atribuídos do usuário para aprender com as interações com os resultados da pesquisa.
- Incluir eventos atribuídos por engano do grupo de controle introduz dados irrelevantes ou conflitantes no conjunto de treinamento, o que pode levar a uma degradação na performance do modelo.
- Essa verificação afeta a medição e o treinamento de modelo.
Descrição
- Essa verificação se concentra nas chamadas de solicitação de pesquisa recebidas para a própria API AI Commerce Search.
- Ele procura solicitações originadas de IDs de visitantes ou de experimentos designados para o grupo de controle ou para o tráfego de retenção.
- Isso indica que o tráfego destinado ao grupo de controle ou de validação está sendo direcionado incorretamente ao endpoint de API da faixa de experimentos do Google.
- Esse problema é muito semelhante à verificação de troca de ID do visitante, mas é observado do lado da solicitação de API, e não apenas do lado do evento do usuário.
Impacto
- Essa descoberta aponta para uma configuração incorreta fundamental no mecanismo de divisão e roteamento de tráfego do teste A/B.
- Os grupos experimentais não são isolados corretamente se o tráfego de controle for enviado para a API do Google.
- Isso invalida a configuração do teste A/B e prejudica a imparcialidade da comparação.
- Isso afeta diretamente a medição porque o volume e a composição do tráfego na faixa do Google são aumentados pela inclusão de usuários não intencionais, o que leva a um cálculo e uma análise imprecisos das métricas.
- Para o treinamento de modelo, embora os próprios registros da API não sejam os principais dados de treinamento, os eventos do usuário subsequentes gerados por esse tráfego mal encaminhado, se também atribuídos por engano, introduzem ruído e sinais potencialmente incorretos nos dados de treinamento.
- Esse problema afeta a medição e o treinamento de modelo.
Descrição
- Essa verificação valida se os eventos de usuário de conclusão de compra registrados para um usuário (identificado pelo ID do visitante ou do usuário) estão marcados com o
experimentIdscorreto correspondente à faixa de teste A/B a que foram atribuídos, como controle ou experimento. - Ele detecta instâncias em que o evento de compra de um usuário está associado a uma faixa de experimento diferente daquela em que ele estava quando realizou as ações de pesquisa relevantes que levaram à compra.
- Esse problema está intimamente relacionado à manutenção da atribuição consistente de visitantes aos grupos de teste e depende da inclusão de experimentIds no evento "purchase-complete".
Impacto
- A atribuição consistente de visitantes às faixas de experimentos é crucial para um teste A/B preciso.
- Se os eventos de compra concluída forem marcados por engano com o ID de experimento errado, eles serão atribuídos incorretamente a essa faixa.
- Isso distorce diretamente as métricas que dependem de dados de compra por faixa, como taxa de receita, taxa de pedido de compra, valor médio do pedido e taxa de conversão.
- A atribuição incorreta impossibilita comparar com precisão a performance de diferentes grupos experimentais, o que leva a resultados de medição de testes A/B inválidos e não confiáveis.
- Do ponto de vista do treinamento de modelo, os modelos de pesquisa de comércio com IA, principalmente aqueles que otimizam a receita ou a taxa de conversão, são treinados vinculando as interações do usuário (como a pesquisa) às compras subsequentes para entender quais resultados levam a conversões.
- A atribuição adequada, que geralmente usa IDs de visitante, usuário e experimento para conectar eventos de compra a pesquisas, é essencial para criar esses exemplos de treinamento positivos.
- Se os eventos de compra forem atribuídos por engano devido a IDs inconsistentes ou troca de faixa de teste, os dados de treinamento serão corrompidos com indicadores incorretos.
- Válido se os IDs de experimento forem enviados no evento de compra:conforme observado, essa verificação é válida e impactante apenas se
experimentIdsforem implementados e enviados corretamente nos eventos de usuário de compra concluída.
Descrição
- Semelhante à verificação do evento de compra, isso verifica se os eventos de usuário de adição ao carrinho para um determinado ID de visitante estão associados corretamente à faixa de experimento atribuída ao usuário usando o campo "IDs de experimento".
- Ele identifica casos em que um evento de adição ao carrinho é marcado com um ID de experimento para uma faixa a que o usuário não foi atribuído.
- Esse problema pode ser causado pelo uso inconsistente de ID de visitantes em diferentes tipos de eventos ou pela inclusão incorreta de tags
experimentIds.
Impacto
- Eventos "adicionar ao carrinho" marcados por engano levam à atribuição incorreta desse comportamento do usuário às vias do experimento.
- Isso afeta diretamente métricas como taxa de adição ao carrinho e taxa de conversão, principalmente se a taxa de adição ao carrinho for considerada uma etapa importante no funil de conversão.
- Métricas imprecisas comprometem a confiabilidade dos resultados do teste A/B e a capacidade de medir corretamente o impacto do experimento.
- Do ponto de vista do treinamento de modelo, os eventos de adição ao carrinho servem como indicadores positivos importantes para o aprendizado dos modelos, principalmente os otimizados para receita.
- Se esses eventos forem atribuídos por engano à faixa de teste errada devido a um ID ou uma inclusão de tag
experimentIdsinconsistente, o modelo vai receber indicadores de treinamento ruidosos ou incorretos. - Válido se os IDs de experimento forem enviados no evento de adição ao carrinho: conforme observado, essa verificação é válida e impactante apenas se
experimentIdsforem implementados e enviados corretamente nos eventos de usuário de adição ao carrinho.
Descrição
- Essa verificação avalia se a distribuição da atividade do usuário, categorizada por tipo de dispositivo (por exemplo, smartphone, computador, app), está equilibrada nas faixas de controle e de experimento para cada tipo de evento do usuário (Pesquisa, Visualização de página de detalhes, Adicionar ao carrinho, Compra).
- O objetivo é garantir que a proporção de usuários que interagem com o site usando dispositivos móveis seja aproximadamente a mesma nos grupos de controle e de teste, assim como em outros tipos de dispositivos.
- Detectar um viés significativo indica um possível problema no mecanismo usado para dividir o tráfego ou rotear eventos com base no tipo de dispositivo.
Impacto
Uma distribuição enviesada de dispositivos significa que os grupos de controle e de teste não estão equilibrados demograficamente em termos de dispositivos usados, semelhante ao problema de divisão demográfica.
O comportamento do usuário, os padrões de navegação e as taxas de conversão podem variar muito dependendo do dispositivo usado. Por isso, uma divisão desequilibrada de dispositivos entre as vias do experimento introduz um viés na comparação do teste A/B, levando a uma medição imprecisa das principais métricas de negócios de cada via. Isso também é atribuído ao fato de que os resultados de um grupo podem ser influenciados de maneira desproporcional por uma porcentagem maior ou menor de usuários de um tipo de dispositivo específico, dificultando a determinação do verdadeiro impacto do experimento.
Embora o tipo de dispositivo nem sempre seja um recurso direto em todos os modelos, garantir um tráfego equilibrado ajuda a garantir que os dados de treinamento, derivados de eventos do usuário em cada faixa, reflitam com precisão a distribuição real do comportamento do usuário em todos os dispositivos. Um desequilíbrio pode levar indiretamente a dados de treinamento que representam demais ou de menos o comportamento do usuário em determinados dispositivos, o que pode resultar em um modelo que não está otimizado para a base geral de usuários.
Os eventos são a base para o acompanhamento de KPIs e a solução de problemas gerais.
Descrição
- Essa verificação compara os dados de filtro incluídos nos eventos do usuário de pesquisa entre as faixas de controle e de experimento para consultas de pesquisa semelhantes.
- Ele verifica se as informações de filtro estão sendo capturadas de forma correta, consistente e com paridade entre as faixas.
- Isso inclui verificar se as opções de filtro disponíveis (facetas) apresentadas aos usuários são as mesmas ou equivalentes, se os valores de filtro enviados em eventos correspondem aos formatos esperados ou aos dados do catálogo e se a UI/UX para filtragem é comparável.
- Uma discrepância pode surgir se os filtros não forem capturados, forem capturados incorretamente ou se a UI/opções de filtragem forem diferentes, o que geralmente pode ser atribuído a um problema de configuração na API Catalog ou Search.
Impacto
- As diferenças na experiência de filtragem ou na forma como os dados de filtro são capturados entre as vias de teste podem influenciar diretamente a interação dos usuários com os resultados da pesquisa.
- Se uma faixa oferecer opções de filtragem melhores ou diferentes, os usuários nela poderão refinar as pesquisas de maneira diferente, o que leva a variações no comportamento do usuário e pode afetar métricas como taxas de conversão para pesquisas filtradas.
- Isso introduz um viés de variável no teste A/B, dificultando a atribuição das diferenças observadas na métrica apenas às diferenças principais no ranking de pesquisa.
- A falta de dados de filtro capturados em eventos também limita a capacidade de analisar métricas de desempenho segmentadas por uso de filtro, afetando os insights de medição.
- Para treinamento de modelo, as informações de filtro em eventos de pesquisa são essenciais para treinar modelos dinâmicos de facetas, já que o modelo aprende a popularidade das facetas com base nos indicadores de uso de filtros do usuário.
- Informações precisas sobre o uso de filtros em eventos também são importantes para modelos de reclassificação com base em cliques. Se os valores de filtro em eventos não corresponderem aos das solicitações de pesquisa, o desempenho do modelo para consultas com filtros será afetado negativamente.
- Dados de filtro inconsistentes ou ausentes em eventos prejudicam a qualidade do modelo relacionada a facetas dinâmicas e reclassificação para consultas filtradas.
Descrição
- Essa verificação envolve o exame de uma jornada específica do usuário de pesquisa vinculando um evento de pesquisa à solicitação de API correspondente da Pesquisa usando o
attributionToken. - O token de atribuição é gerado pela Pesquisa de e-commerce com IA e retornado com cada solicitação de pesquisa.
- Essa verificação compara especificamente o campo
searchQueryno evento de pesquisa com a string de consulta real enviada na solicitação de API Search inicial que retornou o token de atribuição. - Se essas strings de consulta não corresponderem apesar da presença de um token de atribuição de vinculação, isso indica que a searchQuery enviada no evento do usuário não reflete com precisão a consulta de pesquisa original do usuário.
Impacto
- Esse problema afeta muito o treinamento de modelo.
- A Pesquisa de comércio com IA usa dados de eventos para treinar os modelos.
- Os modelos, principalmente os de reclassificação com base em cliques, aprendem vinculando as interações do usuário (como cliques, adições ao carrinho e compras) às solicitações de pesquisa que geraram os resultados.
- Essa vinculação depende de informações precisas nos eventos, incluindo os campos
searchQueryeattributionToken. - Se o
searchQueryno evento não corresponder à solicitação de API real da API Search, o modelo será treinado com dados incorretos, associando o comportamento do usuário à consulta errada. - Isso pode ter um impacto negativo grave na qualidade dos resultados da pesquisa, porque o modelo aprende estratégias de classificação abaixo do ideal com base em dados de consulta incorretos.
- Embora o impacto principal seja na qualidade do treinamento de modelo, isso também pode afetar indiretamente a medição, já que modelos treinados com dados ruins podem ter um desempenho ruim, resultando em resultados de teste A/B distorcidos, mesmo que os eventos sejam capturados.
Descrição
- Essa verificação é um processo de validação manual em que um testador simula uma jornada típica do usuário envolvendo uma sequência de ações como pesquisa, clique em um produto (evento
detail-page-view), adição ao carrinho e possível compra. - Ao anotar o ID do visitante e os carimbos de data/hora dessas ações, o testador recupera os eventos do usuário registrados para esse ID específico de visitante em registros ou plataformas de dados.
- O objetivo é verificar uma correspondência de 1:1 entre as ações observadas do usuário e os eventos registrados no sistema (por exemplo, uma ação de pesquisa deve gerar um evento de pesquisa, um clique ou um evento
detail-page-view). - Eventos ausentes, eventos com IDs de visitantes incorretos ou dados corrompidos nos eventos (como IDs de produtos ou de experimentos ausentes) indicam problemas no encanamento de eventos.
Impacto
- Os problemas identificados por essa verificação afetam muito a medição e o treinamento de modelo.
Medição
- Eventos do usuário precisos e completos são fundamentais para calcular as principais métricas de negócios em um teste A/B, como taxa de cliques de pesquisa, taxa de conversão de pesquisa, taxa de adição ao carrinho de pesquisa e receita por visitante.
- Essas métricas dependem da atribuição do comportamento do usuário (cliques, adições ao carrinho, compras) a resultados da pesquisa e faixas de teste específicos.
- Se os eventos estiverem ausentes ou corrompidos para um usuário, as ações dele não serão totalmente capturadas, o que vai levar a um cálculo incorreto dessas métricas para a faixa de teste em que ele estava.
- Isso introduz viés e ruído, tornando os resultados do teste A/B imprecisos e não confiáveis para a tomada de decisões. Por exemplo, a falta de eventos de compra afeta diretamente as métricas de taxa de conversão e aumento da receita.
Treinamento de modelos
- Os modelos de pesquisa de e-commerce com IA são treinados com dados de eventos do usuário para aprender padrões de comportamento e otimizar o ranking.
- Os IDs de visitante e de usuário são cruciais para os recursos de personalização e para vincular eventos e criar exemplos de treinamento.
- Eventos ausentes ou corrompidos significam que o modelo perde sinais de treinamento valiosos da sequência de interação desse usuário. Por exemplo, a falta de eventos de compra ou de adição ao carrinho impede que o modelo aprenda quais interações de produtos levaram a conversões.
- Da mesma forma, a falta de eventos de visualização de página de detalhes significa que o modelo não recebe indicadores sobre cliques. Essa redução na quantidade e na qualidade dos dados de treinamento prejudica a capacidade do modelo de aprender com eficiência, resultando em uma qualidade ruim dos resultados da pesquisa e potencialmente negando os benefícios de usar um mecanismo de pesquisa baseado em ML.
- Um mapeamento ou formatação inconsistente do ID do visitante também pode interromper esse processo.
- A falta de eventos de compra afeta o treinamento de modelo porque ele nunca vê compras.