Esta página descreve como pode usar experiências A/B para compreender como a Pesquisa Vertex AI para comércio está a afetar a sua empresa.
Vista geral
Uma experiência A/B é uma experiência aleatória com dois grupos: um grupo experimental e um grupo de controlo. O grupo experimental recebe um tratamento diferente (neste caso, previsões ou resultados da pesquisa da Vertex AI Search for commerce); o grupo de controlo não.
Quando executa uma experiência de teste A/B, inclui as informações sobre o grupo em que um utilizador estava quando regista eventos do utilizador. Essas informações são usadas para refinar o modelo e fornecer métricas.
Ambas as versões da sua aplicação têm de ser iguais, exceto que os utilizadores no grupo experimental veem resultados gerados pelo Vertex AI Search for commerce e o grupo de controlo não. Regista eventos de utilizador para ambos os grupos.
Para mais informações sobre a divisão de tráfego, consulte o artigo Dividir tráfego na documentação do App Engine.
Plataformas de experiências
Configure a experiência através de uma plataforma de experiências de terceiros, como a
VWO ou a AB Tasty. Os grupos de controlo e experimental recebem um ID da experiência exclusivo da plataforma. Quando regista um evento do utilizador,
especifique em que grupo o utilizador se encontra incluindo o ID da experiência no campo
experimentIds. O ID da experiência permite-lhe comparar as métricas das versões da sua aplicação vistas pelos grupos de controlo e experimental.
Práticas recomendadas para experiências A/B
O objetivo de uma experiência A/B é determinar com precisão o impacto da atualização do seu site (neste caso, usar o Vertex AI Search for commerce). Para obter uma medição precisa do impacto, tem de conceber e implementar a experiência corretamente, para que não surjam outras diferenças que afetem os resultados da experiência.
Mapeamento de IDs de experiências recomendado
Os IDs das experiências são usados para testes A/B, nos quais pode comparar o Vertex AI Search para comércio com uma solução de pesquisa existente. Também podem ser usadas para executar experiências com uma pesquisa da Vertex AI totalmente adotada para um site de comércio eletrónico onde é necessário testar uma nova configuração, controlo ou especificação de aumento, entre outros exemplos, em comparação com um grupo de controlo.
O campo ID da experiência nos eventos do utilizador é uma matriz, o que permite uma medição mais detalhada.
Considere os seguintes exemplos de utilização:
- O desempenho do Vertex AI Search for commerce tem de ser comparado com um grupo de controlo.
- O desempenho geral tem de ser medido.
- O desempenho apenas em dispositivos móveis tem de ser medido.
- O desempenho apenas em computadores tem de ser medido.
- O desempenho da pesquisa e das recomendações também tem de ser medido separadamente.
Para alcançar medições tão detalhadas e segmentadas, pode precisar de um total de 10 IDs de experiências, dos quais quatro têm de ser enviados na matriz de IDs de experiências de eventos para cada evento.
| IDs de experiências para o grupo de controlo de eventos | IDs de experiências para o grupo de eventos de teste (pesquise comércio) | Âmbito dos eventos do utilizador |
|---|---|---|
| Controlo | Vertex AI Search para comércio | Todos os eventos |
Control_mobile |
Google_mobile |
Todos os eventos para dispositivos móveis |
Control_desktop |
Google_desktop |
Todos os eventos de computador |
Control_search |
Google_search |
Todas as pesquisas e eventos relacionados |
Control_recommendations |
Google_recommendations |
Todas as recomendações e eventos relacionados |
Para medir o desempenho geral, compare as métricas derivadas de eventos com os IDs das experiências Control e Vertex AI Search para comércio. Para medir o desempenho da pesquisa para dispositivos móveis, compare as métricas derivadas de eventos com os IDs das experiências Control_mobile + Control_search em comparação com Google_mobile + Google_search.
Hierarquia de categorias
Certifique-se de que os mesmos produtos têm a mesma hierarquia de categorias entre o grupo de controlo e o grupo de teste. Por exemplo, no site de controlo, um produto de t-shirt tem a hierarquia de categorias clothing > mens > tops > tee-shirts, e o mesmo produto está numa hierarquia de categorias diferente no lado do teste, como mens > popular > tops. Esta configuração resulta em diferentes resultados da pesquisa e diferentes facetas de categorias entre os sites de controlo e de teste. Este problema afeta a experiência do navegador, uma vez que o page_category é a entrada para a chamada de navegação, juntamente com os filtros.
Paridade da experiência do utilizador antes dos testes A/B
Ao preparar o site para testes A/B, antes de publicar tráfego de pesquisa ou recomendações de utilizadores reais no Vertex AI Search for commerce com o mapeamento do ID da experiência correto, é importante ter em atenção a paridade da interface do utilizador e da experiência entre o site de comércio eletrónico, com o back-end de pesquisa antigo usado como controlo, e o site com o back-end do Vertex AI Search for commerce.
Dada uma consulta de pesquisa, entre as páginas de resultados da pesquisa para o back-end de pesquisa de controlo e o back-end do Vertex AI Search para comércio, algumas coisas a testar incluem:
Está a ser apresentado o mesmo número de facetas? Caso contrário, reveja as especificações das facetas e as definições dos atributos no Vertex AI Search para comércio . Isto é importante porque as facetas ajudam os utilizadores a filtrar e navegar para o produto preferido a partir dos resultados da pesquisa iniciais. As facetas melhores e mais significativas significam que os utilizadores demoram menos tempo a encontrar o produto preferido. Caso contrário, resulta em mais cliques e deslocamento da página, o que pode prejudicar a experiência de pesquisa e, em última análise, afetar as taxas de conversão e de cliques. Isto também pode resultar no abandono da pesquisa. Por conseguinte, ter facetas semelhantes entre os sites de controlo e de teste significa que não existe uma vantagem injusta para os utilizadores quando pesquisam produtos entre um e outro.
Os posicionamentos de produtos dos patrocinadores nos resultados da pesquisa são frequentemente uma funcionalidade comum em muitos sites de comércio eletrónico, e, na maioria das vezes, os produtos dos patrocinadores não fazem parte dos resultados da pesquisa orgânica. Deve ter cuidado para se certificar de que o posicionamento e os produtos apresentados na página de resultados da pesquisa entre o site de controlo e o site de teste são quase iguais, se não idênticos. Caso contrário, o ruído é adicionado à medição das métricas de desempenho da receita e, consoante a singularidade dos produtos patrocinados entre os sites de controlo e de teste, o ruído pode ser mais elevado.
Outros aspetos diversos da interface do utilizador a considerar:
- As informações de preços e descontos são iguais nos sites de controlo e de teste?
- O preenchimento automático está a sugerir os mesmos preenchimentos para a consulta de pesquisa?
- Os valores das facetas estão na mesma ordem?
- Os produtos estão listados com o mesmo estilo, como numa lista ou numa grelha?
Sugestões e considerações finais
Para criar uma experiência de teste A/B significativa, tenha em atenção estas dicas:
Antes de configurar a experiência A/B, use a previsão ou a pré-visualização da pesquisa para garantir que o modelo se comporta como esperado.
Certifique-se de que o comportamento do seu site é idêntico para o grupo experimental e o grupo de controlo.
O comportamento do site inclui a latência, o formato de apresentação, o formato de texto, o esquema da página, a qualidade da imagem e o tamanho da imagem. Não deve haver diferenças percetíveis para nenhum destes atributos entre a experiência dos grupos de controlo e experimental.
Aceitar e apresentar os resultados tal como são devolvidos pela Vertex AI Search for commerce e apresentá-los pela mesma ordem em que são devolvidos.
Filtrar artigos esgotados é aceitável. No entanto, deve evitar filtrar ou ordenar os resultados com base nas regras da sua empresa.
Se estiver a usar eventos de utilizadores de pesquisa e incluir o token de atribuição obrigatório com os mesmos, certifique-se de que estão configurados corretamente. Consulte a documentação sobre tokens de atribuição.
Certifique-se de que a configuração de publicação que fornece quando pede recomendações ou resultados da pesquisa corresponde à sua intenção para essa recomendação ou resultado da pesquisa, e à localização onde apresenta os resultados.
Quando usa recomendações, a configuração de publicação afeta a forma como os modelos são preparados e, por conseguinte, os produtos recomendados. Saiba mais.
Se estiver a comparar uma solução existente com o Vertex AI Search for commerce, mantenha a experiência do grupo de controlo estritamente separada da experiência do grupo experimental.
Se a solução de controlo não fornecer uma recomendação ou um resultado da pesquisa, não forneça um resultado da pesquisa do Vertex AI Search for commerce nas páginas de controlo. Se o fizer, distorce os resultados do teste.
Certifique-se de que os utilizadores não alternam entre o grupo de controlo e o grupo experimental. Isto é especialmente importante na mesma sessão, mas também é recomendado em várias sessões. Isto melhora o desempenho da experiência e ajuda a obter resultados de testes A/B com relevância estatística mais cedo.