Considerações e testes adicionais

É necessário ter em conta considerações adicionais para as práticas recomendadas e os testes da interface do agente de comércio conversacional.

Implemente práticas recomendadas

Tenha em conta estas práticas recomendadas quando implementar a interface do seu agente de comércio conversacional:

  • Consistência do ID de visitante: ajuda a garantir que um visitor_id exclusivo é enviado de forma consistente com cada pedido de um determinado utilizador final. Isto é fundamental para uma personalização e um treino de modelos precisos. Idealmente, este identificador deve permanecer consistente para um utilizador final em todas as sessões e estados de início ou fim de sessão.
  • Gestão de filiais: embora default_branch seja comum, certifique-se de que está a usar o ID da filial correto se o seu catálogo de produtos estiver estruturado com várias filiais.
  • Interação com a API Search: para SIMPLE_PRODUCT_SEARCH e todos os casos em que refined_search é fornecido, lembre-se de fazer uma chamada separada à API Search principal (SearchService.Search) usando o query do campo refined_search ou a consulta original para obter as fichas dos produtos reais. A API Conversacional foca-se principalmente na experiência de conversa e na compreensão da intenção do utilizador, em vez de devolver diretamente resultados de produtos.
  • Design da interface do utilizador: crie a sua interface Web para apresentar claramente as opções conversational_text_response, followup_question e refined_search de forma intuitiva para orientar o utilizador.

Planeie testes A/B

Embora a relevância seja uma métrica de entrada importante, o Vertex AI Search for commerce também tem em conta outras variáveis com o objetivo de otimizar em função dos resultados da empresa:

Métrica
Receita por visita (RPV) A receita por visita é a métrica mais eficaz para o desempenho da pesquisa, uma vez que tem em conta a taxa de conversão, o VMA e a relevância.
Conversão: valor de encomenda médio (AOV) A percentagem de conversão e o valor médio da encomenda contribuem para o RPV.
Relevância – Capacidade de compra – Preço A relevância, entre outras entradas, é usada para produzir resultados da pesquisa de elevado desempenho.

Lista de verificação de prontidão para testes A/B

Seguem-se as métricas de sucesso usadas:

Item Definição Fase
Esquema de atribuição de eventos Trabalhe com a Google para segmentar corretamente os eventos do utilizador para medição. Pré-experiência
Monitorizar entradas de dados Capacidade de compreender rapidamente quando os dados de preparação contêm anomalias que podem afetar o desempenho. Pré-experiência
Cobertura de eventos Estamos a instrumentar todos os resultados possíveis associados a sessões de IA de pesquisa ou recomendações? Pré-experiência
Critérios de sucesso mensuráveis Definição de concluído documentada (em termos mensuráveis). Pré-experiência
Capacidade de medir parcialidades da experiência do utilizador Garantir uma experiência do utilizador consistente nos grupos experimentais. Durante a experiência
Coerência entre os dados do VAIS e o consumo Verifique se os tokens de atribuição, os filtros, a ordenação, o desvio, etc., estão a ser transmitidos da API para UserEvents. Os IDs de visitantes/utilizadores correspondem entre o evento e os pedidos da API. Durante a experiência
Aprovação para fazer ajustes durante a experiência Planeie atividades de otimização, documente as alterações e ajuste as medições e a interpretação em conformidade. Durante a experiência

Implemente a validação de conceito ou o produto viável mínimo

Carregamento de dados Design do teste A/B Métricas de desempenho Governação e processo

Carregamento do catálogo de produtos atualizado e completo

Adesão aos métodos de carregamento de eventos recomendados para garantir a sincronização de dados entre a Google e si.
A recomendação da Google é a monitorização de eventos em tempo real, incluindo dados de impressões.

Transmita os atributos necessários, como IDs de experiências, IDs de visitantes e implemente corretamente tokens de pesquisa, quando aplicável.

Incorpore as práticas recomendadas para as experiências de modo a garantir resultados fiáveis:
  • Valide a integração.
  • Teste uma única alteração de cada vez.
  • Evite o armazenamento em cache agressivo.
  • Garantir a equidade da interface Web entre o teste e o controlo.
  • Garantir a equidade do tráfego com a divisão do tráfego através do ID do visitante.
  • Garantir a consistência dos dados dos produtos.
  • Aplique as mesmas regras empresariais no teste e no grupo de controlo.
Todos os critérios de avaliação devem ser empíricos, medidos objetivamente e baseados em métricas.

O alinhamento nas definições exatas das métricas acompanhadas é fundamental para medir o desempenho com precisão.

As métricas padrão monitorizadas incluem:
  • CTR de pesquisa (relevância dos resultados)
  • Taxa de pesquisa nula (compreensão da intenção)
  • Receita por visitante / receita por utilizador
  • Número de pesquisas para converter
A integração de dados, os testes, a implementação de funcionalidades e a otimização serão um processo iterativo que requer recursos.

Exemplo de cadência de experiências

Satisfazer as dependências do produto viável mínimo Calibre a medição Implemente o modo escuro de produção Decisão de aprovação/reprovação
  • Reduzir
  • Modelo preparado e configurações de publicação
  • Carregamento de dados de produtos e eventos
  • Compare os dados (do cliente) com a telemetria de pesquisa do Commerce e ajuste-os em conformidade
  • Alinhe-se nas bases de referência de medição
  • Faça uma avaliação offline
  • Ajuste as configurações
  • Teste A/A para validar a divisão de tráfego
  • Obtenha a aprovação de CQ
  • Comprometa-se a avançar com a implementação gradual

Exemplo de cadência de experiência A/B

Testes contínuos Aumente para X% do tráfego Meça, ajuste e repita Aumente para X% do tráfego em tempo real
  • Continuar o ajuste/otimização
  • Teste funcionalidades incrementais
  • Analise o desempenho em segmentos de pesquisa
  • Faça os ajustes de modelagem/regras necessários
  • Verifique o desempenho
  • Identifique e explique anomalias
  • Inicie a experiência
  • Partilhe métricas de desempenho diariamente
  • Realize a sintonização

Componentes de uma experiência bem-sucedida

Calibre as medições e estabeleça critérios de sucesso Mantenha a imparcialidade da experiência Monitorize a qualidade de dados
  • Planeie tempo para verificar a coerência do catálogo, do evento do utilizador e do consumo da API antes do lançamento oficial.
  • Estabeleça critérios de sucesso quantificáveis antecipadamente (idealmente, expressos como uma alteração ao VPR).
  • Identificar e explicar proativamente regressões ou anomalias e, em seguida, corrigi-las.
  • Partilhe as medições com frequência, compreenda e documente as definições das métricas nos grupos experimentais.
  • Minimize as diferenças na experiência do utilizador entre segmentos (esquema e elementos visuais comuns, apenas dados diferentes).
  • Tenha em atenção as regras de merchandising / empresa (certifique-se de que não introduzem parcialidade).
  • Meça a variação do catálogo.
  • Anotar corretamente os resultados da experiência (através de eventos do utilizador).

Funções e propriedade da experiência

Google Eu
Avaliação de qualidade Resultados da pesquisa de comércio Impacto na experiência do utilizador
Medições Cópia de segurança/validação Autoritário
Telemetria/dados Dados volumétricos da plataforma (validação do desempenho)
Anomalias de eventos e índices
Símbolos de atribuição e passos para reproduzir (problemas de validação)
Plataforma de pesquisa Artigos ao nível do produto
  • Mapeamento de dados
  • Ajustes de modelos/preparação
  • Anomalias de qualidade/publicação
  • Quotas/limites da plataforma
  • Defeitos da biblioteca de produtos/cliente
Consultar/publicar itens
  • Aumento de pedidos (incluindo o encaminhamento de contexto, a colocação em cache e o processamento de intenções)
  • Configurações de publicação (ajuste)
  • Enriquecimento de dados de origem
  • Desempenho do cliente (por exemplo, threads de WC)
  • Defeitos de UX/API/plataforma/biblioteca
Go/No-go Recomendar Aprovar

Realize experiências na consola

  1. Aceda à página Experiências na consola do Search for commerce.

    Aceda à página Experiências

  2. Use a consola para obter estatísticas de autosserviço avançadas para o Vertex AI Search for commerce, bem como testes A/B, aplicando a metodologia de atribuição da Google:

  • Monitorize a segmentação do tráfego, as métricas empresariais e o desempenho da pesquisa e da navegação.

  • Aplique métricas ao nível da visita por pesquisa na pesquisa por palavras-chave e na navegação.

  • Veja o desempenho da experiência como uma série cronológica com métricas de relevância estatística.

  • Use a plataforma Looker incorporada.