Outras considerações e testes

Outras considerações precisam ser levadas em conta para práticas recomendadas e testes da interface do seu agente de comércio conversacional.

Implementar práticas recomendadas

Considere estas práticas recomendadas ao implementar a interface do seu agente de comércio conversacional:

• Consistência do ID do visitante: ajuda a garantir que um visitor_id exclusivo seja enviado de forma consistente com cada solicitação de um determinado usuário final. Isso é vital para a personalização e treinamento de modelo precisos. O ideal é que esse identificador permaneça consistente para um usuário final em diferentes sessões e estados de login ou logout.
• Gerenciamento de ramificações: embora default_branch seja comum, use o ID de ramificação correto se o catálogo de produtos tiver várias ramificações.
• Interação com a API Search: para SIMPLE_PRODUCT_SEARCH e qualquer caso em que refined_search seja fornecido, faça uma chamada separada para a API Search principal (SearchService.Search) usando o query do campo refined_search ou a consulta original para receber as informações reais dos produtos. A API Conversacional se concentra principalmente na experiência de conversa e na compreensão da intenção do usuário, em vez de retornar diretamente resultados de produtos.
• Design da interface do usuário: crie uma interface da Web que apresente claramente as opções conversational_text_response, followup_question e refined_search de maneira intuitiva para orientar o usuário.

Planejar testes A/B

Embora a relevância seja uma métrica de entrada importante, a Vertex AI para Pesquisa no comércio também considera outras variáveis com o objetivo de otimizar os resultados comerciais:

Métricas
Receita por visita (RPV)	A receita por visita é a métrica mais eficaz para a performance da pesquisa, já que considera a taxa de conversão, o valor médio do pedido e a relevância.
Conversão: valor médio do pedido (VMP)	A porcentagem de conversão e o VMP contribuem para o RPV.
Relevância — capacidade de compra — preço	A relevância, entre outras entradas, é usada para produzir resultados da pesquisa de alta performance.

Lista de verificação de prontidão para testes A/B

Estas são as métricas de sucesso usadas:

Receita por visita (RPV)

Taxa de conversão (CVR)

Eventos de adição ao carrinho

Taxa de cliques

Item	Definição	Fase
Esquema de atribuição de evento	Trabalhe com o Google para segmentar corretamente os eventos do usuário para medição.	Pré-experimento
Entradas de dados de monitoramento	Capacidade de entender rapidamente quando os dados de treinamento contêm anomalias que podem afetar a performance.	Pré-experimento
Cobertura de eventos	Estamos instrumentando todos os resultados possíveis associados a sessões de pesquisa ou de recomendações da IA?	Pré-experimento
Critérios de sucesso mensuráveis	Definição de conclusão documentada (em termos mensuráveis).	Pré-experimento
Capacidade de medir vieses de UX	Garanta uma experiência do usuário consistente em todos os grupos experimentais.	Durante o experimento
Coerência entre os dados do VAIS e o consumo	Verifique se os tokens de atribuição, filtros, ordenação por, deslocamento etc. estão sendo transmitidos da API para UserEvents. Os IDs de visitante/usuário correspondem entre o evento e as solicitações de API.	Durante o experimento
Aprovação para ajuste durante o experimento	Planeje atividades de ajuste, documente mudanças e ajuste as medições e a interpretação de acordo com isso.	Durante o experimento

Implementar prova de conceito ou produto mínimo viável

Ingestão de dados	Design de teste A/B	Métricas de desempenho	Governança e processo
Ingestão de catálogo de produtos atualizada e completa Adesão aos métodos recomendados de ingestão de eventos para garantir a sincronização de dados entre o Google e você. A recomendação do Google é para o rastreamento de eventos em tempo real, incluindo dados de impressão. Transmita os atributos necessários, como IDs de experimento e de visitante, e implemente corretamente os tokens de pesquisa quando aplicável.	Incorpore as práticas recomendadas de experimentação para garantir resultados confiáveis: Verifique a integração. Teste uma mudança por vez. Evite o armazenamento em cache agressivo. Garanta a imparcialidade da interface da Web entre teste e controle. Garantir a justiça do tráfego com a divisão de tráfego usando o ID do visitante. Garanta a consistência dos dados de produtos. Aplique as mesmas regras de negócios no teste e no controle.	Todos os critérios de avaliação precisam ser empíricos, medidos de forma objetiva e orientados por métricas. O alinhamento nas definições exatas das métricas rastreadas é fundamental para medir a performance com precisão. As métricas padrão rastreadas incluem: CTR da pesquisa (relevância dos resultados) Taxa de pesquisa nula (compreensão de intenção) Receita por visitante / Receita por usuário Número de pesquisas para conversão	A integração, o teste, o lançamento de recursos e a otimização de dados serão um processo iterativo que exige recursos.

Exemplo de cadência de experimento

Atender às dependências do produto mínimo viável	Calibrar medição	Implantar o modo escuro de produção	Decisão de avançar/parar
Contrato Modelo treinado e configurações de disponibilização Ingestão de dados de produtos e eventos	Compare os dados (do cliente) com a telemetria da Pesquisa Google Shopping e faça os ajustes necessários Alinhar as linhas de base de medição	Fazer uma avaliação off-line Ajustar configurações Teste A/A para verificar a divisão de tráfego	Receber a aprovação do controle de qualidade Comprometa-se a seguir em frente com a aceleração

Testes em andamento	Aumentar para X% do tráfego	Medir, ajustar e repetir	Aumentar para X% do tráfego em tempo real
Continuar o ajuste/otimização Testar recursos incrementais	Analisar a performance em segmentos de pesquisa Faça os ajustes necessários na modelagem/regras	Verificar a performance Identificar e explicar anomalias	Iniciar experimento Compartilhar métricas de desempenho diariamente Fazer o ajuste

Componentes de um experimento bem-sucedido

Calibrar medições e estabelecer critérios de sucesso	Manter a imparcialidade do experimento	Monitorar a qualidade dos dados
Planeje um tempo para verificar a coerência do catálogo, dos eventos do usuário e do consumo da API antes do lançamento oficial. Estabeleça critérios de sucesso quantificáveis desde o início (idealmente, expressos como uma mudança no RPV). Identifique e explique de forma proativa regressões ou anomalias e corrija-as. Compartilhe medições com frequência, entenda e documente as definições de métricas em todos os grupos experimentais.	Minimizar as diferenças de UX entre segmentos (layout e recursos visuais comuns, apenas dados diferentes). Preste atenção às regras de merchandising / negócios (para garantir que elas não introduzam viés).	Medir a mudança no catálogo. Anotar corretamente os resultados do experimento (por eventos do usuário).

Funções e propriedade de experimentos

	Google	Você
Avaliação de qualidade	Resultados da pesquisa de comércio	Impacto na UX
Medições	Backup/validação	Autoritativo
Telemetria/dados	Volumetria da plataforma (validação da performance) Anomalias de eventos e índices	Tokens de atribuição e etapas para reproduzir (problemas de validação)
Plataforma de pesquisa	Itens no nível do produto Mapeamento de dados Ajustes de modelo/treinamento Anomalias de qualidade/veiculação Cotas/limites da plataforma Defeitos na biblioteca de produto/cliente	Itens de consulta/veiculação Aumento de solicitações (incluindo roteamento de contexto, armazenamento em cache e processamento de intenção) Configurações de veiculação (ajuste) Aprimoramento de dados de origem Desempenho do cliente (por exemplo, linhas de execução do WC) Defeitos de UX/API/plataforma/biblioteca
Avançar/Parar	Recomendar	Aprovar

Realizar experimentos no console

1. Acesse a página Experimentos no console da Pesquisa para e-commerce.
   
   Acessar a página "Experimentos"

2. Use o console para análises avançadas de autoatendimento para integração da Vertex AI Search para Commerce e testes A/B aplicando a metodologia de atribuição do Google:

• Monitore a segmentação de tráfego, as métricas de negócios e a performance de pesquisa e navegação.

• Aplique métricas por visita de pesquisa na pesquisa por palavra-chave e na navegação.

• Confira a performance do experimento como uma série temporal com métricas de significância estatística.

• Use a plataforma incorporada do Looker.