Outras considerações e testes

Outras considerações precisam ser levadas em conta para as práticas recomendadas e os testes da interface do agente conversacional.

Implementar práticas recomendadas

Considere estas práticas recomendadas ao implementar a interface do agente conversacional:

• Consistência do ID do visitante: ajude a garantir que um visitor_id exclusivo seja enviado de forma consistente com cada solicitação de um determinado usuário final. Isso é fundamental para a personalização e o treinamento de modelo. O ideal é que esse identificador permaneça consistente para um usuário final em todas as sessões e estados de login ou logout.
• Gerenciamento de ramificações: embora default_branch seja comum, use o ID de ramificação correto se o catálogo de produtos estiver estruturado com várias ramificações.
• Interação da API Search: para SIMPLE_PRODUCT_SEARCH e todos os casos em que refined_search é fornecido, lembre-se de fazer uma chamada separada para a API Search principal (SearchService.Search) usando a query do campo refined_search ou a consulta original para receber as listagens de produtos reais. A API Conversacional se concentra principalmente na experiência de conversa e na compreensão da intenção do usuário, em vez de retornar diretamente os resultados do produto.
• Design da interface do usuário: crie sua interface da Web para apresentar as opções conversational_text_response, followup_question e refined_search de maneira intuitiva para orientar o usuário.

Configurar atributos para geração de LLM

Para garantir que o agente conversacional possa gerar respostas, os atributos precisam ser definidos como Recuperáveis nos Controles de atributos.

Se um atributo for Indexável, mas não Recuperável, o agente conversacional vai encontrar o produto, mas não poderá ler os detalhes para responder às perguntas do usuário. O agente conversacional geralmente aciona uma resposta alternativa, como Desculpe, não temos esse produto.

Por esse motivo, defina os atributos semânticos (Title, Description, Brand, Specs) como Recuperável: verdadeiro para que o LLM possa usá-los. Defina os atributos da interface do usuário ou do app (BrandID, SkuID) como Recuperável: verdadeiro se o front-end os exigir para renderização. Defina os metadados de back-end como Recuperável: falso para otimizar o uso da janela de contexto.

Planejar testes A/B

Embora a relevância seja uma métrica de entrada importante, a AI Commerce Search também considera outras variáveis com o objetivo de otimizar os resultados de negócios:

Métricas
Receita por visita (RPV)	A receita por visita é a métrica mais eficaz para o desempenho da pesquisa, porque considera a taxa de conversão, o VMP e a relevância.
Conversão: valor médio do pedido (VMP)	A porcentagem de conversão e o VMP contribuem para a RPV.
Relevância: capacidade de compra: preço	A relevância, entre outras entradas, é usada para produzir resultados de pesquisa de alta performance.

Lista de verificação de prontidão para testes A/B

Estas são as métricas de sucesso usadas:

Receita por visita (RPV)

Taxa de conversão (CVR)

Eventos de adição ao carrinho

Taxa de cliques

Item	Definição	Fase
Esquema de atribuição de eventos	Trabalhe com o Google para segmentar corretamente os eventos do usuário para medição.	Pré-experimento
Monitoramento de entradas de dados	Capacidade de entender rapidamente quando os dados de treinamento contêm anomalias que podem afetar a performance.	Pré-experimento
Cobertura de eventos	Estamos instrumentando todos os resultados possíveis associados a sessões de IA de pesquisa ou recomendação?	Pré-experimento
Critérios de sucesso mensuráveis	Definição documentada de conclusão (em termos mensuráveis).	Pré-experimento
Capacidade de medir vieses de UX	Garanta uma UX consistente em todos os grupos de experimento.	Durante o experimento
Coerência entre os dados e o consumo do VAIS	Verifique se os tokens de atribuição, filtros, ordem por, deslocamento etc. estão sendo transmitidos da API para UserEvents. Os IDs de visitante/usuário correspondem entre o evento e as solicitações de API.	Durante o experimento
Aprovação para ajuste durante o experimento	Planeje atividades de ajuste, documente as mudanças, ajuste as medições e a interpretação de acordo com elas.	Durante o experimento

Implementar prova de conceito ou produto viável mínimo

Ingestão de dados	Design de testes A/B	Métricas de desempenho	Governança e processo
Ingestão de catálogo de produtos atualizado e completo Adesão aos métodos recomendados de ingestão de eventos para garantir a sincronização de dados entre o Google e você. A recomendação do Google é para o rastreamento de eventos em tempo real, incluindo dados de impressão. Transmita os atributos necessários, como IDs de experimento e de visitante, e implemente corretamente os tokens de pesquisa, quando aplicável.	Incorpore as práticas recomendadas de experimentação para garantir resultados confiáveis: Verificar a integração. Teste uma mudança por vez. Evite o armazenamento em cache agressivo. Garanta a imparcialidade da interface da Web entre o teste e o controle. Garanta a imparcialidade do tráfego com a divisão de tráfego usando o ID do visitante. Garanta a consistência dos dados do produto. Aplique as mesmas regras de negócios no teste e no controle.	Todos os critérios de avaliação precisam ser empíricos, medidos objetivamente e orientados por métricas. O alinhamento nas definições exatas das métricas rastreadas é fundamental para medir a performance com precisão. As métricas padrão rastreadas incluem: Taxa de cliques da pesquisa (relevância dos resultados) Taxa de pesquisa nula (compreensão da intenção) Receita por visitante / Receita por usuário Número de pesquisas para conversão	A integração de dados, os testes, o lançamento de recursos e a otimização serão um processo iterativo que exige recursos.

Exemplo de cadência de experimento

Atender às dependências do produto viável mínimo	Calibrar a medição	Implantar o modo escuro de produção	Decisão de avançar ou parar
Contrato Modelo treinado e configurações de veiculação Ingestão de dados de produtos e eventos	Compare os dados (do cliente) com a telemetria de pesquisa do Commerce e ajuste de acordo com eles Alinhe as referências de medição	Realize a avaliação off-line Ajuste as configurações Teste A/A para verificar a divisão de tráfego	Receba a aprovação do controle de qualidade Comprometa-se a avançar com a rampa

Testes em andamento	Rampa para X% do tráfego	Meça, ajuste e repita	Rampa para X% do trânsito em tempo real
Continue o ajuste/otimização Teste recursos incrementais	Analise a performance em segmentos de pesquisa Faça ajustes de modelagem/regras	Verifique a performance Identifique e explique anomalias	Inicie o experimento Compartilhe as métricas de performance diariamente Realize o ajuste

Componentes de um experimento bem-sucedido

Calibrar medições e estabelecer critérios de sucesso	Manter a imparcialidade do experimento	Monitorar a qualidade de dados
Planeje um tempo para verificar a coerência do catálogo, do evento do usuário e do consumo da API antes do lançamento oficial. Estabeleça critérios de sucesso quantificáveis antecipadamente (o ideal é que sejam expressos como uma mudança na RPV). Identifique e explique regressões ou anomalias de forma proativa e, em seguida, corrija-as. Compartilhe as medições com frequência, entenda e documente as definições de métricas em todos os grupos de experimento.	Minimize as diferenças de UX entre segmentos (layout e recursos visuais comuns, apenas dados diferentes). Esteja atento às regras de merchandising / negócios (garanta que elas não introduzam vieses).	Meça a variação do catálogo. Anote corretamente os resultados do experimento (por meio de eventos do usuário).

Funções e propriedade do experimento

	Google	Você
Avaliação de qualidade	Resultados da pesquisa do Commerce	Impacto na UX
Medições	Backup/validação	Autoritativo
Telemetria/dados	Volumetria da plataforma (validação da performance) Anomalias de eventos e índices	Tokens de atribuição e etapas para reprodução (validação de problemas)
Plataforma de pesquisa	Itens no nível do produto Mapeamento de dados Ajustes de modelo/treinamento Anomalias de qualidade/veiculação Cotas/limites da plataforma Defeitos da biblioteca de cliente/produto	Consultar/veicular itens Aumento de solicitações (incluindo roteamento de contexto, armazenamento em cache e processamento de intenção) Configurações de veiculação (ajuste) Aprimoramento de dados de origem Performance do cliente (por exemplo, threads WC) Defeitos de UX/API/plataforma/biblioteca
Avançar ou parar	Recomendar	Aprovar

Realizar experimentos no console

1. Acesse a página Experimentos na AI Commerce Search no console do Gemini Enterprise for Customer Experience.
   
   Acessar a página "Experimentos"

2. Use o console para análises avançadas de autoatendimento para integração e testes A/B da AI Commerce Search aplicando a metodologia de atribuição do Google:

• Monitore a segmentação de tráfego, as métricas de negócios e a performance de pesquisa e navegação.

• Aplique métricas de nível de visita por pesquisa na pesquisa de palavras-chave e na navegação.

• Confira a performance do experimento como uma série temporal com métricas de significância estatística.

• Use a plataforma Looker incorporada.