Autres considérations et tests

D'autres considérations doivent être prises en compte pour les bonnes pratiques et les tests de votre interface d'agent conversationnel.

Mettre en œuvre les bonnes pratiques

Lorsque vous implémentez votre interface d'agent conversationnel, tenez compte des bonnes pratiques suivantes :

• Cohérence de l'ID de visiteur : assurez-vous qu'un visitor_id unique est envoyé de manière cohérente avec chaque requête pour un utilisateur final donné. Cela est essentiel pour une personnalisation et un entraînement de modèle précis. Dans l'idéal, cet identifiant doit rester cohérent pour un utilisateur final entre les sessions et les états de connexion ou de déconnexion.
• Gestion des branches : bien que default_branch soit courant, assurez-vous d'utiliser l'ID de branche approprié si votre catalogue de produits est structuré avec plusieurs branches.
• Interaction avec l'API Search : pour SIMPLE_PRODUCT_SEARCH et tous les cas où refined_search est fourni, n'oubliez pas d'effectuer un appel distinct à l'API Search principale (SearchService.Search) à l'aide de la query du champ refined_search ou de la requête d'origine pour obtenir les fiches produit réelles. L'API Conversational se concentre principalement sur l'expérience conversationnelle et la compréhension de l'intention utilisateur plutôt que sur le renvoi direct des résultats de produits.
• Conception de l'interface utilisateur : concevez votre interface Web de manière à présenter clairement les options conversational_text_response, followup_question et refined_search de manière intuitive pour guider votre utilisateur.

Configurer les attributs pour la génération de LLM

Pour vous assurer que l'agent conversationnel peut générer des réponses, les attributs doivent être définis sur Récupérable dans vos Commandes d'attributs.

Si un attribut est Indexable , mais pas Récupérable , l'agent conversationnel trouvera le produit, mais ne pourra pas lire les détails pour répondre aux questions des utilisateurs. L'agent conversationnel déclenche souvent une réponse de secours, telle que Désolé, nous n'avons pas ce produit.

Pour cette raison, vous devez définir les attributs sémantiques (Title, Description, Brand, Specs) sur Récupérable : Vrai afin que le LLM puisse les utiliser. Définissez les attributs de l'interface utilisateur ou de l'application (BrandID, SkuID) sur Récupérable : Vrai si votre frontend en a besoin pour le rendu. Définissez vos métadonnées backend sur Récupérable : Faux pour optimiser l'utilisation de la fenêtre de contexte.

Planifier des tests A/B

Bien que la pertinence soit une métrique d'entrée importante, AI Commerce Search prend également en compte d'autres variables dans le but d'optimiser les résultats commerciaux :

Métriques
Revenu par visite (RPV)	Le revenu par visite est la métrique la plus efficace pour les performances de recherche, car il prend en compte le taux de conversion, la valeur moyenne des commandes et la pertinence.
Conversion : valeur moyenne de la commande (VMC)	Le pourcentage de conversion et la valeur moyenne des commandes contribuent tous deux au RPV.
Pertinence : capacité d'achat : prix	La pertinence, entre autres entrées, est utilisée pour produire des résultats de recherche performants.

Checklist de préparation des tests A/B

Voici les métriques de réussite utilisées :

Revenu par visite (RPV)

Taux de conversion

Événements d'ajout au panier

Taux de clics

Élément	Définition	Étape
Schéma d'attribution des événements	Collaborez avec Google pour segmenter correctement les événements utilisateur à des fins de mesure.	Avant le test
Surveillance des entrées de données	Possibilité de comprendre rapidement quand les données d'entraînement contiennent des anomalies susceptibles d'avoir un impact sur les performances.	Avant le test
Couverture des événements	Instrumentons-nous tous les résultats possibles associés aux sessions d'IA de recherche ou de recommandations ?	Avant le test
Critères de réussite mesurables	Définition documentée de la tâche terminée (en termes mesurables).	Avant le test
Possibilité de mesurer les biais d'expérience utilisateur	Assurez-vous d'une expérience utilisateur cohérente entre les bras de test.	Pendant le test
Cohérence entre les données VAIS et la consommation	Vérifiez que les jetons d'attribution, les filtres, l'ordre, le décalage, etc. sont transmis de l'API à UserEvents. Les ID de visiteur/utilisateur correspondent entre les requêtes d'événement et d'API.	Pendant le test
Approbation de l'ajustement pendant le test	Planifiez les activités d'ajustement, documentez les modifications, ajustez les mesures et l'interprétation en conséquence.	Pendant le test

Mettre en œuvre une preuve de concept ou un produit minimum viable

Ingestion de données	Conception de tests A/B	Métriques de performances	Gouvernance et processus
Ingestion à jour et complète du catalogue de produits Respect des méthodes d'ingestion d'événements recommandées pour assurer la synchronisation des données entre Google et vous. Google recommande le suivi des événements en temps réel, y compris les données d'impression. Transmettez les attributs nécessaires tels que les ID de test et de visiteur, et implémentez correctement les jetons de recherche, le cas échéant.	Incorporez les bonnes pratiques de test pour garantir des résultats fiables : Vérifiez l'intégration. Testez une seule modification à la fois. Évitez la mise en cache agressive. Assurez-vous de l'équité de l'interface Web entre le test et le contrôle. Assurez-vous de l'équité du trafic avec la répartition du trafic à l'aide de l'ID de visiteur. Assurez-vous de la cohérence des données produit. Appliquez les mêmes règles métier au test et au contrôle.	Tous les critères d'évaluation doivent être empiriques, mesurés objectivement et basés sur des métriques. L'alignement sur les définitions exactes des métriques suivies est essentiel pour mesurer les performances avec précision. Les métriques standards suivies incluent : CTR du Réseau de Recherche (pertinence des résultats) Taux de recherche nulle (compréhension de l'intention) Revenu par visiteur / Revenu par utilisateur Nombre de recherches à convertir	L'intégration des données, les tests, le déploiement des fonctionnalités et l'optimisation seront un processus itératif nécessitant des ressources.

Exemple de cadence de test

Satisfaire les dépendances du produit minimum viable	Calibrer la mesure	Déployer le mode sombre de production	Décision finale
Contrat Modèle entraîné et configurations de diffusion Ingestion de données produit et d'événements	Comparer les données (client) à la télémétrie de recherche Commerce et ajuster en conséquence Aligner sur les références de mesure	Effectuer une évaluation hors connexion Ajuster les configurations Test A/A pour vérifier la répartition du trafic	Obtenir l'approbation du contrôle qualité S'engager à poursuivre la montée en puissance

Tests en cours	Montée en puissance jusqu'à X% du trafic	Mesurer, ajuster et répéter	Montée en puissance jusqu'à X% du trafic en temps réel
Continuer l'ajustement/l'optimisation Tester les fonctionnalités incrémentales	Analyser les performances sur les segments de recherche Effectuer des ajustements de modélisation/règles	Vérifier les performances Identifier et expliquer les anomalies	Lancer le test Partager quotidiennement les métriques de performances Effectuer l'ajustement

Composants d'un test réussi

Calibrer les mesures et établir des critères de réussite	Maintenir l'équité du test	Surveiller la qualité des données
Prévoyez du temps pour vérifier la cohérence du catalogue, des événements utilisateur et de la consommation de l'API avant le lancement officiel. Établissez à l'avance des critères de réussite quantifiables (idéalement exprimés sous forme de modification du RPV). Identifiez et expliquez de manière proactive les régressions ou les anomalies, puis corrigez-les. Partagez souvent les mesures, comprenez et documentez les définitions des métriques entre les bras de test.	Minimisez les différences d'expérience utilisateur entre les segments (mise en page et visuels communs, données différentes uniquement). Tenez compte des règles de merchandising / métier (assurez-vous qu'elles n'introduisent pas de biais).	Mesurez la dérive du catalogue. Annotez correctement les résultats du test (par le biais d'événements utilisateur).

Rôles et propriété des tests

	Google	Vous
Évaluation de la qualité	Résultats de la recherche Commerce	Impact sur l'expérience utilisateur
Mesures	Sauvegarde/Validation	Primaire
Télémétrie/Données	Volumétrie de la plate-forme (validation des performances) Anomalies d'événements et d'index	Jetons d'attribution et étapes de reproduction (validation des problèmes)
Plate-forme de recherche	Éléments au niveau du produit Mappage de données Ajustements du modèle/de l'entraînement Anomalies de qualité/diffusion Quotas/limites de la plate-forme Défauts de la bibliothèque produit/client	Éléments de requête/diffusion Augmentation des requêtes (y compris le routage contextuel, la mise en cache et le traitement des intentions) Configurations de diffusion (ajustement) Enrichissement des données sources Performances du client (par exemple, threads WC) Défauts d'expérience utilisateur/API/plate-forme/bibliothèque
Décision finale	Recommander	Approuver

Effectuer des tests dans la console

1. Accédez à la page Tests dans AI Commerce Search dans la console Gemini Enterprise for Customer Experience.
   
   Accéder à la page "Tests"

2. Utilisez la console pour l'analyse avancée en libre-service pour l'intégration d'AI Commerce Search et les tests A/B en appliquant la méthodologie d'attribution de Google :

• Surveillez la segmentation du trafic, les métriques commerciales, ainsi que les performances de recherche et de navigation.

• Appliquez des métriques au niveau de la visite par recherche à la fois à la recherche par mot clé et à la navigation.

• Affichez les performances du test sous forme de série temporelle avec des métriques de pertinence statistique.

• Utilisez la plate-forme Looker intégrée.