Autres considérations et tests

Vous devez tenir compte d'autres éléments pour appliquer les bonnes pratiques et tester l'interface de votre agent de commerce conversationnel.

Mettre en œuvre les bonnes pratiques

Tenez compte des bonnes pratiques suivantes lorsque vous implémentez l'interface de votre agent de commerce conversationnel :

• Cohérence des ID de visiteur : permet de s'assurer qu'un visitor_id unique est envoyé de manière cohérente avec chaque requête pour un utilisateur final donné. C'est essentiel pour une personnalisation et un entraînement de modèle précis. Dans l'idéal, cet identifiant doit rester cohérent pour un utilisateur final, quelle que soit la session et qu'il soit connecté ou déconnecté.
• Gestion des branches : bien que default_branch soit courant, assurez-vous d'utiliser le bon ID de branche si votre catalogue de produits est structuré avec plusieurs branches.
• Interaction avec l'API Search : pour SIMPLE_PRODUCT_SEARCH et tous les cas où refined_search est fourni, n'oubliez pas d'effectuer un appel distinct à l'API Search principale (SearchService.Search) en utilisant le query du champ refined_search ou la requête d'origine pour obtenir les fiches produit réelles. L'API Conversational se concentre principalement sur l'expérience conversationnelle et la compréhension de l'intention de l'utilisateur, plutôt que sur le renvoi direct de résultats de produits.
• Conception de l'interface utilisateur : concevez votre interface Web pour présenter clairement les options conversational_text_response, followup_question et refined_search de manière intuitive afin de guider votre utilisateur.

Planifier des tests A/B

Bien que la pertinence soit une métrique d'entrée importante, Vertex AI Search pour le commerce prend également en compte d'autres variables dans le but d'optimiser les résultats commerciaux :

Métriques
Revenu par visite (RPV)	Le revenu par visite est la métrique la plus efficace pour évaluer les performances de recherche, car elle tient compte du taux de conversion, de la valeur moyenne des commandes et de la pertinence.
Conversion : valeur moyenne de la commande	Le taux de conversion et la valeur moyenne des commandes contribuent tous deux au RPV.
Pertinence – Possibilité d'achat – Prix	La pertinence, entre autres facteurs, est utilisée pour générer des résultats de recherche performants.

Checklist de préparation aux tests A/B

Voici les métriques de réussite utilisées :

Revenu par visite (RPV)

Taux de conversion (CVR)

Événements d'ajout au panier

Taux de clics

Élément	Définition	Étape
Schéma d'attribution des événements	Collaborez avec Google pour segmenter correctement les événements utilisateur à des fins de mesure.	Avant le test
Surveiller les entrées de données	Vous pouvez rapidement identifier les anomalies dans les données d'entraînement qui pourraient avoir un impact sur les performances.	Avant le test
Couverture d'événements	Instrumentons-nous tous les résultats possibles associés aux sessions de recherche ou de recommandations d'IA ?	Avant le test
Critères de réussite mesurables	Définition de "terminé" documentée (en termes mesurables).	Avant le test
Capacité à mesurer les biais d'expérience utilisateur	Assurez-vous que l'expérience utilisateur est cohérente dans tous les bras de test.	Pendant le test
Cohérence entre les données VAIS et la consommation	Vérifiez que les jetons d'attribution, les filtres, l'ordre de tri, le décalage, etc. sont transmis de l'API à UserEvents. Les ID de visiteurs/utilisateurs correspondent entre les requêtes d'événement et d'API.	Pendant le test
Autorisation de l'optimisation pendant le test	Planifiez les activités d'optimisation, documentez les modifications et ajustez les mesures et leur interprétation en conséquence.	Pendant le test

Implémenter une démonstration de faisabilité ou un produit minimum viable

Ingestion de données	Conception de tests A/B	Métriques de performances	Gouvernance et processus
Ingestion d'un catalogue de produits complet et à jour Respectez les méthodes d'ingestion d'événements recommandées pour assurer la synchronisation des données entre Google et vous.  Google recommande le suivi des événements en temps réel, y compris les données d'impression. Transmettez les attributs nécessaires tels que les ID de test et les ID de visiteur, et implémentez correctement les jetons de recherche, le cas échéant.	Appliquez les bonnes pratiques de test pour obtenir des résultats fiables : Vérifiez l'intégration. Testez une seule modification à la fois. Évitez la mise en cache agressive. Assurez-vous que l'interface Web est équitable entre les groupes de test et de contrôle. Assurez-vous que le trafic est réparti de manière équitable en utilisant l'ID de visiteur. Assurez-vous que les données produit sont cohérentes. Appliquez les mêmes règles métier aux groupes de test et de contrôle.	Tous les critères d'évaluation doivent être empiriques, mesurés de manière objective et basés sur des métriques. Il est essentiel de s'accorder sur les définitions exactes des métriques suivies pour mesurer précisément les performances. Voici quelques exemples de métriques standards suivies : CTR du Réseau de Recherche (pertinence des résultats) Taux de recherche nulle (compréhension de l'intention) Revenu par visiteur / Revenu par utilisateur Nombre de recherches à convertir	L'intégration des données, les tests, le déploiement des fonctionnalités et l'optimisation seront un processus itératif qui nécessitera des ressources.

Exemple de cadence de test

Répondre aux dépendances du produit minimum viable	Calibrer la mesure	Déployer le mode sombre en production	Décision d'acceptation ou de refus
Contrat Modèle entraîné et configurations de diffusion Ingestion des données produit et d'événement	Comparer les données (client) avec la télémétrie de la recherche Commerce et les ajuster en conséquence Définir des références de mesure	Effectuer une évaluation hors connexion Ajuster les configurations Test A/A pour vérifier la répartition du trafic	Obtenir l'approbation du contrôle qualité S'engager à passer à la rampe

Tests en cours	Augmenter le trafic jusqu'à X %	Mesurer, ajuster et répéter	Augmenter le trafic réel à X %
Continuer le réglage/l'optimisation Tester les fonctionnalités incrémentales	Analyser les performances dans les segments de recherche Ajuster la modélisation/les règles	Vérifier les performances Identifier et expliquer les anomalies	Lancer un test Partager les métriques de performances quotidiennement Effectuer le réglage

Composants d'un test réussi

Calibrer les mesures et établir des critères de réussite	Assurer l'équité des tests	Surveiller la qualité des données
Prévoyez du temps pour vérifier la cohérence du catalogue, des événements utilisateur et de la consommation d'API avant le lancement officiel. Définissez à l'avance des critères de réussite quantifiables (idéalement exprimés en termes de variation du revenu par visite). Identifier et expliquer de manière proactive les régressions ou les anomalies, puis les corriger. Partagez souvent les mesures, comprenez et documentez les définitions des métriques pour les différents bras de test.	Minimisez les différences d'UX entre les segments (mise en page et éléments visuels communs, mais données différentes). Tenez compte des règles de merchandising / métier (assurez-vous qu'elles n'introduisent pas de biais).	Mesurez la dérive du catalogue. Annoter correctement les résultats des tests (à l'aide d'événements utilisateur).

Rôles et propriété des tests

	Google	Vous
Évaluation de la qualité	Résultats de la recherche commerciale	Impact sur l'expérience utilisateur
Mesures	Sauvegarder/Valider	Primaire
Télémétrie/données	Volumétrie de la plate-forme (validation des performances) Anomalies d'événements et d'index	Jetons d'attribution et étapes à suivre pour reproduire le problème (validation des problèmes)
Plate-forme de recherche	Éléments au niveau du produit Mappage de données Ajustements du modèle/de l'entraînement Anomalies de qualité/de diffusion Quotas/Limites de la plate-forme Défauts de la bibliothèque produit/cliente	Éléments de requête/de diffusion Augmentation des requêtes (y compris le routage contextuel, la mise en cache et le traitement de l'intention) Configurations de diffusion (réglage) Enrichissement des données sources Performances du client (par exemple, threads WC) Défauts liés à l'UX, aux API, à la plate-forme ou à la bibliothèque
Go/No-go	Recommander	Approuver

Effectuer des tests dans la console

1. Accédez à la page Tests dans la console Search for Commerce.
   
   Accéder à la page "Tests"

2. Utilisez la console pour effectuer des analyses en libre-service avancées pour l'intégration de Vertex AI Search pour le commerce et les tests A/B en appliquant la méthodologie d'attribution de Google :

• Surveillez la segmentation du trafic, les métriques commerciales, ainsi que les performances de recherche et de navigation.

• Appliquez les métriques au niveau des visites par recherche à la fois à la recherche par mot clé et à la navigation.

• Affichez les performances des tests sous forme de série temporelle avec des métriques de pertinence statistique.

• Utilisez la plate-forme Looker intégrée.