Questa pagina descrive come utilizzare gli esperimenti A/B per capire in che modo la ricerca AI Commerce influisce sulla tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. Il gruppo sperimentale riceve un trattamento diverso (in questo caso, previsioni o risultati di ricerca di AI Commerce Search); il gruppo di controllo no.
Quando esegui un esperimento A/B, includi le informazioni sul gruppo a cui apparteneva un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire metriche.
Entrambe le versioni dell'applicazione devono essere identiche, tranne per il fatto che gli utenti del gruppo sperimentale vedono i risultati generati dalla ricerca AI per il commercio, mentre il gruppo di controllo non li vede. Registri gli eventi utente per entrambi i gruppi.
Per saperne di più sulla suddivisione del traffico, consulta Suddivisione del traffico nella documentazione di App Engine.
Piattaforme di esperimenti
Configura l'esperimento utilizzando una piattaforma di test di terze parti come
VWO, AB Tasty. Il gruppo di controllo e il gruppo sperimentale
ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica il gruppo a cui appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Fornire l'ID esperimento consente
di confrontare le metriche per le versioni dell'applicazione
visualizzate dai gruppi di controllo e sperimentali.
Best practice per gli esperimenti A/B
L'obiettivo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento del tuo sito (in questo caso, l'utilizzo della ricerca AI Commerce). Per ottenere una misurazione precisa dell'impatto, devi progettare e implementare correttamente l'esperimento, in modo che non si verifichino altre differenze che potrebbero influire sui risultati.
Mappatura consigliata dell'ID esperimento
Gli ID esperimento vengono utilizzati per i test A/B, in cui puoi confrontare la ricerca AI Commerce con una soluzione di ricerca esistente. Possono anche essere utilizzati per eseguire esperimenti con un sito di ricerca AI Commerce completamente adottato in cui una nuova configurazione, un nuovo controllo o una nuova specifica di boost, per fare alcuni esempi, deve essere testata rispetto a un gruppo di controllo.
Il campo ID esperimento negli eventi utente è un array, il che consente una misurazione più granulare.
Considera i seguenti casi d'uso:
- Il rendimento della ricerca AI Commerce deve essere confrontato con un gruppo di controllo.
- Il rendimento complessivo deve essere misurato.
- È necessario misurare il rendimento solo per il mobile.
- È necessario misurare il rendimento solo su computer.
- Anche il rendimento della ricerca e dei suggerimenti deve essere misurato separatamente.
Per ottenere misurazioni così granulari e suddivise, potresti aver bisogno di un totale di 10 ID esperimento, di cui quattro devono essere inviati nell'array ID esperimento eventi per ogni evento.
| ID esperimento per il gruppo di controllo degli eventi | ID esperimento per il gruppo di eventi di test (cerca commercio) | Ambito degli eventi utente |
|---|---|---|
| Controllo | AI Commerce Search | Tutti gli eventi |
Control_mobile |
Google_mobile |
Tutti gli eventi mobile |
Control_desktop |
Google_desktop |
Tutti gli eventi desktop |
Control_search |
Google_search |
Tutti gli eventi di ricerca e correlati |
Control_recommendations |
Google_recommendations |
Tutte le raccomandazioni e gli eventi correlati |
Per misurare il rendimento complessivo, confronta le metriche derivate dagli eventi con gli ID esperimento Controllo e AI Commerce Search. Per misurare il rendimento della ricerca mobile, confronta le metriche derivate dagli eventi con gli ID esperimento Control_mobile + Control_search rispetto a Google_mobile + Google_search.
Gerarchia delle categorie
Assicurati che gli stessi prodotti abbiano la stessa gerarchia di categorie nel gruppo di controllo e nel gruppo di test. Ad esempio, nel sito di controllo, un prodotto t-shirt ha la gerarchia di categorie clothing > mens > tops > tee-shirts, mentre lo stesso prodotto si trova in una gerarchia di categorie diversa nel lato di test, ovvero mens > popular > tops. Questa configurazione genera risultati di ricerca e sfaccettature delle categorie diversi tra i siti di controllo e di test. Questo problema ha un effetto sull'esperienza del browser, poiché page_category è l'input della chiamata di navigazione, insieme ai filtri.
Parità dell'esperienza utente prima del test A/B
Quando prepari il sito per i test A/B, prima di pubblicare il traffico di ricerca o di consigli degli utenti reali nella ricerca AI Commerce con la mappatura corretta dell'ID esperimento, è importante notare la parità di interfaccia utente ed esperienza tra il sito di e-commerce, con il backend di ricerca legacy utilizzato come controllo, e il sito con il backend di ricerca AI Commerce.
Data una query di ricerca, tra le pagine dei risultati di ricerca per il backend di ricerca di controllo e il backend di ricerca AI Commerce, alcuni aspetti da testare includono:
Viene visualizzato lo stesso numero di sfaccettature? In caso contrario, esamina le specifiche delle sfaccettature e le impostazioni degli attributi in AI Commerce Search . Questo è importante perché le sfaccettature aiutano gli utenti a filtrare e navigare fino al prodotto preferito dai risultati di ricerca iniziali. Facet migliori e più significativi consentono agli utenti di trovare più rapidamente il prodotto preferito. In caso contrario, si ottengono più clic e scorrimento, il che potrebbe ostacolare l'esperienza di ricerca e influire in definitiva sui tassi di conversione e clickthrough. Questo potrebbe anche comportare l'abbandono della ricerca. Pertanto, la presenza di sfaccettature simili tra i siti di controllo e di test significa che non c'è alcun vantaggio sleale per gli utenti quando cercano prodotti tra un sito e l'altro.
Il posizionamento dei prodotti degli sponsor nei risultati di ricerca è spesso una funzionalità comune a molti siti di e-commerce e per lo più i prodotti degli sponsor non fanno parte dei risultati di ricerca organica. È necessario prestare attenzione per assicurarsi che il posizionamento e i prodotti mostrati nella pagina dei risultati di ricerca tra il sito di controllo e il sito di test siano quasi uguali, se non identici. In caso contrario, si verifica l'aggiunta di rumore alla misurazione delle metriche di rendimento delle entrate e, a seconda dell'unicità dei prodotti sponsorizzati tra i siti di controllo e di test, il rumore potrebbe essere più elevato.
Altri aspetti vari dell'interfaccia utente da considerare:
- Le informazioni su prezzo e sconto sono le stesse nei siti di controllo e di test?
- Il completamento automatico suggerisce gli stessi completamenti per la query di ricerca?
- I valori delle sfaccettature sono nello stesso ordine?
- I prodotti sono elencati utilizzando lo stesso stile, ad esempio in un elenco o una griglia?
Suggerimenti e considerazioni finali
Per progettare un esperimento A/B significativo, tieni presenti questi suggerimenti:
Prima di configurare l'esperimento A/B, utilizza l'anteprima della previsione o della ricerca per assicurarti che il modello si comporti come previsto.
Assicurati che il comportamento del tuo sito sia identico per il gruppo sperimentale e il gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato del testo, layout della pagina, qualità dell'immagine e dimensioni dell'immagine. Non devono esserci differenze rilevabili per nessuno di questi attributi tra l'esperienza del gruppo di controllo e dei gruppi sperimentali.
Accetta e visualizza i risultati così come vengono restituiti dalla ricerca AI Commerce e visualizzali nello stesso ordine in cui vengono restituiti.
Il filtraggio degli articoli non disponibili è accettabile. Tuttavia, devi evitare di filtrare o ordinare i risultati in base alle regole della tua attività.
Se utilizzi gli eventi utente di ricerca e includi il token di attribuzione richiesto, assicurati che siano configurati correttamente. Consulta la documentazione relativa ai token di attribuzione.
Assicurati che la configurazione di pubblicazione che fornisci quando richiedi suggerimenti o risultati di ricerca corrisponda alla tua intenzione per quel suggerimento o risultato di ricerca e alla posizione in cui visualizzi i risultati.
Quando utilizzi i suggerimenti, la configurazione di pubblicazione influisce sul modo in cui vengono addestrati i modelli e, di conseguenza, sui prodotti consigliati. Scopri di più.
Se stai confrontando una soluzione esistente con AI Commerce Search, mantieni l'esperienza del gruppo di controllo rigorosamente separata da quella del gruppo sperimentale.
Se la soluzione di controllo non fornisce un suggerimento o un risultato di ricerca, non fornirne uno dalla ricerca AI Commerce nelle pagine di controllo. In questo modo, i risultati del test vengono distorti.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo dell'esperimento. Ciò è particolarmente importante all'interno della stessa sessione, ma è consigliato anche tra le sessioni. In questo modo, il rendimento dell'esperimento migliora e puoi ottenere risultati statisticamente significativi del test A/B più rapidamente.