Questa pagina descrive come utilizzare gli esperimenti A/B per comprendere l'impatto della ricerca della piattaforma dell'agente per il commercio sulla tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. Il gruppo sperimentale riceve un trattamento diverso (in questo caso, previsioni o risultati di ricerca di Agent Platform Search per il commercio); il gruppo di controllo no.
Quando esegui un esperimento A/B, includi le informazioni sul gruppo a cui apparteneva un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire metriche.
Entrambe le versioni dell'applicazione devono essere identiche, tranne per il fatto che gli utenti del gruppo sperimentale vedono i risultati generati dalla ricerca della piattaforma dell'agente per il commercio mentre il gruppo di controllo no. Registri gli eventi utente per entrambi i gruppi.
Per saperne di più sulla suddivisione del traffico, consulta Suddivisione del traffico nella documentazione di App Engine.
Piattaforme di esperimenti
Configura l'esperimento utilizzando una piattaforma di test di terze parti come
VWO, AB Tasty. Il gruppo di controllo e il gruppo sperimentale
ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica il gruppo a cui appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Fornire l'ID esperimento consente
di confrontare le metriche per le versioni dell'applicazione
visualizzate dai gruppi di controllo e sperimentali.
Best practice per gli esperimenti A/B
L'obiettivo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento del tuo sito (in questo caso, l'utilizzo della ricerca di Agent Platform per il commercio). Per ottenere una misurazione precisa dell'impatto, devi progettare e implementare correttamente l'esperimento, in modo che non si verifichino altre differenze che potrebbero influire sui risultati.
Mappatura consigliata dell'ID esperimento
Gli ID esperimento vengono utilizzati per i test A/B, in cui puoi confrontare la ricerca di Agent Platform per il commercio con una soluzione di ricerca esistente. Possono essere utilizzati anche per eseguire esperimenti con una ricerca della piattaforma dell'agente completamente adottata per il sito di e-commerce in cui è necessario testare una nuova configurazione, un nuovo controllo o una nuova specifica di boost, per fare alcuni esempi, rispetto a un gruppo di controllo.
Il campo ID esperimento negli eventi utente è un array, il che consente una misurazione più granulare.
Considera i seguenti casi d'uso:
- La ricerca Agent Platform per il rendimento di Commerce deve essere confrontata con un gruppo di controllo.
- Il rendimento complessivo deve essere misurato.
- È necessario misurare il rendimento solo per il mobile.
- È necessario misurare il rendimento solo su computer.
- Anche il rendimento della ricerca e dei suggerimenti deve essere misurato separatamente.
Per ottenere misurazioni così granulari e suddivise, potresti aver bisogno di un totale di 10 ID esperimento, di cui quattro devono essere inviati nell'array ID esperimento eventi per ogni evento.
| ID esperimento per il gruppo di controllo degli eventi | ID esperimento per il gruppo di eventi di test (cerca commercio) | Ambito degli eventi utente |
|---|---|---|
| Controllo | Ricerca Agent Platform per il commercio | Tutti gli eventi |
Control_mobile |
Google_mobile |
Tutti gli eventi mobile |
Control_desktop |
Google_desktop |
Tutti gli eventi desktop |
Control_search |
Google_search |
Tutti gli eventi di ricerca e correlati |
Control_recommendations |
Google_recommendations |
Tutte le raccomandazioni e gli eventi correlati |
Per misurare il rendimento complessivo, confronta le metriche derivate dagli eventi con gli ID esperimento Controllo e Agent Platform Search for commerce. Per misurare il rendimento della ricerca mobile, confronta le metriche derivate dagli eventi con gli ID esperimento Control_mobile + Control_search rispetto a Google_mobile + Google_search.
Gerarchia delle categorie
Assicurati che gli stessi prodotti abbiano la stessa gerarchia di categorie nel gruppo di controllo e nel gruppo di test. Ad esempio, nel sito di controllo, un prodotto t-shirt ha la gerarchia di categorie clothing > mens > tops > tee-shirts, mentre lo stesso prodotto si trova in una gerarchia di categorie diversa nel lato di test, ovvero mens > popular > tops. Questa configurazione genera risultati di ricerca e sfaccettature delle categorie diversi tra i siti di controllo e di test. Questo problema ha un effetto sull'esperienza del browser, poiché page_category è l'input della chiamata di navigazione, insieme ai filtri.
Parità dell'esperienza utente prima del test A/B
Quando prepari il sito per i test A/B, prima di inviare il traffico di ricerca o di consigli degli utenti reali alla ricerca della piattaforma dell'agente per il commercio con la mappatura corretta dell'ID esperimento, è importante notare la parità di interfaccia utente ed esperienza tra il sito di commercio, con il backend di ricerca legacy utilizzato come controllo, e il sito con il backend di ricerca della piattaforma dell'agente per il commercio.
Data una query di ricerca, tra le pagine dei risultati di ricerca per il backend di ricerca di controllo e la ricerca Agent Platform per il backend di commercio, alcune cose da testare includono:
Viene visualizzato lo stesso numero di sfaccettature? In caso contrario, rivedi le specifiche delle sfaccettature e le impostazioni degli attributi in Agent Platform Search for commerce . Questo è importante perché le sfaccettature aiutano gli utenti a filtrare e navigare fino al prodotto preferito dai risultati di ricerca iniziali. Facet migliori e più significativi consentono agli utenti di trovare più rapidamente il prodotto preferito. In caso contrario, si ottengono più clic e scorrimento, il che potrebbe ostacolare l'esperienza di ricerca e influire in definitiva sui tassi di conversione e clickthrough. Questo potrebbe anche comportare l'abbandono della ricerca. Pertanto, la presenza di sfaccettature simili tra i siti di controllo e di test significa che non c'è alcun vantaggio sleale per gli utenti quando cercano prodotti tra un sito e l'altro.
Il posizionamento dei prodotti degli sponsor nei risultati di ricerca è spesso una funzionalità comune a molti siti di e-commerce e per lo più i prodotti degli sponsor non fanno parte dei risultati di ricerca organica. È necessario prestare attenzione per assicurarsi che il posizionamento e i prodotti mostrati nella pagina dei risultati di ricerca tra il sito di controllo e il sito di test siano quasi uguali, se non identici. In caso contrario, si verifica l'aggiunta di rumore alla misurazione delle metriche di rendimento delle entrate e, a seconda dell'unicità dei prodotti sponsorizzati tra i siti di controllo e di test, il rumore potrebbe essere più elevato.
Altri aspetti vari dell'interfaccia utente da considerare:
- Le informazioni su prezzo e sconto sono le stesse nei siti di controllo e di test?
- Il completamento automatico suggerisce gli stessi completamenti per la query di ricerca?
- I valori delle sfaccettature sono nello stesso ordine?
- I prodotti sono elencati utilizzando lo stesso stile, ad esempio in un elenco o una griglia?
Suggerimenti e considerazioni finali
Per progettare un esperimento A/B significativo, tieni presenti questi suggerimenti:
Prima di configurare l'esperimento A/B, utilizza l'anteprima della previsione o della ricerca per assicurarti che il modello si comporti come previsto.
Assicurati che il comportamento del tuo sito sia identico per il gruppo sperimentale e il gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato del testo, layout della pagina, qualità dell'immagine e dimensioni dell'immagine. Non devono esserci differenze rilevabili per nessuno di questi attributi tra l'esperienza del gruppo di controllo e dei gruppi sperimentali.
Accetta e visualizza i risultati così come vengono restituiti dalla ricerca della piattaforma dell'agente per il commercio e visualizzali nello stesso ordine in cui vengono restituiti.
Il filtraggio degli articoli non disponibili è accettabile. Tuttavia, devi evitare di filtrare o ordinare i risultati in base alle regole della tua attività.
Se utilizzi gli eventi utente di ricerca e includi il token di attribuzione richiesto, assicurati che siano configurati correttamente. Consulta la documentazione relativa ai token di attribuzione.
Assicurati che la configurazione di pubblicazione che fornisci quando richiedi suggerimenti o risultati di ricerca corrisponda alla tua intenzione per quel suggerimento o risultato di ricerca e alla posizione in cui visualizzi i risultati.
Quando utilizzi i suggerimenti, la configurazione di pubblicazione influisce sul modo in cui vengono addestrati i modelli e, di conseguenza, sui prodotti consigliati. Scopri di più.
Se stai confrontando una soluzione esistente con la ricerca di Agent Platform per il commercio, mantieni l'esperienza del gruppo di controllo rigorosamente separata da quella del gruppo sperimentale.
Se la soluzione di controllo non fornisce un consiglio o un risultato di ricerca, non fornirne uno dalla ricerca della piattaforma dell'agente per il commercio nelle pagine di controllo. In questo modo, i risultati del test vengono distorti.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo dell'esperimento. Ciò è particolarmente importante all'interno della stessa sessione, ma è consigliato anche tra le sessioni. In questo modo, il rendimento dell'esperimento migliora e puoi ottenere risultati statisticamente significativi del test A/B più rapidamente.