Questa pagina descrive come utilizzare gli esperimenti A/B per comprendere l'impatto di Vertex AI Search for commerce sulla tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. Il gruppo sperimentale riceve un trattamento diverso (in questo caso, previsioni o risultati di ricerca di Vertex AI Search for Commerce); il gruppo di controllo no.
Quando esegui un test A/B, includi le informazioni sul gruppo a cui apparteneva un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire metriche.
Entrambe le versioni dell'applicazione devono essere identiche, tranne per il fatto che gli utenti del gruppo sperimentale vedono i risultati generati da Vertex AI Search for commerce, mentre il gruppo di controllo no. Registri gli eventi utente per entrambi i gruppi.
Per saperne di più sulla suddivisione del traffico, consulta Suddivisione del traffico nella documentazione di App Engine.
Piattaforme di esperimenti
Configura l'esperimento utilizzando una piattaforma di test di terze parti come
VWO, AB Tasty. Il gruppo di controllo e il gruppo sperimentale
ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica il gruppo a cui appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Fornire l'ID esperimento ti consente di confrontare le metriche per le versioni della tua applicazione visualizzate dai gruppi di controllo e sperimentali.
Best practice per gli esperimenti A/B
L'obiettivo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento del tuo sito (in questo caso, l'utilizzo di Vertex AI Search for Commerce). Per ottenere una misurazione precisa dell'impatto, devi progettare e implementare correttamente l'esperimento, in modo che non si verifichino altre differenze che potrebbero influire sui risultati.
Mappatura consigliata dell'ID esperimento
Gli ID esperimento vengono utilizzati per i test A/B, in cui puoi confrontare Vertex AI Search for Commerce con una soluzione di ricerca esistente. Possono anche essere utilizzati per eseguire esperimenti con un sito Vertex AI Search for Commerce completamente adottato in cui è necessario testare una nuova configurazione, un nuovo controllo o una nuova specifica di boost, per fare alcuni esempi, rispetto a un gruppo di controllo.
Il campo ID esperimento negli eventi utente è un array, il che consente una misurazione più granulare.
Considera i seguenti casi d'uso:
- Il rendimento di Vertex AI Search for commerce deve essere confrontato con un gruppo di controllo.
- Il rendimento complessivo deve essere misurato.
- È necessario misurare il rendimento solo per il mobile.
- È necessario misurare il rendimento solo su computer.
- Anche il rendimento della ricerca e dei suggerimenti deve essere misurato separatamente.
Per ottenere misurazioni così granulari e suddivise, potresti aver bisogno di un totale di 10 ID esperimento, di cui quattro devono essere inviati nell'array ID esperimento eventi per ogni evento.
| ID esperimento per il gruppo di controllo degli eventi | ID esperimento per il gruppo di eventi di test (cerca commercio) | Ambito degli eventi utente |
|---|---|---|
| Controllo | Vertex AI Search for commerce | Tutti gli eventi |
Control_mobile |
Google_mobile |
Tutti gli eventi mobile |
Control_desktop |
Google_desktop |
Tutti gli eventi desktop |
Control_search |
Google_search |
Tutti gli eventi di ricerca e correlati |
Control_recommendations |
Google_recommendations |
Tutte le raccomandazioni e gli eventi correlati |
Per misurare il rendimento complessivo, confronta le metriche derivate dagli eventi con gli ID esperimento Controllo e Vertex AI Search for commerce. Per misurare il rendimento della ricerca mobile, confronta le metriche derivate dagli eventi con gli ID esperimento Control_mobile + Control_search rispetto a Google_mobile + Google_search.
Gerarchia delle categorie
Assicurati che gli stessi prodotti abbiano la stessa gerarchia di categorie tra il gruppo di controllo e il gruppo di test. Ad esempio, nel sito di controllo, un prodotto t-shirt ha la gerarchia di categorie clothing > mens > tops > tee-shirts, mentre lo stesso prodotto si trova in una gerarchia di categorie diversa nel lato di test, ovvero mens > popular > tops. Questa configurazione genera risultati di ricerca e sfaccettature delle categorie diversi tra i siti di controllo e di test. Questo problema ha un effetto sull'esperienza del browser, poiché page_category è l'input della chiamata di navigazione, insieme ai filtri.
Parità dell'esperienza utente prima del test A/B
Quando prepari il sito per il test A/B, prima di pubblicare il traffico di ricerca o di suggerimenti degli utenti reali su Vertex AI Search for Commerce con il mapping corretto dell'ID esperimento, è importante notare la parità di interfaccia utente ed esperienza tra il sito di e-commerce, con il backend di ricerca legacy utilizzato come controllo, e il sito con il backend di Vertex AI Search for Commerce.
Data una query di ricerca, tra le pagine dei risultati di ricerca per il backend di ricerca di controllo e il backend di Vertex AI Search for commerce, alcuni elementi da testare includono:
Viene visualizzato lo stesso numero di sfaccettature? In caso contrario, rivedi le specifiche delle sfaccettature e le impostazioni degli attributi in Vertex AI Search for Commerce . Questo è importante perché le sfaccettature aiutano gli utenti a filtrare e navigare fino al prodotto preferito dai risultati di ricerca iniziali. Facet migliori e più significativi consentono agli utenti di trovare più rapidamente il prodotto preferito. In caso contrario, si traduce in un maggior numero di clic e scorrimenti, il che potrebbe ostacolare l'esperienza di ricerca e influire in definitiva sui tassi di conversione e clickthrough. Questo potrebbe anche comportare l'abbandono della ricerca. Pertanto, la presenza di sfaccettature simili tra i siti di controllo e di test significa che non c'è alcun vantaggio sleale per gli utenti quando cercano prodotti tra un sito e l'altro.
Il posizionamento dei prodotti degli sponsor nei risultati di ricerca è spesso una funzionalità comune a molti siti di e-commerce e per lo più i prodotti degli sponsor non fanno parte dei risultati di ricerca organica. È necessario prestare attenzione per assicurarsi che il posizionamento e i prodotti mostrati nella pagina dei risultati di ricerca tra il sito di controllo e il sito di test siano quasi uguali, se non identici. In caso contrario, si verifica l'aggiunta di rumore alla misurazione delle metriche di rendimento delle entrate e, a seconda dell'unicità dei prodotti sponsorizzati tra i siti di controllo e di test, il rumore potrebbe essere più elevato.
Altri aspetti vari dell'interfaccia utente da considerare:
- Le informazioni su prezzo e sconto sono le stesse nei siti di controllo e di test?
- Il completamento automatico suggerisce gli stessi completamenti per la query di ricerca?
- I valori dei facet sono nello stesso ordine?
- I prodotti sono elencati utilizzando lo stesso stile, ad esempio in un elenco o una griglia?
Suggerimenti e considerazioni finali
Per progettare un esperimento A/B significativo, tieni presenti questi suggerimenti:
Prima di configurare l'esperimento A/B, utilizza l'anteprima della previsione o della ricerca per assicurarti che il modello si comporti come previsto.
Assicurati che il comportamento del tuo sito sia identico per il gruppo sperimentale e il gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato del testo, layout della pagina, qualità dell'immagine e dimensioni dell'immagine. Non devono esserci differenze evidenti per nessuno di questi attributi tra l'esperienza del gruppo di controllo e del gruppo sperimentale.
Accetta e visualizza i risultati così come vengono restituiti da Vertex AI Search for commerce e visualizzali nello stesso ordine in cui vengono restituiti.
È accettabile filtrare gli articoli non disponibili. Tuttavia, devi evitare di filtrare o ordinare i risultati in base alle regole della tua attività.
Se utilizzi gli eventi utente di ricerca e includi il token di attribuzione richiesto, assicurati che siano configurati correttamente. Consulta la documentazione relativa ai token di attribuzione.
Assicurati che la configurazione di pubblicazione che fornisci quando richiedi suggerimenti o risultati di ricerca corrisponda alla tua intenzione per quel suggerimento o risultato di ricerca e alla posizione in cui visualizzi i risultati.
Quando utilizzi i suggerimenti, la configurazione di pubblicazione influisce sulla modalità di addestramento dei modelli e, di conseguenza, sui prodotti consigliati. Scopri di più.
Se stai confrontando una soluzione esistente con Vertex AI Search for Commerce, mantieni l'esperienza del gruppo di controllo rigorosamente separata dall'esperienza del gruppo sperimentale.
Se la soluzione di controllo non fornisce un consiglio o un risultato di ricerca, non fornirne uno da Vertex AI Search for Commerce nelle pagine di controllo. In questo modo, i risultati del test vengono distorti.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo dell'esperimento. Ciò è particolarmente importante all'interno della stessa sessione, ma è consigliato anche per le sessioni successive. In questo modo, il rendimento dell'esperimento migliora e puoi ottenere risultati statisticamente significativi del test A/B più rapidamente.