Questa pagina descrive come monitorare il traffico degli esperimenti A/B e confrontare le principali metriche aziendali per la ricerca nella console AI Commerce Search in Gemini Enterprise for Customer Experience.
Panoramica
Puoi condurre un esperimento A/B per confrontare le principali metriche aziendali tra l'implementazione della ricerca esistente e AI Commerce Search.
Dopo aver configurato l'esperimento e la suddivisione del traffico, puoi monitorare il traffico dell'esperimento e visualizzare le metriche aziendali utilizzando la pagina Esperimento nella console AI Commerce Search in Gemini Enterprise for Customer Experience.
Per configurare il monitoraggio dell'esperimento A/B nella console, inserisci informazioni sul test A/B, ad esempio nome, intervallo di tempo e informazioni sul gruppo sperimentale. Ogni gruppo sperimentale della variante dell'esperimento corrisponde a un gruppo sperimentale che hai creato per l'esperimento A/B, in cui il primo gruppo che hai configurato nella console viene trattato come controllo di base.
Ogni esperimento ha una scheda Monitoraggio che mostra le metriche di suddivisione del traffico che possono aiutarti a determinare se il test A/B è configurato correttamente. Questo è importante per verificare se è stato introdotto un bias nel test A/B. Ad esempio, un problema tipico da tenere d'occhio è se alcune query o categorie vengono pubblicate da un gruppo sperimentale, ma non da altri.
Ogni esperimento ha anche una scheda Analytics in cui puoi visualizzare i confronti tra le metriche chiave dell'attività. Sono incluse due categorie di metriche aziendali:
- Metriche per ricerca o per navigazione, ad esempio clic per ricerca.
- Metriche per visita di ricerca o di navigazione, ad esempio entrate per visita di navigazione.
Per un elenco completo delle metriche, consulta Elenco delle metriche.
Ogni metrica aziendale fornisce valori non elaborati, lift relativo rispetto al controllo di base e un intervallo di affidabilità del 95%. Puoi visualizzare sia le metriche aggregate sia le metriche per data.
La scheda Monitoraggio del traffico mostra se si sono verificate suddivisioni del traffico non previste e le date in cui si sono verificate. Una suddivisione del traffico non prevista viene determinata confrontando la percentuale di suddivisione del traffico effettiva con la percentuale di suddivisione prevista che hai inserito durante la configurazione del monitoraggio. La suddivisione del traffico è considerata corretta se la differenza relativa è uguale o inferiore al 10%. Ad esempio, se il traffico deve essere suddiviso equamente tra due gruppi, una suddivisione effettiva del 45% e del 55% rientra nell'intervallo previsto.
Puoi utilizzare la console per monitorare più esperimenti contemporaneamente.
La data e le metriche dell'esperimento suddivise per data utilizzano America/Los_Angeles come fuso orario e le ore 00:00 del fuso orario America/Los_Angeles per le date di inizio e di fine.
Puoi aggiornare i dettagli dell'esperimento nella console, ad esempio le date di inizio e di fine, il numero di gruppi di varianti, gli ID esperimento e la percentuale di suddivisione del traffico prevista in qualsiasi momento, indipendentemente dal fatto che l'esperimento sia in corso, terminato o in attesa. I dati vengono aggiornati retroattivamente.
Il monitoraggio e l'analisi degli esperimenti A/B presentano i seguenti requisiti/limitazioni:
L'intervallo di tempo massimo dei dati dell'esperimento che puoi monitorare è di 180 giorni. Se un esperimento è iniziato più di 180 giorni fa, le metriche precedenti non vengono acquisite.
Il monitoraggio del traffico per query o per categoria restituisce solo le prime 100 query o categorie che ricevono il maggior traffico di tutti i gruppi di varianti nell'esperimento.
Prima di iniziare
Prima di configurare il monitoraggio nella console AI Commerce Search in Gemini Enterprise for Customer Experience per un test A/B:
Configura l'importazione degli eventi utente per gli eventi pubblicati dalla tua implementazione di ricerca esistente e da AI Commerce Search.
Consulta le best practice per gli esperimenti A/B.
Configura l'esperimento utilizzando una piattaforma di sperimentazione di terze parti come Google Optimize o Optimizely.
Configura e annota l'evento utente
experimentIdsper ogni gruppo dell'esperimento. Quando configuri il monitoraggio dell'esperimento, devi specificare gli ID esperimento per ogni gruppo di varianti.
Aggiungere un esperimento nella console
Utilizza le seguenti procedure per aggiungere un nuovo esperimento da monitorare nella console AI Commerce Search in Gemini Enterprise for Customer Experience:
In questa procedura, crei bracci delle varianti nella console AI Commerce Search in Gemini Enterprise for Customer Experience che corrispondono ai gruppi di esperimenti esistenti creati nella piattaforma di esperimenti di terze parti. Per esempi di come i gruppi di varianti possono essere mappati ai gruppi sperimentali esistenti, consulta Esempi di configurazioni di esperimenti.
Aggiungere i dettagli dell'esperimento
Aggiungi un esperimento nella console e inseriscine i dettagli.
Vai alla pagina Esperimenti nella console AI Commerce Search in Gemini Enterprise for Customer Experience.
Vai alla pagina EsperimentiFai clic su Aggiungi esperimento.
Viene visualizzata la pagina Nuovo esperimento.
Inserisci un nome per l'esperimento.
Seleziona le date di inizio e di fine dell'esperimento.
Se il traffico dell'esperimento è impostato in modo da aumentare gradualmente, imposta la data di inizio a una data in cui l'aumento è completato e la suddivisione del traffico è stabilizzata.
Seleziona il tipo di attività monitorata da questo esperimento:
Sfoglia: navigazione sul tuo sito per categoria di pagina. L'attività di navigazione è indicata da una query vuota nella risposta di ricerca.
Ricerca: ricerche di query di testo sul tuo sito.
Poi, crea i gruppi di varianti per l'esperimento.
Aggiungere varianti
Dopo aver aggiunto i dettagli dell'esperimento nella console, crea gruppi di varianti che corrispondono a ogni gruppo sperimentale.
Il primo gruppo di varianti che configuri è la variante di base. Il valore di base in genere rappresenta la tua soluzione esistente.
Prima di iniziare, assicurati di avere l'evento utente experimentIds per ogni
gruppo di esperimenti.
Fai clic su Aggiungi gruppo di varianti.
Si apre il riquadro Crea gruppo di varianti.
Inserisci l'
experimentIddell'evento utente associato alla configurazione dell'esperimento che questo gruppo di varianti monitorerà:Se stai configurando il primo gruppo della variante:inserisci l'evento utente
experimentIdassociato al gruppo di base che fungerà da riferimento.Se hai già configurato il braccio della variante di base: inserisci l'evento utente
experimentIdassociato al gruppo di esperimenti successivo.
Inserisci un nome leggibile per questo gruppo di varianti.
Questo nome viene visualizzato nelle dashboard di monitoraggio nella console.
(Facoltativo) Fornisci una descrizione di questo gruppo di varianti.
Seleziona una destinazione di traffico per la pubblicazione:
API Google AI Commerce Search: se questo braccio della variante monitora il traffico per i risultati di AI Commerce Search.
Esterno: se questo braccio della variante monitora il traffico per i risultati di un servizio esterno. Ad esempio, il gruppo della variante di base (o di controllo) rappresenta probabilmente una destinazione esterna se l'esperimento confronta il traffico di un servizio esistente con il traffico dalla rete di ricerca di AI Commerce.
Fai clic su Crea per completare la creazione di questo braccio della variante.
Il gruppo di varianti viene visualizzato nella pagina Nuovo esperimento.
Ripeti i passaggi precedenti per creare bracci delle varianti associati a ogni gruppo di esperimenti che prevedi di monitorare.
Devi avere almeno un braccio Esterno e un braccio Google Vertex AI Search per l'API Retail.
(Facoltativo) Per impostazione predefinita, la percentuale di traffico prevista viene suddivisa equamente tra tutti i gruppi di varianti. Per personalizzare le percentuali di traffico previste:
Nella sezione Aggiungi varianti, fai clic su un valore percentuale di traffico nella colonna %di traffico.
Si apre il riquadro Percentuale di traffico.
Nel campo Distribuzione ponderazione, seleziona Percentuali personalizzate.
Nella colonna %di traffico per ogni gruppo di varianti, inserisci la percentuale di traffico prevista.
La percentuale totale di traffico in tutti i gruppi di varianti deve essere pari al 100%.
Fai clic su Fine.
Il riquadro Percentuale di traffico si chiude.
Fai clic su Crea nella pagina Nuovo esperimento per completare la creazione dell'esperimento.
L'esperimento viene visualizzato nella pagina Esperimenti di onboarding.
Esempi di configurazioni di esperimenti
Questa sezione presenta due esempi di configurazioni di esperimenti.
L'esempio 1 mostra un gruppo di controllo di base e un gruppo sperimentale di ricerca AI Commerce.
L'esempio 2 mostra il confronto tra un gruppo di controllo di base e due gruppi sperimentali di ricerca AI Commerce.
Esempio 1: due gruppi di varianti
In questo esempio, supponiamo che tu voglia configurare un esperimento A/B con:
- 20% delle richieste di ricerca inviate ai motori di ricerca interni come gruppo di controllo di base
- Il 20% delle richieste di ricerca inviate all'API Google AI Commerce Search come gruppo sperimentale
- 60% come gruppo di holdout che non fa parte del test A/B
La configurazione degli eventi di richiesta e utente sarebbe:
| Tipo di traffico | Discovery Engine | event.experimentIds |
event.attributionToken |
% traffico |
|---|---|---|---|---|
| Controllare il traffico | Interno | CONTROL |
N/D | 20% |
| Traffico per gli esperimenti | API Google AI Commerce Search | EXPERIMENT |
Token di attribuzione dalla risposta della ricerca | 20% |
| Traffico di holdout | Uno dei due / entrambi | N/D | Dipende dal motore di scoperta | 60% |
Il traffico di holdout potrebbe essere pubblicato da un motore di ricerca interno,
dalla ricerca AI Commerce o da entrambi. Poiché non fanno parte del test A/B,
non hanno un ID esperimento. Per indicare quali eventi utente fanno parte del test A/B, assicurati di fornire le informazioni experimentIds e attributionToken. Le tue stringhe experimentId potrebbero essere diverse da quelle fornite in
questo esempio. Assicurati che gli ID che utilizzi siano coerenti tra gli esperimenti e gli eventi utente.
Quando crei l'esperimento corrispondente nella console, devi creare solo due gruppi di varianti, perché il gruppo di controllo non fa parte dell'esperimento. La percentuale di traffico prevista tra i due gruppi di varianti è 50% / 50%.
Per configurare il monitoraggio per questo esperimento di esempio, devi creare i gruppi sperimentali corrispondenti nella console per ogni gruppo sperimentale. La seguente tabella mostra le informazioni che inseriresti nella console durante la configurazione del braccio della variante per questo esempio.
| Nome del gruppo di varianti | Destinazione traffico | ID esperimento evento utente | Percentuale di traffico previsto |
|---|---|---|---|
| Gruppo di controllo di esempio | Esterno | CONTROL | 50% |
| Gruppo sperimentale di esempio | API Google AI Commerce Search | ESPERIMENTO | 50% |
Esempio 2: tre gruppi di varianti
In questo esempio, supponiamo che tu voglia condurre un test A/B sulle query principali (query ad alta frequenza) e includere l'attivazione e la disattivazione delle sfaccettature dinamiche. Le configurazioni delle richieste e degli eventi utente sarebbero:
| Nome del gruppo di varianti | Destinazione traffico | event.experimentIds | event.attributionToken | % traffico |
|---|---|---|---|---|
| Controllo delle query di intestazione | Interno | CONTROL | N/D | 50% delle query head |
| Attiva i facet dinamici delle query principali nell'esperimento | API Google AI Commerce Search | EXP_DF_ON | Token di attribuzione dalla risposta della ricerca | 25% delle query generiche |
| Esperimento Disattiva facet dinamici per le query principali | API Google AI Commerce Search | EXP_DF_OFF | Token di attribuzione dalla risposta della ricerca | 25% delle query generiche |
| Query non di primo livello e altri holdout | API Google AI Commerce Search | N/D | Dipende dal motore utilizzato | N/D |
Per configurare il monitoraggio per questo esperimento di esempio, devi creare i gruppi sperimentali corrispondenti nella console per ogni gruppo sperimentale. La seguente tabella mostra le informazioni che inseriresti nella console durante la configurazione del braccio della variante per questo esempio.
| Nome del gruppo di varianti | Destinazione traffico | ID esperimento evento utente | Percentuale di traffico previsto |
|---|---|---|---|
| Gruppo di controllo di esempio | Esterno | CONTROL | 50% |
| Esempio di gruppo sperimentale 1 | API Google AI Commerce Search | EXP_DF_ON | 25% |
| Esempio di gruppo sperimentale 2 | API Google AI Commerce Search | EXP_DF_OFF | 25% |
Metriche sul traffico
La pagina Monitoraggio di un esperimento mostra se sono presenti suddivisioni del traffico non intenzionali per le seguenti metriche:
- Conteggio eventi di ricerca/navigazione per data
- Ricerca/Navigazione del conteggio visitatori per data
- Conteggio eventi di ricerca/navigazione per categoria
Quando si verificano divisioni del traffico non intenzionali per una di queste metriche, la relativa scheda nella parte superiore della pagina Monitoring mostra le date in cui si è verificata la divisione del traffico non intenzionale. Fai clic su Suddivisioni del traffico non previste per visualizzare una tabella filtrabile che elenca le suddivisioni del traffico non previste per quella metrica.
Le seguenti tabelle nella pagina Monitoraggio di un esperimento confrontano le metriche del traffico tra i gruppi di varianti in base all'utilizzo. Fai clic su Visualizza altro accanto al titolo di una tabella per visualizzare una tabella filtrabile che elenca tutte le suddivisioni del traffico per quella metrica:
Conteggio eventi di ricerca/navigazione per data: il numero totale di ricerche o navigazioni che si sono verificate in un braccio della variante in una determinata data.
Conteggio visitatori con ricerche/navigazione per data: il numero di visitatori che hanno eseguito query o navigato in un braccio della variante in una determinata data.
Conteggio eventi di ricerca/navigazione per categoria: il numero totale di volte in cui una determinata query o categoria è stata cercata in un braccio della variante dalla data di inizio dell'esperimento alla data di fine (o alla data odierna, se l'esperimento è in corso). Questa tabella mostra solo le prime 100 query o categorie in termini di traffico totale di tutti i gruppi di varianti dell'esperimento.
Monitorare un esperimento
La pagina Esperimenti di onboarding mostra una tabella con gli esperimenti recenti.
Per monitorare un esperimento:
Vai alla pagina Esperimenti nella console AI Commerce Search in Gemini Enterprise for Customer Experience.
Vai alla pagina EsperimentiFai clic sul nome dell'esperimento.
Si apre la pagina Monitoraggio per l'esperimento.
Esamina la pagina per verificare la presenza di suddivisioni del traffico non previste.
Ogni metrica mostra le date in cui si sono verificate suddivisioni del traffico non previste.
Se vedi suddivisioni non previste, fai clic su Suddivisioni del traffico non previste per visualizzare una tabella filtrabile che elenca le suddivisioni del traffico non previste per quella metrica.
Risolvere le suddivisioni del traffico non previste
Il monitoraggio degli esperimenti dalla console AI Commerce Search in Gemini Enterprise for Customer Experience può aiutarti a rilevare potenziali problemi nell'esperimento.
Se riscontri suddivisioni del traffico non intenzionali, assicurati che gli eventi siano taggati con l'ID esperimento corretto. Ad esempio, un evento appartenente a un gruppo di controllo taggato con l'ID esperimento errato può essere attribuito al gruppo di varianti errato.
Se il tagging degli eventi funziona correttamente, le suddivisioni del traffico non intenzionali segnalate dalla console AI Commerce Search in Gemini Enterprise for Customer Experience possono indicare problemi di suddivisione del traffico nella piattaforma di sperimentazione. In questo caso, metti in pausa il test A/B prima di risolvere il problema, in modo che l'esperimento non produca risultati errati.
Metriche aziendali per Analytics
Sono disponibili due gruppi di metriche aziendali:
- Metriche per ricerca o per navigazione
- Visita per ricerca o visita per navigazione
Metriche per visita di ricerca
Le definizioni delle metriche per visita di ricerca sono elencate qui. Le definizioni delle metriche per visita di navigazione sono simili a quelle delle metriche per visita di ricerca, con tutte le istanze di ricerca sostituite con navigazione.
Nel tasso di ordini di acquisto, un ordine di acquisto può includere più SKU. Ogni SKU può avere una quantità maggiore o uguale a uno.
-->| Nome metrica | Definizione |
|---|---|
| Conteggio visite di ricerca | Conteggio delle visite che contengono almeno una ricerca. |
| Frequenza di rimbalzo | Conteggio delle visite di ricerca che hanno un solo evento utente / conteggio delle visite di ricerca |
| Tasso di visualizzazione di pagina | Conteggio dei clic (visualizzazioni di pagina) / conteggio delle visite di ricerca |
| Tasso di aggiunta al carrello | Conteggio delle unità di aggiunta al carrello nelle visite dalla ricerca / conteggio delle visite dalla ricerca |
| Tasso di ordini di acquisto | Conteggio degli ordini di acquisto nelle visite di ricerca / conteggio delle visite di ricerca |
| Tasso di entrate | Somma delle entrate nelle visite dalla ricerca / conteggio delle visite dalla ricerca |
| Valore medio dell'ordine (AOV) | Somma delle entrate nelle visite dalla rete di ricerca / conteggio degli ordini di acquisto nelle visite dalla rete di ricerca |
Metriche per ricerca
Le definizioni delle metriche per ricerca sono elencate qui. Le definizioni delle metriche per navigazione sono simili a quelle delle metriche per ricerca, con tutte le istanze di ricerca sostituite da navigazione.
| Nome metrica | Definizione |
|---|---|
| Numero di ricerche | Conteggio degli eventi di ricerca |
| Tasso di nessun risultato | Conteggio degli eventi di ricerca senza risultati / conteggio delle ricerche |
| Percentuale di clic (CTR) | Conteggio dei clic (visualizzazioni di pagina) basati sulla ricerca/conteggio delle ricerche |
| Tasso di aggiunta al carrello | Conteggio delle unità Aggiungi al carrello basate sulla ricerca / conteggio delle ricerche |
| Tasso di acquisto | Conteggio delle unità di acquisto basate sulla ricerca / conteggio delle ricerche |
| Tasso di entrate | Somma delle entrate generate dalla ricerca / conteggio delle ricerche |
| Valore unitario medio (AUV) | Somma delle entrate generate dalla ricerca / conteggio delle unità di acquisto generate dalla ricerca |
Analizzare il rendimento dell'attività dell'esperimento
La scheda Analytics di ogni esperimento mostra i dashboard delle metriche aziendali. Le dashboard mostrano i confronti del rendimento tra i vari gruppi di varianti.
Esistono due dashboard di metriche:
- Metriche per visita per ricerca e per visita per navigazione
- Metriche per ricerca e per navigazione
Vengono mostrate le metriche di ricerca o di navigazione in base all'attributo ProductType dell'esperimento.
Ogni dashboard mostra una tabella delle metriche di riepilogo che mostra i risultati delle metriche aggregati in base alle date mostrate nel filtro dell'intervallo di date. I valori predefiniti delle date sono le date di inizio e di fine dell'esperimento.
Ogni metrica viene visualizzata come tabella dei risultati aggregati e come grafico dei valori giornalieri che fornisce informazioni più dettagliate.
L'intervallo di date della tabella aggregata utilizza le date di inizio e di fine dell'esperimento come
valori di data predefiniti. Se l'esperimento è in corso, la data di fine è impostata sulla data corrente. Puoi modificare il filtro dell'intervallo di date. Se userAgent viene
fornito con eventi utente importati, puoi anche segmentare le metriche in base al tipo di dispositivo.
Fai clic sull'icona Aggiorna per applicare i filtri modificati alle metriche.
Quando il lift relativo delle metriche è sufficientemente positivo da superare l'ampiezza dell'intervallo di affidabilità, per quella variante viene visualizzato un colore di sfondo verde. Allo stesso modo, se il lift relativo è sufficientemente negativo, per quella variante viene visualizzato un colore di sfondo rosso. Se il lift relativo è inferiore all'ampiezza dell'intervallo di affidabilità, un colore di sfondo grigio indica che il risultato non ha significatività statistica.
Ad esempio, quando si confronta un gruppo di varianti con un gruppo di controllo di base:
- Se una metrica Percentuale di clic per ricerca è pari a +3,0% e l'intervallo di affidabilità, visualizzato come IC impatto, è [2,1%, 4,0%], il gruppo della variante è evidenziato in verde per indicare che è una variante con un rendimento migliore per questa metrica rispetto al gruppo di controllo di base.
- Se una metrica Tasso di entrate per visita di navigazione è pari a -1,5% e l'intervallo di affidabilità è [-2,6%, -0,4%], il gruppo della variante è evidenziato in rosso per indicare che ha un rendimento peggiore in questa metrica rispetto al gruppo di controllo di base.
- Se una metrica Valore medio unità per ricerca è +1,0% e l'intervallo di affidabilità è [-1,1%, 3,0%], il gruppo della variante è evidenziato in grigio per indicare che la differenza di rendimento non ha ancora significatività statistica.
In generale, più punti dati ci sono, minore è la varianza. Le metriche accumulate in alcune settimane avranno una larghezza di banda dell'intervallo di affidabilità inferiore rispetto alle metriche giornaliere e hanno maggiori probabilità di mostrare una significatività statistica.
Modificare i dettagli dell'esperimento
Puoi aggiornare i dettagli dell'esperimento nella console, ad esempio data di inizio e di fine, numero di gruppi di varianti, ID esperimento e percentuale di suddivisione del traffico prevista in qualsiasi momento, indipendentemente dal fatto che l'esperimento sia in corso, terminato o in attesa. I dati vengono aggiornati retroattivamente.
Per modificare i dettagli dell'esperimento:
Vai alla pagina Esperimenti nella console AI Commerce Search in Gemini Enterprise for Customer Experience.
Vai alla pagina EsperimentiNella tabella che mostra gli esperimenti recenti, trova l'esperimento che intendi modificare.
Fai clic sull'icona con tre puntini Azioni a destra della riga della tabella e poi su Modifica.
Viene visualizzata la pagina Modifica esperimento.
Modifica i campi dell'esperimento che intendi aggiornare.
Fai clic su Update (Aggiorna) per salvare le modifiche.
Eliminare un esperimento dalla console
Per eliminare un esperimento dalla console AI Commerce Search in Gemini Enterprise for Customer Experience:
Vai alla pagina Esperimenti nella console AI Commerce Search in Gemini Enterprise for Customer Experience.
Vai alla pagina EsperimentiNella tabella che mostra gli esperimenti recenti, individua l'esperimento che intendi eliminare.
Fai clic sull'icona con tre puntini Azioni a destra della riga della tabella e poi su Elimina.
Si apre la finestra di conferma Eliminare l'esperimento?.
Digita il nome dell'esperimento e fai clic su Conferma per confermare l'eliminazione.
Al termine dell'eliminazione, nella console viene visualizzato un messaggio che indica che l'esperimento è stato eliminato correttamente.