Considerazioni e test aggiuntivi

Per le best practice e i test dell'interfaccia dell'agente di commercio conversazionale, devono essere presi in considerazione ulteriori aspetti.

Implementare le best practice

Tieni presente queste best practice quando implementi l'interfaccia dell'agente di commercio conversazionale:

• Coerenza dell'ID visitatore: contribuisci a garantire che un visitor_id univoco venga inviato in modo coerente con ogni richiesta per un determinato utente finale. Questo è fondamentale per una personalizzazione e un addestramento del modello accurati. Idealmente, questo identificatore dovrebbe rimanere coerente per un utente finale in tutte le sessioni e gli stati di accesso o disconnessione.
• Gestione dei rami: anche se default_branch è comune, assicurati di utilizzare l'ID ramo corretto se il catalogo dei prodotti è strutturato con più rami.
• Interazione con l'API Search: per SIMPLE_PRODUCT_SEARCH e per tutti i casi in cui viene fornito refined_search, ricorda di effettuare una chiamata separata all'API Search principale (SearchService.Search) utilizzando query dal campo refined_search o la query originale per ottenere le schede di prodotto effettive. L'API Conversazionale si concentra principalmente sull'esperienza conversazionale e sulla comprensione dell'intent dell'utente, anziché restituire direttamente i risultati dei prodotti.
• Progetto dell'interfaccia utente: progetta l'interfaccia web in modo da presentare chiaramente le opzioni conversational_text_response, followup_question e refined_search in modo intuitivo per guidare l'utente.

Pianificare i test A/B

Sebbene la pertinenza sia una metrica di input importante, Vertex AI Search for Commerce tiene conto anche di altre variabili con l'obiettivo di ottimizzare i risultati aziendali:

Metriche
Entrate per visita (RPV)	Il fatturato per visita è la metrica più efficace per il rendimento della ricerca, in quanto tiene conto del tasso di conversione, del valore medio dell'ordine e della pertinenza.
Conversione: valore medio dell'ordine (AOV)	La percentuale di conversione e il valore medio dell'ordine contribuiscono entrambi al valore per visita.
Pertinenza, acquistabilità e prezzo	La pertinenza, tra gli altri input, viene utilizzata per produrre risultati di ricerca ad alto rendimento.

Elenco di controllo per l'idoneità al test A/B

Queste sono le metriche di successo utilizzate:

Entrate per visita (RPV)

Tasso di conversione (CVR)

Eventi di aggiunta al carrello

Percentuale di clic

Elemento	Definizione	Fase
Schema di attribuzione degli eventi	Collabora con Google per segmentare correttamente gli eventi utente per la misurazione.	Pre-experiment
Monitoraggio degli input di dati	Possibilità di comprendere rapidamente quando i dati di addestramento contengono anomalie che potrebbero influire sulle prestazioni.	Pre-experiment
Copertura di eventi	Stiamo strumentando tutti i possibili risultati associati alle sessioni di AI per la ricerca o i suggerimenti?	Pre-experiment
Criteri di successo misurabili	Definizione documentata di "fine" (in termini misurabili).	Pre-experiment
Possibilità di misurare i bias dell'esperienza utente	Garantisci un'esperienza utente coerente in tutti i gruppi sperimentali.	Durante l'esperimento
Coerenza tra i dati VAIS e il consumo	Verifica che i token di attribuzione, i filtri, l'ordinamento, l'offset e così via vengano passati dall'API a UserEvents. Gli ID visitatore/utente corrispondono tra le richieste di eventi e API.	Durante l'esperimento
Approvazione della modifica durante l'esperimento	Pianifica le attività di ottimizzazione, documenta le modifiche, regola le misurazioni e l'interpretazione di conseguenza.	Durante l'esperimento

Implementare la proof of concept o il prodotto minimo funzionante

Importazione dati	Progettazione del test A/B	Metriche delle prestazioni	Governance e processo
Importazione di un catalogo dei prodotti aggiornato e completo Aderenza ai metodi di importazione degli eventi consigliati per garantire la sincronizzazione dei dati tra Google e te. Il consiglio di Google è di utilizzare il monitoraggio degli eventi in tempo reale, inclusi i dati sulle impressioni. Trasmetti gli attributi necessari, come ID esperimento, ID visitatore e implementa correttamente i token di ricerca, se applicabile.	Incorpora le best practice per le sperimentazioni per garantire risultati affidabili: Verifica l'integrazione. Prova una sola modifica alla volta. Evita la memorizzazione nella cache aggressiva. Garantisci l'equità dell'interfaccia web tra il test e il gruppo di controllo. Garantisci l'equità del traffico con la suddivisione del traffico utilizzando l'ID visitatore. Garantisci la coerenza dei dati di prodotto. Applica le stesse regole aziendali al test e al gruppo di controllo.	Tutti i criteri di valutazione devono essere empirici, misurati oggettivamente e basati su metriche. L'allineamento sulle definizioni esatte delle metriche monitorate è fondamentale per misurare il rendimento in modo accurato. Le metriche standard monitorate includono: CTR della ricerca (pertinenza dei risultati) Tasso di ricerca nulla (comprensione dell'intento) Entrate per visitatore / Entrate per utente Numero di ricerche da convertire	L'integrazione, il test, l'implementazione delle funzionalità e l'ottimizzazione dei dati saranno un processo iterativo che richiede risorse.

Cadenza dell'esperimento di esempio

Soddisfare le dipendenze del prodotto minimo funzionante	Calibra misurazione	Esegui il deployment della modalità Buio di produzione	Decisione di approvazione/rifiuto
Contratto Modello addestrato e configurazioni di pubblicazione Importazione dati sugli eventi e sui prodotti	Confronta i dati (client) con la telemetria della ricerca di Commerce e apportare le modifiche necessarie Allinearsi alle basi di riferimento per la misurazione	Eseguire la valutazione offline Ottimizza le configurazioni Test A/A per verificare la suddivisione del traffico	Ottenere l'approvazione del QA Impegnarsi ad andare avanti con l'implementazione

Test in corso	Aumenta fino a X% del traffico	Misura, regola e ripeti	Aumenta fino al X% del traffico live
Continua l'ottimizzazione Testare le funzionalità incrementali	Analizzare il rendimento nei segmenti di ricerca Apporta eventuali modifiche alla modellazione/alle regole	Verificare il rendimento Identificare e spiegare le anomalie	Avvia esperimento Condividere le metriche sul rendimento giornaliere Esegui l'ottimizzazione

Componenti di un esperimento riuscito

Calibrare le misurazioni e stabilire i criteri di successo	Mantenere l'equità dell'esperimento	Monitorare la qualità dei dati
Pianifica il tempo necessario per verificare la coerenza del catalogo, degli eventi utente e del consumo di API prima del lancio ufficiale. Stabilisci in anticipo criteri di successo quantificabili (idealmente espressi come una modifica del valore di acquisto). Identifica e spiega in modo proattivo le regressioni o le anomalie, quindi correggile. Condividi spesso le misurazioni, comprendi e documenta le definizioni delle metriche nei vari gruppi sperimentali.	Ridurre al minimo le differenze di UX tra i segmenti (layout e elementi visivi comuni, solo dati diversi). Tieni conto delle regole di merchandising / aziendali (assicurati che non introducano distorsioni).	Misura la deriva del catalogo. Annota correttamente i risultati dell'esperimento (tramite eventi utente).

Ruoli e proprietà degli esperimenti

	Google	Tu
Valutazione della qualità	Risultati della ricerca di Commerce	Impatto sull'esperienza utente
Misure	Backup/convalida	Autorevole
Telemetria/dati	Volumetria della piattaforma (convalida del rendimento) Anomalie di eventi e indici	Token di attribuzione e passaggi per la riproduzione (problemi di convalida)
Piattaforma di ricerca	Elementi a livello di prodotto Mappatura dei dati Modifiche al modello/all'addestramento Anomalie relative alla qualità/alla pubblicazione Quote/limiti della piattaforma Difetti della libreria client/prodotto	Elementi di query/pubblicazione Aumento delle richieste (inclusi routing contestuale, memorizzazione nella cache ed elaborazione dell'intent) Configurazioni di pubblicazione (ottimizzazione) Arricchimento dei dati di origine Rendimento del client (ad esempio, thread WC) Difetti di UX/API/piattaforma/libreria
Go/No-go	Consigliare	Approva

Eseguire esperimenti nella console

1. Vai alla pagina Esperimenti nella console Search for commerce.
   
   Vai alla pagina Esperimenti

2. Utilizza la console per l'analisi self-service avanzata per l'onboarding di Vertex AI Search for Commerce e i test A/B applicando la metodologia di attribuzione di Google:

• Monitora la segmentazione del traffico, le metriche aziendali e il rendimento di ricerca e navigazione.

• Applica le metriche a livello di visita per ricerca sia alla ricerca per parola chiave che alla navigazione.

• Visualizza il rendimento dell'esperimento come serie temporale con metriche di significatività statistica.

• Utilizza la piattaforma Looker incorporata.