Zusätzliche Überlegungen und Tests

Für Best Practices und Tests der Benutzeroberfläche Ihres Conversational-Commerce-Agents sind zusätzliche Aspekte zu berücksichtigen.

Best Practices implementieren

Berücksichtigen Sie die folgenden Best Practices, wenn Sie die Benutzeroberfläche Ihres Conversational Commerce-Agents implementieren:

• Konsistenz der Besucher-ID: Sorgen Sie dafür, dass für einen bestimmten Endnutzer bei jeder Anfrage eine eindeutige visitor_id gesendet wird. Das ist für eine genaue Personalisierung und ein genaues Modelltraining unerlässlich. Diese Kennung sollte idealerweise für einen Endnutzer über Sitzungen und An- oder Abmeldestatus hinweg gleich bleiben.
• Filialverwaltung: Obwohl default_branch üblich ist, sollten Sie die richtige Filial-ID verwenden, wenn Ihr Produktkatalog mehrere Filialen umfasst.
• Search API-Interaktion: Denken Sie bei SIMPLE_PRODUCT_SEARCH und allen Fällen, in denen refined_search angegeben ist, daran, einen separaten Aufruf der Core Search API (SearchService.Search) mit dem query aus dem Feld refined_search oder der ursprünglichen Anfrage zu senden, um die tatsächlichen Produkteinträge zu erhalten. Bei der Conversational API geht es in erster Linie um die Konversationsfunktion und das Verständnis der Nutzerabsicht, nicht darum, direkt Produktergebnisse zurückzugeben.
• Design der Benutzeroberfläche: Gestalten Sie Ihre Weboberfläche so, dass die Optionen conversational_text_response, followup_question und refined_search intuitiv präsentiert werden, um den Nutzer zu leiten.

A/B-Tests planen

Relevanz ist zwar ein wichtiger Eingabemesswert, aber Vertex AI Search for Commerce berücksichtigt auch andere Variablen, um Geschäftsziele zu optimieren:

Messwerte
Umsatz pro Besuch (Revenue-per-Visit, RPV)	Der Umsatz pro Besuch ist der effektivste Messwert für die Suchleistung, da er Conversion-Rate, durchschnittlichen Bestellwert und Relevanz berücksichtigt.
Conversion – Durchschnittlicher Bestellwert	Sowohl der Conversion-Prozentsatz als auch der durchschnittliche Bestellwert tragen zum Umsatz pro Besuch bei.
Relevanz – Kaufbereitschaft – Preis	Die Relevanz wird unter anderem verwendet, um leistungsstarke Suchergebnisse zu erzielen.

Checkliste zur A/B-Bereitschaft

Folgende Erfolgsmesswerte werden verwendet:

Umsatz pro Besuch (Revenue per Visit, RPV)

Conversion-Rate (CVR)

„In den Einkaufswagen“-Ereignisse

Klickrate

Element	Definition	Phase
Schema für die Ereignisattribution	Arbeiten Sie mit Google zusammen, um die Nutzerereignisse für die Analyse richtig zu segmentieren.	Vor dem Test
Monitoring-Dateneingaben	Sie können schnell erkennen, wenn Trainingsdaten Anomalien enthalten, die sich auf die Leistung auswirken könnten.	Vor dem Test
Berichterstattung über Veranstaltungen	Werden alle möglichen Ergebnisse erfasst, die mit KI-Sitzungen für die Suche oder Empfehlungen verknüpft sind?	Vor dem Test
Messbare Erfolgskriterien	Dokumentierte Definition von „abgeschlossen“ (in messbaren Begriffen).	Vor dem Test
Möglichkeit, UX-Voreingenommenheiten zu messen	Für eine einheitliche Nutzererfahrung in allen Testgruppen sorgen	Während des Tests
Kohärenz zwischen VAIS-Daten und ‑Nutzung	Prüfen Sie, ob Attributions-Tokens, Filter, „order by“, „offset“ usw. von der API an UserEvents übergeben werden. Die Besucher-/Nutzer-IDs stimmen zwischen Ereignis- und API-Anfragen überein.	Während des Tests
Genehmigung für Anpassungen während des Tests	Planen Sie Optimierungsmaßnahmen, dokumentieren Sie Änderungen und passen Sie Messungen und Interpretationen entsprechend an.	Während des Tests

Proof of Concept oder Minimum Viable Product implementieren

Datenaufnahme	A/B-Test – Design	Leistungsmesswerte	Governance und Prozess
Aktuelle und vollständige Aufnahme des Produktkatalogs Einhaltung der empfohlenen Methoden für die Erfassung von Ereignissen, um die Datensynchronisierung zwischen Google und Ihnen zu gewährleisten. Google empfiehlt das Echtzeit-Ereignis-Tracking, einschließlich Impressionen. Geben Sie erforderliche Attribute wie Test-IDs und Besucher-IDs weiter und implementieren Sie Such-Tokens gegebenenfalls korrekt.	Berücksichtigen Sie Best Practices für Tests, um zuverlässige Ergebnisse zu erhalten: Integration prüfen Testen Sie jeweils nur eine Änderung. Vermeiden Sie aggressives Caching. Achten Sie darauf, dass die Weboberfläche für Test- und Kontrollgruppe gleich ist. Mit der Trafficaufteilung anhand der Besucher-ID für fairen Traffic sorgen Für Konsistenz der Produktdaten sorgen Dieselben Geschäftsregeln für Test- und Kontrollgruppen anwenden.	Alle Bewertungskriterien sollten empirisch, objektiv gemessen und messwertbasiert sein. Um die Leistung genau zu messen, ist es wichtig, dass die Definitionen der erfassten Messwerte übereinstimmen. Zu den standardmäßig erfassten Messwerten gehören: CTR für Suche (Relevanz der Ergebnisse) Null-Suchrate (Absichtserkennung) Umsatz pro Besucher / Umsatz pro Nutzer Anzahl der zu konvertierenden Suchanfragen	Datenintegration, Tests, Einführung von Funktionen und Optimierung sind iterative Prozesse, die Ressourcen erfordern.

Beispiel für die Häufigkeit von Tests

Abhängigkeiten für das Minimum Viable Product erfüllen	Analyse kalibrieren	Dunklen Modus in der Produktionsumgebung bereitstellen	Go/No-Go-Entscheidung
Vertrag Trainiertes Modell und Bereitstellungskonfigurationen Aufnahme von Produkt- und Ereignisdaten	(Client-)Daten mit Commerce-Suchtelemetrie vergleichen und entsprechend anpassen Messwertreferenzen abstimmen	Offlinebewertung durchführen Konfigurationen abstimmen A/A-Test zur Überprüfung der Trafficaufteilung	QA-Genehmigung einholen Verpflichtung, mit der Steigerung fortzufahren

Laufende Tests	Auf X% des Traffics steigern	Messen, anpassen und wiederholen	Auf X% Live-Traffic steigern
Abstimmung/Optimierung fortsetzen Zusätzliche Funktionen testen	Leistung in Suchsegmenten analysieren Anpassungen an Modellierung/Regeln vornehmen	Leistung gegenprüfen Anomalien identifizieren und erklären	Test starten Tägliche Leistungsmesswerte teilen Abstimmung durchführen

Komponenten eines erfolgreichen Tests

Messungen abstimmen und Erfolgskriterien festlegen	Fairness des Tests wahren	Datenqualität überwachen
Planen Sie Zeit ein, um vor dem offiziellen Start die Kohärenz von Katalog, Nutzerereignissen und API-Nutzung zu prüfen. Legen Sie im Voraus quantifizierbare Erfolgskriterien fest (idealerweise als Änderung des Umsatzes pro Besucher). Regressionen oder Anomalien proaktiv erkennen, erklären und beheben Teilen Sie Messungen häufig und dokumentieren Sie die Definitionen von Messwerten für die verschiedenen Testgruppen.	Minimieren Sie UX-Unterschiede zwischen Segmenten (gemeinsames Layout und gemeinsame Grafiken, nur unterschiedliche Daten). Achten Sie auf Merchandising- und Geschäftsregeln, damit keine Verzerrungen entstehen.	Katalogabweichung messen Testergebnisse richtig annotieren (über Nutzerereignisse).

Rollen und Testinhaber

	Google	Ich
Qualitätsbewertung	Ergebnisse der Commerce-Suche	UX-Auswirkungen
Messungen	Sichern/Validieren	autoritativ
Telemetrie/Daten	Plattformvolumetrie (Leistung validieren) Anomalien bei Ereignissen und Indexen	Attributionstokens und Schritte zum Reproduzieren (Probleme validieren)
Suchplattform	Elemente auf Produktebene Datenabgleich Modell-/Trainingsanpassungen Anomalien bei Qualität/Bereitstellung Plattformkontingente/-limits Produkt-/Clientbibliotheksfehler	Abfrage-/Bereitstellungselemente Anfrageanreicherung (einschließlich Kontextrouting, Caching und Intentionenverarbeitung) Bereitstellungskonfigurationen (Abstimmung) Anreicherung von Quelldaten Clientleistung (z. B. WC-Threads) UX-/API-/Plattform-/Bibliotheksfehler
Go/No-go	Empfehlen	Genehmigen

Tests in der Console durchführen

1. Rufen Sie in der Search for Commerce Console die Seite Tests auf.
   
   Zur Seite „Tests“

2. Mit der Console können Sie erweiterte Self-Service-Analysen für das Onboarding von Vertex AI Search for Commerce und A/B-Tests durchführen, indem Sie die Attributionsmethodik von Google anwenden:

• Sie können die Traffic-Segmentierung, Geschäftsmesswerte sowie die Such- und Browserleistung im Blick behalten.

• Messwerte auf Besuchsebene pro Suche sowohl für die Keyword-Suche als auch für das Browsen anwenden

• Die Testleistung als Zeitreihe mit Messwerten für die statistische Signifikanz ansehen.

• Eingebettete Looker-Plattform verwenden