Zusätzliche Überlegungen und Tests

Bei Best Practices und Tests der Benutzeroberfläche Ihres Konversations-Agenten müssen zusätzliche Aspekte berücksichtigt werden.

Best Practices implementieren

Berücksichtigen Sie diese Best Practices bei der Implementierung der Benutzeroberfläche Ihres Konversations-Agenten:

• Konsistenz der Besucher-ID: Sorgen Sie dafür, dass eine eindeutige visitor_id mit jeder Anfrage für einen bestimmten Endnutzer gesendet wird. Dies ist entscheidend für eine genaue Personalisierung und das Modelltraining. Diese ID sollte für einen Endnutzer idealerweise über Sitzungen und An- und Abmeldestatus hinweg konsistent bleiben.
• Branch-Verwaltung: Obwohl default_branch üblich ist, sollten Sie die richtige Branch-ID verwenden, wenn Ihr Produktkatalog mit mehreren Branches strukturiert ist.
• Interaktion mit der Search API: Bei SIMPLE_PRODUCT_SEARCH und allen Fällen, in denen refined_search angegeben ist, müssen Sie einen separaten Aufruf an die Search API (SearchService.Search) mit der query aus dem Feld refined_search oder der ursprünglichen Abfrage vornehmen, um die tatsächlichen Produktangebote zu erhalten. Die Conversational API konzentriert sich hauptsächlich auf die Konversationserfahrung und das Verständnis der Nutzerabsicht und gibt nicht direkt Produktergebnisse zurück.
• Design der Benutzeroberfläche: Gestalten Sie Ihre Weboberfläche so, dass die Optionen conversational_text_response, followup_question und refined_search klar und intuitiv präsentiert werden, um den Nutzer zu führen.

Attribute für die LLM-Generierung konfigurieren

Damit der Konversations-Agent Antworten generieren kann, müssen die Attribute in den Attribut-Einstellungen auf Abrufbar gesetzt sein.

Wenn ein Attribut Indexierbar , aber nicht Abrufbar ist, findet der Konversations-Agent das Produkt, kann aber die Details nicht lesen, um Nutzerfragen zu beantworten. Der Konversations-Agent löst oft eine Fallback-Antwort aus, z. B. Dieses Produkt ist nicht verfügbar.

Aus diesem Grund sollten Sie die semantischen Attribute (Title, Description, Brand, Specs) auf Abrufbar: True setzen, damit das LLM sie verwenden kann. Setzen Sie die Attribute der Benutzeroberfläche oder App (BrandID, SkuID) auf Abrufbar: True , wenn sie für das Rendering im Frontend erforderlich sind. Setzen Sie die Backend-Metadaten auf Abrufbar: False , um die Nutzung des Kontextfensters zu optimieren.

A/B-Tests planen

Relevanz ist zwar ein wichtiger Eingabemesswert, aber AI Commerce Search berücksichtigt auch andere Variablen, um die Geschäftsergebnisse zu optimieren:

Messwerte
Umsatz pro Besuch	Der Umsatz pro Besuch ist der effektivste Messwert für die Suchleistung, da er die Conversion-Rate, den durchschnittlichen Bestellwert und die Relevanz berücksichtigt.
Conversion – Durchschnittlicher Bestellwert	Conversion-Rate und durchschnittlicher Bestellwert tragen beide zum Umsatz pro Besuch bei.
Relevanz – Kaufbarkeit – Preis	Die Relevanz wird unter anderem verwendet, um leistungsstarke Suchergebnisse zu erzielen.

Checkliste für die A/B-Bereitschaft

Dies sind die verwendeten Erfolgsmesswerte:

Umsatz pro Besuch

Conversion-Rate

„In den Einkaufswagen“-Ereignisse

Klickrate

Element	Definition	Phase
Schema für die Ereigniszuordnung	Arbeiten Sie mit Google zusammen, um die Nutzerereignisse für die Analyse richtig zu segmentieren.	Vor dem Test
Eingaben für das Monitoring	Möglichkeit, schnell zu erkennen, wenn Trainingsdaten Anomalien enthalten, die sich auf die Leistung auswirken könnten.	Vor dem Test
Ereignisabdeckung	Erfassen wir alle möglichen Ergebnisse im Zusammenhang mit KI-Sitzungen für die Suche oder Empfehlungen?	Vor dem Test
Messbare Erfolgskriterien	Dokumentierte Definition von „abgeschlossen“ (in messbaren Begriffen).	Vor dem Test
Möglichkeit, UX-Verzerrungen zu messen	Sorgen Sie für eine konsistente UX in allen Testgruppen.	Während des Tests
Kohärenz zwischen VAIS-Daten und -Nutzung	Prüfen Sie, ob Zuordnungstokens, Filter, Sortierung nach, Offset usw. von der API an UserEvents übergeben werden. Die Besucher-/Nutzer-IDs stimmen zwischen Ereignis- und API-Anfragen überein.	Während des Tests
Genehmigung für die Optimierung während des Tests	Planen Sie Optimierungsaktivitäten, dokumentieren Sie Änderungen und passen Sie Messungen und Interpretation entsprechend an.	Während des Tests

Proof of Concept oder Minimum Viable Product implementieren

Datenaufnahme	A/B-Testdesign	Leistungsmesswerte	Governance und Prozess
Aktuelle und vollständige Aufnahme des Produktkatalogs Einhaltung der empfohlenen Methoden zur Ereignisaufnahme, um die Datensynchronisierung zwischen Google und Ihnen sicherzustellen. Google empfiehlt das Echtzeit-Ereignis-Tracking, einschließlich Impression-Daten. Übergeben Sie die erforderlichen Attribute wie Test-IDs und Besucher-IDs und implementieren Sie gegebenenfalls Suchtokens richtig.	Berücksichtigen Sie die Best Practices für Tests, um zuverlässige Ergebnisse zu erhalten: Prüfen Sie die Einbindung. Testen Sie jeweils nur eine Änderung. Vermeiden Sie aggressives Caching. Sorgen Sie für eine faire Weboberfläche zwischen Test und Kontrolle. Sorgen Sie für einen fairen Traffic mit der Trafficaufteilung mithilfe der Besucher-ID. Sorgen Sie für Konsistenz der Produktdaten. Wenden Sie dieselben Geschäftsregeln auf Test und Kontrolle an.	Alle Bewertungskriterien sollten empirisch sein, objektiv gemessen werden und auf Messwerten basieren. Eine Abstimmung auf die genauen Definitionen der erfassten Messwerte ist entscheidend, um die Leistung genau zu messen. Zu den erfassten Standardmesswerten gehören: CTR für Suche (Relevanz der Ergebnisse) Rate der Suchanfragen ohne Ergebnisse (Verständnis der Absicht) Umsatz pro Besucher / Umsatz pro Nutzer Anzahl der Suchanfragen bis zur Conversion	Datenintegration, Tests, Einführung von Funktionen und Optimierung sind ein iterativer Prozess, der Ressourcen erfordert.

Beispiel für einen Testablauf

Abhängigkeiten des Minimum Viable Product erfüllen	Messung kalibrieren	Dunklen Modus für die Produktion bereitstellen	Entscheidung für oder gegen die Einführung
Vertrag Trainiertes Modell und Bereitstellungskonfigurationen Aufnahme von Produkt- und Ereignisdaten	Vergleichen Sie die Daten (des Kunden) mit der Telemetrie der Commerce Search und passen Sie sie entsprechend an. Abstimmung auf Mess-Baselines	Offlinebewertung durchführen Konfigurationen optimieren A/A-Test zur Überprüfung der Trafficaufteilung	QA-Freigabe einholen Verpflichtung zur Einführung

Laufende Tests	Erhöhung auf X% des Traffics	Messen, anpassen und wiederholen	Erhöhung auf X% des Live-Traffics
Weiterhin optimieren Inkrementelle Funktionen testen	Leistung in verschiedenen Suchsegmenten analysieren Anpassungen an Modellierung/Regeln vornehmen	Leistung vergleichen Anomalien erkennen und erklären	Test starten Leistungsmesswerte täglich freigeben Optimierung durchführen

Komponenten eines erfolgreichen Tests

Messungen kalibrieren und Erfolgskriterien festlegen	Testfairness gewährleisten	Datenqualität überwachen
Planen Sie Zeit ein, um vor der offiziellen Einführung die Kohärenz von Katalog, Nutzerereignissen und API-Nutzung zu überprüfen. Legen Sie im Voraus quantifizierbare Erfolgskriterien fest (idealerweise als Änderung des Umsatzes pro Wiedergabe). Erkennen und erklären Sie proaktiv Regressionen oder Anomalien und beheben Sie sie. Geben Sie Messungen häufig frei und verstehen und dokumentieren Sie die Definitionen der Messwerte in allen Testgruppen.	Minimieren Sie UX-Unterschiede zwischen Segmenten (gemeinsames Layout und Visuals, nur unterschiedliche Daten). Berücksichtigen Sie Merchandising- und Geschäftsregeln (sorgen Sie dafür, dass sie keine Verzerrungen verursachen).	Katalogdrift messen. Ergebnisse des Tests richtig annotieren (über Nutzerereignisse).

Rollen und Testverantwortung

	Google	Ich
Qualitätsbewertung	Ergebnisse der Commerce Search	UX-Auswirkungen
Messungen	Sichern/Überprüfen	Autoritativ
Telemetrie/Daten	Plattformvolumetrie (Leistung überprüfen) Ereignis- und Indexanomalien	Zuordnungstokens und Schritte zur Reproduktion (Probleme überprüfen)
Suchplattform	Elemente auf Produktebene Datenabgleich Anpassungen an Modell/Training Anomalien bei Qualität/Bereitstellung Plattformkontingente/-limits Fehler in Produkt-/Clientbibliothek	Elemente für Abfrage/Bereitstellung Anfrageerweiterung (einschließlich Kontextrouting, Caching und Intentverarbeitung) Bereitstellungskonfigurationen (Optimierung) Datenanreicherung von Quelldaten Clientleistung (z. B. WC-Threads) Fehler in UX/API/Plattform/Bibliothek
Einführung oder nicht	Empfehlen	Genehmigen

Tests in der Console durchführen

1. Rufen Sie in der Console von AI Commerce Search in Gemini Enterprise for Customer Experience die Seite Tests auf.
   
   Zur Seite „Tests“

2. Verwenden Sie die Console für erweiterte Selfservice-Analysen für das Onboarding von AI Commerce Search und A/B-Tests, indem Sie die Zuordnungsmethodik von Google anwenden:

• Trafficsegmentierung, Geschäftsmesswerte sowie Such- und Browsing-Leistung überwachen.

• Messwerte auf Ebene der Suchsitzung sowohl für die Keyword-Suche als auch für das Browsing anwenden.

• Testleistung als Zeitreihe mit Messwerten zur statistischen Signifikanz ansehen.

• Eingebettete Looker-Plattform verwenden.