Startleitfaden für die Aufnahme von Nutzerereignissen

Auf dieser Seite finden Sie Anleitungen und allgemeine Best Practices für die Erfassung von Nutzerereignissen. Anleitungen für den Einstieg

Hinweis

Tutorials

In diesen Anleitungen wird beschrieben, wie Sie Nutzerereignisse aus verschiedenen Quellen importieren.

Ereignisse aus Cloud Storage importieren

In dieser Anleitung wird beschrieben, wie Sie Nutzerereignisse aus Cloud Storage importieren.

Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt im Cloud Shell-Editor zu erhalten:

Anleitung

Ereignisse aus BigQuery importieren

In dieser Anleitung wird gezeigt, wie Sie Nutzerereignisse aus BigQuery importieren.

Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt im Cloud Shell-Editor zu erhalten:

Anleitung

Ereignisse inline importieren

In dieser Anleitung wird gezeigt, wie Sie Nutzerereignisdaten inline importieren.

Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt im Cloud Shell-Editor zu erhalten:

Anleitung

Die Datenerfassungs-Pipeline von AI Commerce Search umfasst sowohl Produktkatalog- als auch Nutzerereignisdaten. Dieser Datenstrom bildet die Grundlage für das Modelltraining und die kontinuierliche Evaluierung durch Feedbackmechanismen. Die genaue und vollständige Aufnahme von Daten ist ein fortlaufender Prozess, um die Anpassungsfähigkeit der zugrunde liegenden Modelle aufrechtzuerhalten. Sie hat direkten Einfluss auf die Qualität und Relevanz der Suchergebnisse.

Allgemeine Best Practices für die Aufnahme von Nutzerereignissen

Berücksichtigen Sie diese Best Practices für die Datenaufnahme, wenn Sie Ihre Suchlösung entwerfen, um Effizienz und Effektivität zu maximieren.

Nutzerereignisse in die KI-gestützte Suche im E-Commerce aufnehmen

Analog zur Katalogaufnahme bietet die KI-basierte Suche im Einzelhandel zwei Mechanismen für Nutzerereignisdaten. Der Bulk-Import und das Echtzeit-Streaming bieten Flexibilität für verschiedene Backend-Architekturen von Kunden. Im Gegensatz zum Katalog, wo ein hybrider Ansatz möglich ist, ist für Nutzerereignisse eine spezielle Erfassungsstrategie besser. Von den beiden Optionen ist das Echtzeit-Streaming in der Praxis der Standard.

Beide liefern vergleichbare Ergebnisse beim Modelltraining, bei der KPI-Messung und bei der Umsatzoptimierung, es gibt jedoch geringfügige Kompromisse. Der Bulk-Import ist beispielsweise möglicherweise effizienter für die Verarbeitung großer Mengen von Verlaufsdaten, während das Streaming reaktionsschneller für Nutzer ist.

Die Auswahl hängt von den Anforderungen Ihrer Einzelhandelsumgebung ab, z. B.:

  • Das Latenzziel für die Einbeziehung von Nutzerereignissen in das Modelltraining.
  • Die Anzahl der generierten Ereignisse.

Aufnahme von Nutzerereignissen in der KI-gestützten Suche im E-Commerce skalieren

Bereiten Sie sich auf Traffic-Spitzen vor und sorgen Sie für Datenintegrität, indem Sie Skalierungsszenarien proaktiv planen. Bei stark frequentierten Sonderveranstaltungen wie Wochenendverkäufen kann die Nutzeraktivität um das 10- bis 20-Fache ansteigen. Ausreichende Kontingente und die Skalierbarkeit Ihres Aufnahmesystems, um solche Spitzen zu bewältigen, sind entscheidend.

Diese Ereignisse äußern sich oft in plötzlichen Traffic-Spitzen und nicht in allmählichen Steigerungen. Fehlende Ereignisse in diesen Spitzenzeiten können das Modelltraining beeinträchtigen, die Suchleistung verschlechtern und KPI-Messungen verzerren. Die Fehlersuche kann schwierig sein, da Ereignisse die Grundlage für das KPI-Tracking und die allgemeine Fehlerbehebung bilden. Durch die Implementierung robuster Benachrichtigungen können Sie über eine sich verschlechternde Datenqualität informiert werden, die häufig eine Folge fehlender oder fehlerhafter Ereignisdaten ist.

Wenn Sie diese Szenarien vorhersehen und entsprechende Maßnahmen ergreifen, können Sie die Zuverlässigkeit und Genauigkeit Ihrer Nutzerereignisdaten auch unter extremen Lastbedingungen aufrechterhalten. Genaue Daten sind die Grundlage dafür, dass Ihr KI-basiertes Commerce Search-System bei hohem Traffic eine optimierte Leistung, genaue Analysen und ein nutzerorientiertes Erlebnis bietet.

Referenzarchitektur für die Aufnahme von Batchereignissen

Referenzarchitektur für die Aufnahme von Batchereignissen

Für die Batchaufnahme ist eine skalierbare Architektur erforderlich, die für die effiziente Aufnahme von Nutzerereignissen in AI Commerce Search konzipiert ist. Die Architektur besteht aus Google Cloud Diensten, darunter Pub/Sub, Dataflow, BigQuery, Workflows und Cloud Storage, um den Aufnahmeprozess stufenweise und kontrolliert zu verwalten.

Architekturübersicht

Bei der Architektur für die Batch-Erfassung von Ereignissen wird ein mehrstufiger Ansatz verwendet, um die zuverlässige und genaue Übertragung von Nutzerereignisdaten in AI Commerce Search zu gewährleisten.

Zu den wichtigsten Komponenten gehören:

  • Pub/Sub: Dient als erster Einstiegspunkt für Nutzerereignisse und bietet ein skalierbares und langlebiges Nachrichtensystem.
  • Dataflow (Streamingereignisse): Liest kontinuierlich Rohereignisse von Nutzern aus Pub/Sub und schreibt sie in BigQuery-Rohereignistabellen. Außerdem werden alle fehlgeschlagenen Ereignisse zum Debuggen erfasst.
  • BigQuery: Dient als primäre Data-Warehouse-Lösung und speichert Rohereignisse, transformierte Ereignisse und verschiedene Metadaten im Zusammenhang mit dem Aufnahmeprozess.
  • Workflows: Orchestriert die stündliche Batchverarbeitung von Rohereignissen, sorgt für Datenintegrität und erleichtert die Fehlerbehandlung.
  • Cloud Storage: Bietet temporären Speicher für Dataflow während der Verarbeitung und zum Archivieren fehlgeschlagener Ereignislogs.
  • KI Commerce Search: Das endgültige Ziel für Nutzerereignisdaten, das erweiterte Such- und Empfehlungsfunktionen ermöglicht.

Schritt-für-Schritt-Datenfluss

Hier sehen Sie den schrittweisen Datenfluss für die Bulk-Aufnahme von Ereignissen.

  1. Ereignisstreaming und Speicherung von Rohdaten:

    • Nutzerereignisse werden aus dem Quellsystem des Kunden in Pub/Sub-Themen veröffentlicht.
    • Eine Dataflow-Streaming-Pipeline (Streamingereignisse) liest kontinuierlich Ereignisse aus Pub/Sub.
    • Erfolgreiche Rohereignisse werden in BigQuery-Rohereignistabellen geschrieben.
    • Alle Fehler während dieser ersten Aufnahme werden erfasst und zur Analyse und Fehlerbehebung in separaten BigQuery-Rohfehlertabellen gespeichert.

  2. Stündliche Batchverarbeitung und ‑transformation:

    • Workflows löst eine stündlich geplante Dataflow-Pipeline aus (Incr Batch Events).
    • Diese Pipeline liest Rohereignisse aus BigQuery-Tabellen.
    • Ereignisse werden in das erforderliche AI Commerce Search-Format umgewandelt.
    • Transformierte Ereignisse werden in kuratierte BigQuery-Ereignistabellen geschrieben.
    • Alle Transformationsfehler werden in kuratierten BigQuery-Tabellen für fehlgeschlagene Ereignisse erfasst.

  3. Datenvalidierung und ‑vorbereitung:

    • Workflows führt eine gespeicherte BigQuery-Prozedur aus, um eine Ansicht (Incr Update Event View) zu erstellen oder zu aktualisieren, die die neuesten transformierten Ereignisdaten der letzten Stunde enthält.
    • Im Workflow wird dann eine Validierungsprüfung für diese Ansicht durchgeführt, um sicherzustellen, dass die Anzahl der transformierten Ereignisse innerhalb vordefinierter Grenzwerte liegt.

  4. Import für die KI-gestützte Suche im E-Commerce:

    • Wenn die Validierung erfolgreich ist, ruft Workflows die AI Commerce Search-Import-Event-API auf und verweist sie auf die BigQuery-Ansicht mit den transformierten Ereignissen.
    • AI Commerce Search importiert diese Ereignisse dann zur weiteren Verarbeitung und Indexierung.

Zusätzliche Hinweise zur Aufnahme von Batch-Ereignissen

Weitere Aspekte, die beim Erfassen von Batch-Ereignissen zu berücksichtigen sind:

  • Sicherheit: Es sollten angemessene Sicherheitsmaßnahmen wie Zugriffskontrollen und Verschlüsselung implementiert werden, um vertrauliche Nutzerereignisdaten zu schützen.
  • Monitoring und Logging: Es sollte ein umfassendes Monitoring und Logging eingerichtet werden, um die Leistung des Systems zu verfolgen und potenzielle Probleme proaktiv zu erkennen.
  • Kostenoptimierung: Die Ressourcennutzung sollte überwacht werden, um die Kosten zu optimieren und eine effiziente Nutzung der Google Cloud -Dienste zu gewährleisten.

Diese Architektur bietet eine Grundlage für die Aufnahme von Nutzerereignissen in AI Commerce Search. Durch die Verwendung verschiedener Google Cloud Dienste und die Einbeziehung von Best Practices für die Datenverarbeitung und Fehlerbehandlung können Organisationen skalierbare, wartungsfreundliche Lösungen für erweiterte Such- und Empfehlungsfunktionen entwickeln.

Nächste Schritte