Food Ordering AI Agent – Konsolenübersicht

In diesem Dokument finden Sie eine Übersicht über die Food Ordering AI Agent Console, eine webbasierte Benutzeroberfläche, mit der Sie Ihre KI-Agenten für Essensbestellungen konfigurieren, testen und überwachen können.

Ressourcenhierarchie in der Console

In der Food Ordering KI-Agent Console ist Ihre Bestellumgebung in einer dreistufigen Hierarchie organisiert, die direkt den Ressourcen der Food Ordering KI-Agent API entspricht:

• Projekt: Das Google Cloud Projekt, in dem die Food Ordering KI-Agent API aktiviert ist und in dem die Zugriffssteuerung auf Projektebene verwaltet wird.
• Brand: Die Brand-Ressource der obersten Ebene, die Ihre Restaurantmarke und die gemeinsame Agentenkonfiguration darstellt.
• Store: Eine einzelne Store-Ressource, die einen physischen Restaurantstandort, seine Überschreibungen auf Store-Ebene und das zugehörige Menu darstellt.

Wichtige Funktionen der Console

Nachdem Sie in der Food Ordering KI-Agent Console ein Google Cloud Projekt und eine Marke ausgewählt haben, können Sie im Navigationsmenü Ihren Bestellagenten in den folgenden Bereichen verwalten und beobachten:

• Übersicht: Überwachen Sie die Betriebszuverlässigkeit, die Agentenleistung und die Umsatzleistung über alle Channels hinweg, einschließlich Sitzungsvolumen, Containment-Rate, Ergebnisverteilung und Upselling-Leistung.
• Bestellverlauf: Untersuchen Sie einzelne Bestellsitzungen, filtern Sie Sitzungen nach Store, Zeitraum oder Sitzungsergebnis, prüfen Sie detaillierte Routenführung zusammen mit Warenkorbaktualisierungen und spielen Sie Sitzungsaudio ab.
• Agent customization: Konfigurieren Sie das Agentenverhalten für die gesamte Marke und für einzelne Stores, einschließlich Begrüßungen, Stimmmerkmale, Regeln zur Auflösung von Mehrdeutigkeiten und Upselling-Strategien.
• Stores and menus: Sehen Sie sich Store-Standorte an und verwalten Sie sie, durchsuchen Sie aufgenommene Menüpunkte, Modifikatorgruppen und Modifikatoren und prüfen Sie die Logs zur Menüaufnahme.
• Agentenvorschau: Testen Sie Bestellabläufe interaktiv per Sprachbefehl oder Text für einen ausgewählten Store und eine ausgewählte Menükonfiguration, bevor Sie Änderungen in der Produktion bereitstellen.
• Bewertung: Definieren Sie Test-Datasets und Testfälle, konfigurieren Sie Bewertungskontexte und Assertion-Matcher, führen Sie automatisierte Batch-Simulationen aus und prüfen Sie den Ausführungsverlauf.

Bestellverlauf

Auf der Seite Bestellverlauf können Sie abgeschlossene Bestellsitzungen für eine Marke prüfen, Eskalationen oder Fehler untersuchen und analysieren, wie der Agent Kundenbestellungen bearbeitet hat.

Sitzungen filtern und exportieren

In der Tabelle mit der Sitzungsliste wird in jeder Zeile die Bestell-ID, der Startzeitstempel, die Store-ID, die Sitzungsdauer, das Ergebnislabel und die Analyse der automatisierten Intervention angezeigt. Mit den Steuerelementen der Symbolleiste können Sie Sitzungen eingrenzen und Daten exportieren:

• Alle Filter: Filtern Sie Sitzungen nach Sitzungs-ID, Zeitraum, Store-ID, Ergebnislabel, Interventionskategorie oder Äußerungstext.
• Export: Laden Sie die gefilterte Sitzungsliste als CSV-Datei für die Offline-Berichterstellung und -Analyse herunter.

Sitzungsdetails prüfen

Klicken Sie in der Tabelle Order history (Bestellverlauf) auf eine beliebige Zeile, um den Bereich Order details (Bestelldetails) für diese Sitzung zu öffnen:

• Session summary and outcome (Sitzungszusammenfassung und Ergebnis): Hier sehen Sie die Sitzungs-ID, Metadaten zum Store, die allgemeine Ergebnisklassifizierung (z. B. SUCCESS oder eskalierte Ergebnisse) und Signale zur Interventionsanalyse, die menschliche Interventionen oder Fehlerursachen erklären.
• Transkript der Unterhaltung und Audiowiedergabe: Hören Sie sich die vollständige Sitzungsaufzeichnung oder einzelne Audioabschnitte an, während Sie das schrittweise Transkript der Unterhaltung zwischen Kunde und Agent lesen.
• Cart state updates (Aktualisierungen des Warenkorbstatus): Prüfen Sie, wie sich die Artikel und Modifikatoren im Warenkorb des Kunden bei jeder Unterhaltung geändert haben, und vergleichen Sie die vom Agenten übermittelte Bestellung mit der endgültigen Bestellung an der Kasse.

Stores und Menüs

Auf den Seiten Stores und Menus können Sie Ihre physischen Restaurantstandorte verwalten, die Menüs der einzelnen Stores durchsuchen, Modifikatorhierarchien prüfen und den Status der Menüaufnahme überprüfen.

Store-Standorte verwalten

Auf der Seite Store locations (Store-Standorte) sind alle für die Marke konfigurierten Stores aufgeführt. In der Tabelle werden die ID, der Anzeigename, die physische Adresse, die zugewiesenen Tags, der Betriebsstatus (z. B. Active oder Disabled) und das Datum der letzten Aktualisierung für jeden Store angezeigt.

Auf der Seite Store locations (Store-Standorte) haben Sie folgende Möglichkeiten:

• Stores filtern und suchen: Filtern Sie Stores nach Status, Zeitraum der letzten Aktualisierung, geografischem Standort (Stadt oder Bundesland), Tags oder Store-ID. Sie können auch nach Store-ID, Name oder Adresse suchen.
• Batch-Aktionen ausführen: Wählen Sie mehrere Stores über die Tabellenkästchen aus, um Anzeigen-Tags hinzuzufügen, Stores zu deaktivieren oder deaktivierte Stores in großen Mengen zu löschen.
• Store-Einstellungen konfigurieren: Klicken Sie für einen beliebigen Store auf das Symbol für die Einstellungen, um die Seite Store settings (Store-Einstellungen) zu öffnen. Hier können Sie Details auf Store-Ebene, Öffnungszeiten, Tageszeiten sowie Überschreibungen für die Agentenanpassung und das Upselling auf Store-Ebene konfigurieren.

Menüs und Artikelhierarchien durchsuchen

Auf der Seite Menus (Menüs) sind die Menüversionen aufgeführt, die für Ihre Marke und Ihre Stores aufgenommen wurden. Jeder Eintrag enthält die Menü-ID, die zugehörige Store-ID, den Anzeigenamen, den Zeitstempel der letzten Aktualisierung und Tags. Das aktuelle aktive Menü ist mit dem Badge Latest (Neueste) gekennzeichnet.

Klicken Sie bei einem beliebigen Menüeintrag auf View menu (Menü ansehen), um den interaktiven Menu navigator (Menünavigator) zu öffnen:

• Toggle menu view (Menüansicht umschalten): Wechseln Sie zwischen einer hierarchischen Baumansicht und einer Listenansicht der Menüpunkte, Modifikatoren und Modifikatorgruppen im Menü.
• Review item and modifier details (Artikel- und Modifikatordetails prüfen): Prüfen Sie Artikelpreise, Modifikatorpreisanpassungen, Kombinationsnummern, Kombinationsgrößen, Standardmengen, Einschränkungen bei der Modifikatorauswahl (z. B. Mindest- und Höchstanzahl), Artikelbilder und den Verfügbarkeitsstatus (z. B. „Nicht auf Lager“ oder „Nicht verfügbar“).
• Menu comparison (Menüvergleich): Wählen Sie bis zu zwei Menüs aus allen Stores aus, um sie nebeneinander zu vergleichen. Unterschiede werden hervorgehoben, um hinzugefügte, entfernte oder geänderte Einträge anzuzeigen.

Agent-Vorschau

Auf der Seite Agent preview (Agent-Vorschau) finden Sie einen interaktiven Simulator, mit dem Sie Ihren KI-Bestellagenten testen können, bevor Sie Konfigurationsänderungen auf kundenorientierten Channels bereitstellen.

Testszenario einrichten

Bevor Sie eine simulierte Bestellung aufgeben, definieren Sie die Parameter für Ihr Testszenario auf der Seite Scenario setup (Szenarioeinrichtung):

• Store: Wählen Sie den Ziel-Store-Standort aus. Der Agent lädt das aktive Menü, die Preise, die Zeitzone und die storespezifischen Überschreibungen für die Anpassung dieses Stores.
• Daypart (Tageszeit): Wählen Sie Auto aus, um die Tageszeit automatisch anhand der aktuellen Uhrzeit zu bestimmen, oder wählen Sie eine bestimmte Tageszeit aus (z. B. „Breakfast“ oder „Lunch“), um die zeitlich begrenzte Menüverfügbarkeit zu testen.
• Channel: Wählen Sie den simulierten Bestellchannel aus, z. B. Drive-thru (Drive-in), Mobile (Mobilgerät), Phone (Telefon) oder Web (Web).
• Agent customization and upsell strategy (Agentenanpassung und Upselling-Strategie): Wählen Sie bestimmte Anpassungsprofile oder Upselling-Strategien aus, um zu testen, wie der Agent markenweite oder experimentelle Verhaltensweisen anwendet.
• Interaction mode (Interaktionsmodus): Wählen Sie Voice (Sprache) aus, um über Echtzeit-Audio mit Ihrem Mikrofon zu interagieren, oder Text (Text), um über eine Chat-Benutzeroberfläche zu testen.

Konversationelle Bestellung testen

Klicken Sie auf Start order (Bestellung starten), um die interaktive Simulationssitzung zu starten:

• Real-time conversation (Echtzeit-Unterhaltung): Sprechen Sie im Sprachmodus in Ihr Mikrofon, um sich auf natürliche Weise mit dem Agenten zu unterhalten. Der Agent bietet schrittweise Sprachtranskription, Audiowiedergabe und Unterstützung für Unterbrechungen („Barge-in“). Geben Sie im Textmodus die Äußerungen des Kunden in das Chat-Eingabefeld ein.
• Interactive suggestions (Interaktive Vorschläge): Klicken Sie im Transkriptstream auf vorgeschlagene Artikel- und Modifikator-Chips, um Kundenauswahlen mit einem einzigen Klick zu simulieren.
• Live cart tracking (Live-Warenkorbverfolgung): Öffnen Sie den Seitenbereich Cart (Warenkorb), um schrittweise Änderungen am Warenkorb in Echtzeit zu beobachten. Sie können hinzugefügte Artikel, konfigurierte Modifikatoren und Modifikatoranzahlen, detaillierte Preise und die laufende Bestellsumme sehen.
• In-session menu reference (Menüreferenz in der Sitzung): Öffnen Sie während einer Sitzung den Seitenbereich Menu (Menü), um neben der aktiven Unterhaltung verfügbare Artikel und Basispreise zu sehen.
• Historical session comparison (Vergleich mit früheren Sitzungen): Klicken Sie auf Historical sessions (Frühere Sitzungen), um direkt zu Order history (Bestellverlauf) zu wechseln und simulierte Ergebnisse mit echten Kundeninteraktionen zu vergleichen.

Bewertung

Auf der Seite Evaluation (Bewertung) können Sie automatisierte Testsuiten erstellen und ausführen, um das konversationelle Verhalten, die Warenkorbgenauigkeit und die Geschäftsregeln Ihres Bestellagenten zu validieren, bevor Sie Änderungen für Kunden bereitstellen.

Weitere Informationen zur Verwendung des Bewertungsframeworks und der APIs finden Sie unter Bestellagenten mit dem Bewertungsframework bewerten.

Datasets und Testfälle verwalten

Auf dem Tab Datasets &cases (Datasets und Testfälle) können Sie Ihre Bewertungstestszenarien organisieren und verwalten:

• Evaluation datasets (Bewertungs-Datasets): Gruppieren Sie verwandte Testfälle in benannten Datasets (z. B. Regressionssuiten, Suiten für Menüänderungen oder Suiten für Upselling-Tests). Sie können neue Datasets erstellen, nach Datasets suchen und Datasets als YAML-Dateien importieren oder exportieren.
• Evaluation cases (Bewertungsfälle): Verwalten Sie unabhängige Testfälle, die aus YAML-Dateien importiert oder aus Produktionssitzungen konvertiert wurden. Testfälle können einzeln vorhanden sein oder in Datasets organisiert werden, indem Sie sie in ein Dataset ziehen.
• Static text turn cases (Testfälle mit statischen Texten): Definieren Sie vorhersehbare, reproduzierbare Unterhaltungen mit mehreren Schritten, bei denen schrittweise bestimmte Texteingaben des Kunden bereitgestellt werden.
• Dynamic text turn cases (Testfälle mit dynamischen Texten): Geben Sie allgemeine Bestellanweisungen in natürlicher Sprache an (z. B. eine individuelle Kombi-Mahlzeit mit besonderen Ernährungsanforderungen bestellen) und verwenden Sie die generative Simulation, um zu testen, wie der Agent mit unterschiedlichen Formulierungen des Kunden umgeht.
• Convert from historical sessions (Aus früheren Sitzungen konvertieren): Auf der Seite Order history (Bestellverlauf) können Sie abgeschlossene Kundensitzungen direkt in Bewertungsfälle konvertieren, um Eskalationen zu reproduzieren und Regressionen zu verhindern.

Bewertungskontexte und Matcher konfigurieren

Bewertungsfälle basieren auf Kontexten, um realistische Bestellumgebungen zu simulieren, und auf Matchern, um die Agentenleistung zu bewerten:

• Evaluation contexts (Bewertungskontexte): Konfigurieren Sie die operative Umgebung für Testläufe auf dem Tab Contexts (Kontexte), einschließlich des Geschäftsstandorts, des aktiven Menüs und des Tagesabschnitts (z. B. „Breakfast“ oder „Lunch“).
• Order result matchers (Matcher für Bestellresultate): Definieren Sie die erwarteten endgültigen Warenkorbzustände auf dem Tab Matchers (Matcher). Bei der Bewertung wird die endgültige Bestellung des Agenten mit den erwarteten Artikeln, Modifikatorauswahlen und Artikelmengen verglichen.
• Agent utterance string matchers (Matcher für Agentenäußerungen): Prüfen Sie mit dem Abgleich von Teilstrings oder regulären Ausdrücken, ob die gesprochenen oder textbasierten Antworten des Agenten die erforderlichen Keywords, Haftungsausschlüsse oder bestimmte Formulierungen enthalten.
• LLM judgement matchers (Matcher für LLM-Bewertungen): Verwenden Sie LLM-as-a-judge-Assertions, um qualitative Kriterien zu bewerten, z. B. ob der Agent den Kunden höflich begrüßt, mehrdeutige Anfragen angemessen geklärt oder die Richtlinien für den Markenton eingehalten hat.

Bewertungen ausführen und Verlauf prüfen

Sie können Bewertungen für ein ganzes Dataset oder für einzelne Testfälle ausführen:

• Dataset and case execution (Dataset- und Fallausführung): Klicken Sie neben einem beliebigen Dataset auf Run dataset (Dataset ausführen), um alle enthaltenen Fälle auszuführen, oder wählen Sie bestimmte Fälle über die Kästchen aus und klicken Sie auf Run (Ausführen), um einzelne Szenarien zu testen.
• Run history (Ausführungsverlauf): Auf dem Tab History (Verlauf) werden abgeschlossene und laufende Bewertungen erfasst, einschließlich des Zeitstempels der Ausführung, des Dataset-Namens, der Dauer und der allgemeinen Erfolgs- oder Fehlerquote.
• Inspect run details (Ausführungsdetails prüfen): Klicken Sie auf eine beliebige Bewertung, um die Ergebnisse für die einzelnen Fälle aufzurufen. Sie können schrittweise Transkripte der Unterhaltung prüfen, erwartete und tatsächliche Warenkorbinhalte mit visuellen Unterschieden vergleichen und Erklärungen für bestandene und nicht bestandene Matcher prüfen.