このドキュメントでは、デリバリー＆テイクアウト AI エージェント コンソールの概要について説明します。これは、AI デリバリー＆テイクアウト エージェントの構成、テスト、モニタリングを行うためのウェブベースのインターフェースです。
コンソールでのリソース階層
デリバリー＆テイクアウト AI エージェント コンソールでは、注文環境が 3 階層に整理され、デリバリー＆テイクアウト AI エージェント API リソースに直接マッピングされます。
- プロジェクト: デリバリー＆テイクアウト AI エージェント API が有効になっており、プロジェクト レベルのアクセス制御が管理されている Google Cloud プロジェクト。
- ブランド: レストラン ブランドと共有エージェント構成を表す最上位の
Brandリソース。 - 店舗: 物理的なレストランの所在地、店舗レベルのオーバーライド、関連付けられた
Menuを表す個々のStoreリソース。
コンソールの主な機能
デリバリー＆テイクアウト AI Agent コンソールで Google Cloud プロジェクトとブランドを選択すると、ナビゲーション メニューを使用して、次の領域で注文エージェントを管理およびモニタリングできます。
- 概要: セッション数、解決率、結果の分布、アップセル パフォーマンスなど、チャネル全体の運用の健全性、エージェントのパフォーマンス、販売パフォーマンスの指標をモニタリングします。
- 注文履歴: 個々の注文セッションを検査し、店舗、期間、セッション結果でセッションをフィルタします。カートの更新とともにターンバイターンの文字起こしを確認し、セッション音声を再生します。
- エージェントのカスタマイズ: ブランド全体と店舗固有のエージェントの動作（ウェルカム メッセージ、音声の特性、曖昧さ回避ルール、アップセル戦略など）を構成します。
- 店舗とメニュー: 店舗所在地を表示および管理し、取り込まれたメニュー項目、修飾子グループ、修飾子を閲覧し、メニュー取り込みログを検査します。
- エージェントのプレビュー: 変更を本番環境にロールアウトする前に、選択した店舗とメニュー構成に対して音声またはテキストを使用して、注文フローをインタラクティブにテストします。
- 評価: テスト データセットとテストケースを定義し、評価コンテキストとアサーション マッチャーを構成し、自動バッチ シミュレーションを実行して、実行履歴を確認します。
注文履歴
[Order history]（注文履歴）ページでは、ブランドの完了した注文セッションの確認、エスカレーションやエラーの調査、エージェントがお客様の注文をどのように処理したかの分析を行うことができます。
セッションをフィルタリングしてエクスポートする
セッション リストの表の各行には、オーダー ID、開始タイムスタンプ、店舗 ID、セッション継続時間、結果ラベル、自動介入分析が表示されます。ツールバーのコントロールを使用して、セッションを絞り込んだり、データをエクスポートしたりできます。
- すべてのフィルタ: セッション ID、期間、ストア ID、結果ラベル、介入カテゴリ、発話テキストでセッションをフィルタします。
- エクスポート: フィルタされたセッション リストを CSV ファイルとしてダウンロードし、オフラインでのレポート作成や分析に使用できます。
セッションの詳細を検査する
[注文履歴] テーブルの任意の行をクリックして、そのセッションの [注文の詳細] パネルを開きます。
- セッションの概要と結果: セッション ID、ストア メタデータ、全体的な結果の分類（
SUCCESSやエスカレーションされた結果など）、人間の介入や失敗の理由を説明する介入分析シグナルを表示します。 - 会話の文字起こしと音声再生: セッション全体の録音や個々のターンの音声を聞きながら、顧客とエージェントのターンバイターンの文字起こしを確認できます。
- カートの状態の更新: 会話の各ターンで顧客のカート内のアイテムと修飾子がどのように変化したかを確認し、エージェントが送信した注文と最終的な POS 注文を比較します。
店舗とメニュー
[店舗] ページと [メニュー] ページでは、レストランの実店舗の管理、各店舗に関連付けられたメニューの閲覧、修飾子の階層の確認、メニューの取り込みステータスの確認を行うことができます。
店舗の場所を管理する
[店舗の場所] ページには、ブランドに設定されているすべての店舗が一覧表示されます。この表には、各店舗の ID、表示名、住所、割り当てられたタグ、営業状況（Active や Disabled など）、最終更新日が表示されます。
[店舗の所在地] ページでは、次の操作を行うことができます。
- 店舗のフィルタと検索: ステータス、最終更新日の期間、地理的位置（市区町村または都道府県）、タグ、店舗 ID で店舗をフィルタできます。店舗 ID、名前、番地で検索することもできます。
- 一括操作を実行する: 表のチェックボックスを使用して複数の店舗を選択し、タグの追加、店舗の無効化、無効な店舗の削除を一括で行います。
- ストアの設定を構成する: ストアの設定アイコンをクリックすると、そのストアの [ストアの設定] ページが開きます。ここでは、店舗レベルの詳細、営業時間、時間帯、店舗レベルのエージェントのカスタマイズとアップセル オーバーライドを構成できます。
メニューとアイテムの階層を閲覧する
[メニュー] ページには、ブランドと店舗用に登録されたメニューのバージョンが一覧表示されます。各エントリには、メニュー ID、関連付けられた店舗 ID、表示名、最終更新タイムスタンプ、タグが表示されます。現在アクティブなメニューには [最新] バッジが表示されます。
メニュー項目の [メニューを表示] をクリックして、インタラクティブなメニュー ナビゲーターを開きます。
- メニュー表示の切り替え: メニュー内のメニュー項目、修飾子、修飾子グループの階層ツリー表示とリスト表示を切り替えます。
- 商品と修飾子の詳細を確認する: 商品の価格、修飾子の価格調整、コンボ番号、コンボサイズ、デフォルトの数量、修飾子の選択に関する制約（最小数や最大数など）、商品の画像、在庫状況（在庫なしや利用不可など）を確認します。
- メニューの比較: すべての店舗から最大 2 つのメニューを選択して並べて比較できます。追加、削除、変更されたエントリがハイライト表示されます。
エージェントのプレビュー
[エージェントのプレビュー] ページには、構成の変更を顧客向けチャネルにデプロイする前に AI 注文エージェントをテストするためのインタラクティブなシミュレータが用意されています。
テストシナリオを設定する
シミュレーション注文を開始する前に、[Scenario setup] ページでテストシナリオのパラメータを定義します。
- 店舗: 対象の店舗の場所を選択します。エージェントは、その店舗のアクティブなメニュー、価格、タイムゾーン、店舗固有のカスタマイズ オーバーライドを読み込みます。
- 時間帯: [自動] を選択すると、現在の時刻から時間帯が自動的に決定されます。特定の時間帯（朝食や昼食など）を選択すると、時間制限のあるメニューの提供状況をテストできます。
- チャネル: シミュレートする注文チャネル（[ドライブスルー]、[モバイル]、[電話]、[ウェブ] など）を選択します。
- エージェントのカスタマイズとアップセル戦略: 特定のカスタマイズ プロファイルまたはアップセル戦略を選択して、エージェントがブランド全体の動作や試験運用版の動作をどのように適用するかをテストします。
- インタラクション モード: マイクを使用してリアルタイム音声でやり取りするには [音声] を選択し、チャット インターフェースでテストするには [テキスト] を選択します。
会話型注文をテストする
[Start order] をクリックして、インタラクティブなシミュレーション セッションを開始します。
- リアルタイムの会話: 音声モードでは、マイクに話しかけてエージェントと自然に会話できます。エージェントは、ターンバイターンの音声文字変換、音声再生、割り込み（「割り込み」）のサポートを提供します。テキストモードでは、チャット入力フィールドにお客様の発話を入力します。
- インタラクティブな候補: 文字起こしストリームで候補のアイテムと修飾子のチップをクリックして、ワンクリックでお客様の選択をシミュレートします。
- カートのライブ トラッキング: [カート] サイドパネルを開いて、カートの変更をリアルタイムで確認します。追加された商品、設定された修飾子と修飾子の数量、商品ごとの価格、注文の合計金額を確認できます。
- セッション中のメニュー リファレンス: セッション中に [メニュー] サイドパネルを開いて、アクティブな会話と並行して、利用可能なアイテムと基本価格を参照します。
- 過去のセッションの比較: [過去のセッション] をクリックすると、[注文履歴] に直接移動し、シミュレーションの結果と実際の顧客とのやり取りを比較できます。
評価
[評価] ページでは、自動テストスイートを構築して実行し、変更を顧客にデプロイする前に、注文エージェントの会話動作、カートの精度、ビジネスルールを検証できます。
評価フレームワークと API の使用方法については、評価フレームワークを使用して注文エージェントを評価するをご覧ください。
データセットとテストケースを管理する
[データセットとケース] タブでは、評価テスト シナリオを整理して維持できます。
- 評価データセット: 関連するテストケースを名前付きデータセット（回帰スイート、メニュー変更スイート、アップセル テストスイートなど）にグループ化します。新しいデータセットの作成、データセットの検索、データセットの YAML ファイルとしてのインポートまたはエクスポートを行うことができます。
- 評価ケース: YAML ファイルからインポートされた、または本番環境セッションから変換された独立したテストケースを管理します。ケースは、単独で存在することも、データセットにドラッグしてデータセットに整理することもできます。
- 静的テキストターン ケース: 予測可能で再現可能なマルチターン会話を定義します。この会話では、特定の顧客テキスト入力がターンごとに提供されます。
- 動的テキストターン ケース: 高レベルの自然言語による注文指示（例: 特別な食事制限に対応したカスタマイズされたコンボミールの注文）を指定し、生成シミュレーションを使用して、エージェントがさまざまな顧客の言い回しをどのように処理するかをテストします。
- 過去のセッションから変換: [注文履歴] ページで、完了したお客様のセッションを評価ケースに直接変換して、エスカレーションを再現し、回帰を防ぐことができます。
評価コンテキストとマッチャーを構成する
評価ケースは、現実的な注文環境をシミュレートするコンテキストと、エージェントのパフォーマンスをスコアリングするマッチャーに依存します。
- 評価コンテキスト: [コンテキスト] タブで、テストケースの動作環境（対象店舗の所在地、有効なメニュー、時間帯（朝食やランチなど））を構成します。
- 注文結果マッチャー: [マッチャー] タブで、想定される最終的なカートの状態を定義します。評価では、エージェントの最終注文と、想定される商品、修飾子の選択、商品数量を比較します。
- エージェントの発話文字列マッチャー: 部分文字列または正規表現の一致を使用して、エージェントの音声またはテキストの回答に、必要なキーワード、免責事項、特定のフレーズが含まれているかどうかを確認します。
- LLM 判定マッチャー: LLM-as-a-Judge アサーションを使用して、エージェントがお客様に丁寧に挨拶したか、曖昧なリクエストを適切に明確化したか、ブランド トーンのガイドラインを遵守したかなどの定性的な基準を評価します。
評価を実行して履歴を確認する
評価実行は、データセット全体または個々のテストケースに対して実行できます。
- データセットとケースの実行: データセットの横にある [データセットを実行] をクリックして、含まれているすべてのケースを実行します。または、チェックボックスを使用して特定のケースを選択し、[実行] をクリックして個々のシナリオをテストします。
- 実行履歴: [履歴] タブでは、完了した評価実行と進行中の評価実行を追跡し、実行タイムスタンプ、データセット名、期間、全体的な合格率または不合格率を表示します。
- 実行の詳細を検査する: 評価実行をクリックすると、ケースごとの結果をドリルダウンできます。ターンバイターンの会話の文字起こしを検査したり、カートの内容の期待値と実際の値を視覚的な差分で比較したり、マッチャーの合格と不合格の説明を確認したりできます。