ユーザーガイド: 要約の自動評価

要約の自動評価（自動評価）では、精度、完全性、準拠性の 3 つの指標に基づいて要約の品質を評価します。この機能は、要約ジェネレータの品質を評価するのに役立ちます。これは、カスタム セクション定義を調整したり、要約モデルに影響するソフトウェアをアップグレードしたりする際に重要です。評価指標の詳細については、要約の自動評価の基本をご覧ください。

始める前に

  • 評価用の候補要約を生成する要約生成ツールを作成します。
  • ジェネレータのセクション定義は、評価のグラウンド トゥルースとして機能します。
  • 最終スコアでジェネレータの品質を反映させるには、各セクションの手順がジェネレータの手順と一致している必要があります。

要約の自動評価リクエストを作成する

要約ジェネレータを作成する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインします。

    コンソールへ移動

  2. プロジェクトを選択します。

  3. [評価] > [新しい評価] をクリックします。

  4. 一意の [表示名] を入力し、候補者の概要に一致する [生成ツール] を選択します。

  5. [次へ] をクリックします。

  6. 次の 2 つのオプションのいずれかを使用して、評価データセットを選択します。

    • 期間内の会話のランダム サンプル: エージェント アシストの要約機能の料金を支払っている場合は、期間と最大会話数を指定します。評価では、履歴から最大数の会話と要約がランダムに選択されます。
    • 特定のデータセットを選択する: Customer Experience Insights でキュレートした会話の特定のサンプルを選択します。

  7. 次のいずれかのオプションから要約ソースを選択します。

    • 指定されたジェネレータを使用して、欠落している要約のみを生成します。要約生成費用を支払う
    • すべての会話の新しい要約を生成します。要約生成費用を支払う
    • 要約を生成しない。代わりに、データセットで見つかった既存の要約を使用します。別の費用をお支払いいただく必要があります。

  8. [次へ] をクリックします。

  9. [フォルダを選択] をクリックし、結果を保存するバケット内の Cloud Storage フォルダを選択して、[OK] をクリックします。自動評価は CSV ファイルに書き込み、Cloud Storage バケットに保存します。

  10. [実行] をクリックします。これは長時間実行オペレーションです。新しい評価が表に表示されます。

評価

要約ジェネレータと完了した評価セッション実行のリストを表示する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインします。コンソールに移動
  2. プロジェクトを選択します。
  3. [評価] をクリックします。
  4. 省略可: 作成時間の順序を切り替えるには、[作成時間] 列の見出しにある keyboard_arrow_down [下] をクリックします。

リストをフィルタリングする

リストをフィルタして特定の評価を検索する手順は次のとおりです。

  1. [評価をフィルタ] をクリックします。

  2. 次のいずれかのオプションを選択します。

    • 表示名
    • ジェネレータ名
    • 作成日時

  3. パラメータの値を入力します。

評価を削除する

  1. ジェネレータが評価の実行を完了するまで待ちます。
  2. [削除]（削除）をクリックして、評価をクリアします。

評価の結果を表示する

Agent Assist コンソールで詳細な評価結果を表示する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインします。コンソールに移動
  2. プロジェクトを選択します。
  3. [評価] をクリックします。
  4. リストの任意の行をクリックすると、評価の詳細が表示されます。これには次の情報が含まれます。
    • 生成ツールの表示名
    • 会話数
    • Customer Experience Insights データセットがある場合は、関連付けられた Customer Experience Insights データセットの名前
    • 実行日時
    • Cloud Storage 出力
    • データセット全体の全体的なパフォーマンス結果
    • データセット内の各会話の会話レベルの結果

会話レベルの結果

Agent Assist は、会話レベルの評価結果をテーブルに表示します。

  1. [評価の詳細] ページで、[会話レベルの結果] テーブルの任意の行をクリックすると、詳細な結果、概要、会話の文字起こしが表示されます。
  2. セクションをクリックすると、概要からそのセクションの例が表示されます。

結果の比較

異なる評価の結果を比較する手順は次のとおりです。

  1. Agent Assist コンソールで、[評価] に移動します。
  2. 評価をクリックすると、詳細が表示されます。この評価は比較の基準となり、比較に含める指標を決定します。
  3. [比較] > [実行を追加] をクリックして、比較用の他の評価を追加します。一度に比較できる評価は 5 件までです。各表示名はグレーでハイライト表示されます。
  4. 比較から評価を削除するには、[閉じる] 閉じるをクリックします。

要約ジェネレータのバージョンを比較する

要約の自動評価を使用して、要約ジェネレータの異なるバージョンの要約を比較することもできます。会話の文字起こしのコレクションが必要です。

次の例は、要約 v4.0 ジェネレータと v5.0 ジェネレータに基づいて評価結果を比較したものです。

ステップ 1: 要約ジェネレータの新しいバージョンを作成する

要約ジェネレータをまだ使用していない場合は、手順に沿って 要約バージョン 4.0 を使用する要約ジェネレータを作成します。次に、次の手順に沿って、要約バージョン 5.0 を使用する 2 つ目のジェネレータを作成します。

  1. Agent Assist コンソール > [要約] ページに移動します。
  2. ジェネレータの more_vert > [ジェネレータを複製] > ジェネレータのコピーの名前をクリックします。
  3. [バージョン] で [5.0] を選択し、[保存] をクリックします。

ステップ 2: データセットを作成する

手順に沿って、最大 100 件の会話を含むデータセットを作成します。評価ごとに最大 100 個の会話を作成できます。

ステップ 3: 要約評価を作成する

各評価を作成する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインし、プロジェクトを選択します。
  2. [評価] > [新しい評価] をクリックします。
  3. 一意の [表示名] を入力します。
  4. 要約 4.0 のジェネレータを選択します。
  5. [次へ] をクリックします。
  6. [特定のデータセットを選択する] を選択します。
  7. [要約を生成] を選択します。
  8. [次へ] > [フォルダを選択] をクリックします。
  9. 結果を保存するバケット内の Cloud Storage フォルダを選択し、[OK] をクリックします。自動評価は CSV ファイルに書き込み、Cloud Storage バケットに保存します。
  10. [実行] をクリックします。これは長時間実行オペレーションです。新しい評価が表に表示されます。

要約 5.0 ジェネレータに対して手順 2 ～ 10 を繰り返し、同じデータセットを使用します。

ステップ 4: 評価結果を比較する

手順に沿って結果を比較します。Agent Assist に 2 つの評価結果の比較が表示されます。一方のジェネレータのスコアが他方より高い場合、高いスコアは緑色でハイライト表示されます。両方のジェネレータのスコアが同じ場合、それらも緑色でハイライト表示されます。

制約事項

要約の自動評価は VPC Service Controls をサポートしていません。

利用可能なリージョン

要約の自動評価は、Agent Assist の 3 つのリージョンでのみ使用できます。各機能で使用可能なリージョンの一覧については、地域化の表をご覧ください。