指標にアクセスする

このドキュメントでは、Gemini Enterprise アプリによって生成された指標にアクセスする方法について説明します。これらの指標は、アプリケーションのパフォーマンスと健全性に関する分析情報を提供します。

指標テレメトリーは、Metrics Explorer を使用して表示することも、エージェントの [オブザーバビリティ] タブを使用して個々のエージェント内で直接表示することもできます。

主なコンセプト

このセクションでは、Gemini Enterprise のオブザーバビリティに関連する主なコンセプトについて説明します。

コンセプト 説明
指標 指標は、システムが一定期間に収集する数値測定値です。これらの測定値は、システムのパフォーマンス、リソース使用率、動作を表します。エンジニアは指標を使用して、システムの状態のモニタリング、傾向の特定、アラートのトリガーを行います。
エージェント スコープの指標 セッション、会話ターン、ツール呼び出しなど、個々のエージェントのアクティビティを測定する指標。これらは Gemini Enterprise Agent リソースタイプにリストされ、そのエージェントで OpenTelemetry のトレースとログの計測を有効にするオブザーバビリティ設定がオンになっている場合にのみ収集されます。
アプリ スコープの指標 単一のエージェントではなく、アプリへのすべてのトラフィックを測定する指標(リクエスト数、エンドツーエンドのレイテンシなど)。これらは Gemini Enterprise Engine リソースタイプに一覧表示されます。ここで、Engine は Gemini Enterprise アプリの API 名です。これらは、オブザーバビリティの設定に関係なく収集されます。

始める前に

以下のものが揃っていることを確認してください。

  • Gemini Enterprise 管理者ロールまたは Google Cloud コンソールの Gemini Enterprise ユーザーロール。

  • 既存の Gemini Enterprise ウェブアプリ。新しいアプリの作成については、アプリを作成するをご覧ください。

  • Metrics Explorer にアクセスするには、モニタリング閲覧者ロール(roles/monitoring.viewer)が必要です。

  • オブザーバビリティ設定の [OpenTelemetry のトレースとログの計測を有効にする] を有効にします。エージェントの種類に応じて、アプリレベルの構成(Core Assistant エージェントの場合)またはエージェントの [構成] タブ(Workflow Builder の従業員作成エージェントと Deep Research エージェントの場合)で有効にします。詳細については、オブザーバビリティ設定を管理するをご覧ください。この設定は、エージェント スコープの指標に必要です。Gemini Enterprise Engine リソースタイプにリストされているアプリスコープの指標は、これなしで収集されます。

データの保持

Gemini Enterprise app によって生成された指標は、 Google Cloud プロジェクトの Cloud Monitoring に保存され、その保持は Cloud Monitoring に則って管理されます。Gemini Enterprise の指標は discoveryengine.googleapis.com/ 接頭辞で公開されます。これは「その他すべてのGoogle Cloud 指標」ティアに分類され、デフォルトで 6 週間保持されます。保持期間より古いデータは自動的に削除されます。正式かつ最新の保持値については、Cloud Monitoring の割り当てと上限のドキュメントのデータの保持をご覧ください。

Metrics Explorer で指標にアクセスする

指標にアクセスする手順は次のとおりです。

  1. Google Cloud コンソールで、[Metrics Explorer] ページに移動します。

    Metrics Explorer に移動

  2. Gemini Enterprise app が作成された Google Cloud プロジェクトを選択します。

  3. [指標を選択] をクリックして検索バーを開きます。

  4. 検索バーで、次の指標を探します。

    指標名 説明
    Gemini Enterprise Agent - Gemini Enterprise Agent のセッション数 Gemini Enterprise エージェントが処理したセッションの数。
    Gemini Enterprise Agent - Gemini Enterprise Agent ツール数 Gemini Enterprise エージェントによってツールが呼び出された回数。
    Gemini Enterprise Agent - Gemini Enterprise Agent のターン数 Gemini Enterprise エージェント セッション内の会話ターンの数。
    Gemini Enterprise Agent - Gemini Enterprise Agent の合計レイテンシ Gemini Enterprise エージェントからのレスポンスの合計レイテンシ。
    Gemini Enterprise Agent - Gemini Enterprise Agent ツールの合計レイテンシ Gemini Enterprise エージェント内のツール実行によって発生した合計レイテンシ。
    Gemini Enterprise DataConnector - Gemini Enterprise DataConnector リクエスト数 Gemini Enterprise データコネクタ( Google Cloud コンソールではデータストアとも呼ばれます)に対して行われたリクエストの合計数。
    Gemini Enterprise DataConnector - Gemini Enterprise DataConnector リクエストのレイテンシ (ベータ版)Gemini Enterprise データコネクタ( Google Cloud コンソールではデータストアとも呼ばれます)に対して行われたリクエストのレイテンシ(ミリ秒単位)。
    Gemini Enterprise Engine - Gemini Enterprise Engine リクエスト数 Gemini Enterprise アプリが受信したリクエストの合計数。これは、単一のエージェントではなく、アプリへのすべてのトラフィックを対象としています。API メソッド、正規の gRPC レスポンス コード、レスポンス コードクラス、クエリタイプ、モデル別に分類されます。
    Gemini Enterprise Engine - Gemini Enterprise Engine リクエストの合計レイテンシ Gemini Enterprise app のエンドツーエンド リクエストのレイテンシの分布。エラーを返すリクエストを含む、すべてのリクエストについて記録されます。
    Gemini Enterprise Engine - Gemini Enterprise Engine の最初の回答までのレイテンシ リクエストを受信してから最初の回答トークンをストリーミングするまでのレイテンシの分布。少なくとも 1 つの回答トークンを生成するリクエストに対してのみ記録されます。
    Gemini Enterprise Engine - Gemini Enterprise Engine の最初のトークン レイテンシまでの時間 リクエストを受信してから最初のトークンをストリーミングするまでのレイテンシの分布。このトークンは、モデルの思考プロセスの一部であるか、最終的な回答であるかに関係ありません。1 つ以上のストリーミング トークンを生成するリクエストに対してのみ記録されます。
  5. 確認する指標を選択し、[適用] をクリックします。

  6. 必要に応じて、追加のラベルフィルタと集計要素を設定し、期間を調整します。

     Google Cloud コンソールの Metrics Explorer のスクリーンショット。Gemini Enterprise エージェントの指標が表示されています。

エージェントのアクセス指標

また、 Google Cloud コンソールのエージェントの [オブザーバビリティ] タブで、個々のエージェントの運用、ツール固有、セッション指標のダッシュボードを直接表示することもできます。

エージェントの指標にアクセスするには:

  1. Google Cloud コンソールでアプリに移動し、[エージェント] をクリックします。
  2. 検査するエージェントを選択し、[オブザーバビリティ] タブをクリックします。

[オブザーバビリティ] タブには、[概要]、[ツール]、[レイテンシ]、[エラー率] の 4 つのビューに分割された主要な運用テレメトリーが表示されます。

全体的な指標

このビューには、標準のセッションとエージェントの健康に関するデータをまとめたダッシュボードが表示されます。これには次のものが含まれます。

  • セッション数: ユーザー セッションの合計数。
  • セッションあたりの平均時間: セッションの平均経過時間。
  • エージェント呼び出し: エージェントが呼び出された合計回数。
  • エージェントのレイテンシ: 時間と特定の指標にわたるレイテンシ。
  • エージェントのトラフィック: インバウンド リクエストの量。
  • エージェントのエラー率: 失敗したエージェント呼び出しの割合。

 Google Cloud コンソールの [オブザーバビリティ] タブの [概要] ビューのスクリーンショット。セッション、セッションあたりの平均ターン数、エージェントの呼び出し、レイテンシ、トラフィック、エラー率が表示されています。

ツールの指標

このビューは、エージェントに接続されているツールの使用状況とレイテンシに特に焦点を当てています。これには、次のものが含まれます。

  • 合計呼び出し数: ツール実行リクエストの数。
  • ツール別の P95 期間: 実行のレイテンシの 95 パーセンタイル。ツール別に分類されます。
  • ツール別の呼び出し数: 合計呼び出し数を異なるツールに分割した数。
  • ツール別のエラー率: ツール別の実行の失敗率。
  • 「ツール呼び出しなし」の割合: インタラクションでツール実行がトリガーされなかった割合。

レイテンシの指標

このビューには、エージェントのレスポンス レイテンシが表示されます。各指標は、選択した期間の p50 と p95 の概要カードとして表示され、時系列の傾向を示す時系列グラフとして表示されます。レイテンシ指標を機能でフィルタすることもできます。このビューには次の指標が表示されます。

  • 最初のトークンまでの時間(TTFT): リクエストを受信してから最初のトークンをストリーミングするまでのレイテンシ。このトークンがモデルの思考プロセスの一部であるか、回答の一部であるかは関係ありません。
  • 最初の回答までの時間(TTFA): リクエストを受信してから、最初の回答トークン(モデルの思考の一部ではない最初のトークン)をストリーミングするまでのレイテンシ。エージェントが回答を開始した後にツールを呼び出すと、測定が再開されます。そのため、TTFA には、ユーザーが読む回答のストリーミングが開始されたタイミングが反映され、中間ナレーションは反映されません。
  • 最後のトークンまでの時間(TTLT): リクエストの受信から最後のトークンのストリーミングまでのレイテンシ。これはレスポンスが完了した時点です。

機能でレイテンシ指標をフィルタする

特徴は、ウェブ検索や画像生成など、ターンが表すインタラクションの種類です。レイテンシ指標を機能別にフィルタして、どの種類のインタラクションが最も遅いかを確認し、1 つの遅い機能が全体的なレイテンシを歪めないようにします。

レイテンシ指標を特徴でフィルタするには:

  1. エージェントの [オブザーバビリティ] タブで、[レイテンシ] ビューをクリックします。
  2. [機能によるフィルタ] をクリックします。
  3. 検査する特徴を選択します。

概要カードと時系列グラフには、その機能のターンのみが表示されます。

すべての機能を一度に比較するには、機能テレメトリー テーブルを使用します。このテーブルには、各機能について次の情報が一覧表示されます。

  • トラフィックのシェア: 機能に起因するターンの割合。
  • TTFT、TTFA、TTLT: 特徴の p50 レイテンシと p95 レイテンシ。

次の機能を使用してフィルタできます。

  • パラメトリック: ツールを使用せず、テキスト出力のみを目的としてモデルにリクエストを送信するインタラクション(翻訳タスクなど)。
  • メディア生成: 画像と動画生成タスク。
  • ウェブ検索のみ: ウェブ検索ツールを使用してモデルにリクエストを送信するインタラクション。
  • アップロードされたファイルの分析: ユーザーがアップロードしたファイルとともにモデルにリクエストを送信するインタラクション。
  • コネクタ: 内部コネクタまたはサードパーティ コネクタにリクエストを送信するクエリ。
  • Canvas: Canvas を使用する生成タスク。
  • スキル: スキルを呼び出すインタラクション。
  • その他: 複数の機能にまたがるターンや、未分類のターンをまとめるキャッチオール。

 Google Cloud コンソールの [オブザーバビリティ] タブの [レイテンシ] ビューのスクリーンショット。機能フィルタ、p50 と p95 の概要カード、最初のトークンまでの時間、最初の回答までの時間、最後のトークンまでの時間の時系列グラフ、各機能とそのトラフィックのシェア、p50 と p95 のレイテンシを一覧表示する機能テレメトリー テーブルが表示されています。

エラー率の指標

このビューには、エージェントのリクエストがどのように解決されるかが、レスポンス クラス(OK(2xx)、クライアント エラー(4xx)、サーバーエラー(5xx)、キャンセル)別にグループ化されて表示されます。Service Infrastructure に含まれるものは以下のとおりです。

  • レスポンス クラス別のリクエスト数: レスポンス クラス別に積み上げられた、インバウンド リクエスト数の推移。
  • レスポンス クラス別のエラー率: 失敗したリクエストの割合をレスポンス クラス別に表示します。
  • クライアント エラーコード(4xx)とサーバー エラーコード(5xx): INVALID_ARGUMENT や INTERNAL などの個々の正規の gRPC レスポンス コードの経時変化。これにより、どの特定のエラーが急増の原因となっているかを特定できます。
  • 合計: 選択した期間における各結果のリクエスト数と合計リクエスト数の割合。個々のクライアント エラーコードとサーバー エラーコードをランク付けする個別のテーブルがあります。

 Google Cloud コンソールの [オブザーバビリティ] タブの [エラー率] ビューのスクリーンショット。レスポンス クラス別のリクエスト数とエラー率、クライアント エラーコードとサーバー エラーコードの時系列グラフ、合計テーブルが表示されています。

次のステップ