アプリケーション モニタリングで AI リソースを表示する

このドキュメントでは、App Hub に登録されたアプリケーション、サービス、ワークロードで使用される AI リソースのテレメトリーを表示する方法について説明します。

エラー率、レイテンシ、トークン使用量などの指標を生成するために、アプリケーション モニタリング は、OpenTelemetry GenAI セマンティック規則に準拠するアプリケーション固有のラベル とイベントについてトレースデータをクエリします。これらの指標は、AI リソースの健全性、パフォーマンス、コストを定量化するもので、アプリケーションの集計データとして、または個々のサービスやワークロードの詳細データとして利用できます。

次のダッシュボードは、登録済みアプリケーションの AI リソース情報を示しています。

始める前に

このドキュメントの手順では、分析するアクティブな AI リソースを含む Google Cloud プロジェクトが必要です。また、AI リソースが App Hub に登録されているアプリケーション、サービス、ワークロードに関連付けられている必要があります。アプリケーション モニタリングで意味のある結果を生成するには、テレメトリー データとトレースデータが必要です。

ロールと API を構成し、アプリケーション モニタリングを設定する

1. アプリケーション、サービス、ワークロードを調査する: 始める前にで定義されている手順を完了します。

2. Observability API、Cloud Trace API、Telemetry API を有効にします。

   API を有効にするために必要なロール

   API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール（roles/owner）を介してこの権限をすでに持っている可能性があります。それ以外の場合は、Service Usage 管理者ロール（roles/serviceusage.serviceUsageAdmin）を介してこの権限を取得できます。ロールを付与する方法をご覧ください。

   API を有効にする

3. AI リソースの使用状況情報を表示するために必要な権限を取得するには、管理者に次の IAM ロールを付与するよう依頼してください。

   • オブザーバビリティ閲覧者 （roles/observability.viewer）プロジェクトに対する
   • クエリするオブザーバビリティ ビューに対する オブザーバビリティ閲覧アクセサーroles/observability.viewaccessor。この付与は特定のビューに制限できます。

   ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

   必要な権限は、カスタム ロールや他の事前定義 ロールから取得することもできます。

アプリケーション、サービス、ワークロードを開発して登録する

アプリケーション、サービス、ワークロードで使用する AI リソースのデータを表示するには、トレースデータに、OpenTelemetry GenAI セマンティック規則に準拠するアプリケーション固有のラベルとイベントが含まれている必要があります。これらのラベルを取得するには、次の手順を完了します。

1. アプリケーションとそのサービスとワークロードを App Hub に登録します。
2. Agent Development Kit（ADK）フレームワーク を使用するか、OpenTelemetry でアプリケーションを計測し、トレース データを Telemetry API に送信します。計測のサンプルについては、 OpenTelemetry を使用して ADK アプリケーションを計測すると コレクタベースの計測サンプルの概要をご覧ください。

アプリケーションの AI リソースを表示する

アプリケーションに関連付けられた AI リソースを表示するには、次の操作を行います。

1. コンソールで、[アプリケーションのモニタリング] ページに移動します。 Google Cloud

   [アプリケーションのモニタリング] に移動

   検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

2. コンソールのツールバーで、App Hub ホスト プロジェクトまたは管理プロジェクトを選択します。 Google Cloud

3. [アプリケーション] タブを選択し、リストからアプリケーションを選択します。

4. [ダッシュボード] タブを選択します。

5. ダッシュボードの [目次] で、[AI リソース] を選択します。

   アプリケーションに関連付けられたアクティブな AI エージェントが 1 つ以上ある場合、[AI リソース] エントリが作成されます。エージェントがない場合や、すべてのエージェントが非アクティブな場合は、このオプションは表示されません。

ダッシュボードが [AI リソース] セクションに移動し、次のような情報が表示されます。

• 1 秒あたりの合計秒間クエリ数とトークン数。
• 平均エラー率、レイテンシ、ツール呼び出しエラー率。
• トークン使用量。
• エージェントのエラー率とレイテンシ。

サービスまたはワークロードの AI リソースを表示する

サービスまたはワークロードに関連付けられた AI リソースを表示するには、次の操作を行います。

1. サービスまたはワークロードのダッシュボードを開きます。

   1. コンソールで、[アプリケーションのモニタリング] ページに移動します。 Google Cloud

      [アプリケーションのモニタリング] に移動

      検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

   2. [サービスとワークロード] タブを選択し、サービスまたはワークロードを選択します。

   サービスまたはワークロードのダッシュボードが開きます。[目次] には、ダッシュボードのセクションが一覧表示されます。これは、AI リソースのタイプによって異なる場合があります。

2. AI リソースに関する情報を含むダッシュボードのセクションに移動するには、ダッシュボードの [目次] を使用します。

   • エージェント: エージェントで使用できます。このセクションには、セッション、エージェントの呼び出し、トークン使用量に関する情報が表示されます。

   • ツール: エージェントで使用できます。このセクションには、エラー率、呼び出し数、P95 レイテンシなど、ツール呼び出しに関する情報が表示されます。

   • モデル: 一部のエージェントで使用できます。このセクションには、エージェントによるモデル呼び出しの数、エラー率、トークン使用量に関する情報が表示されます。

テレメトリーを調べる

トレースデータに対する SQL クエリによって、AI リソースグラフに表示されるデータが決まります。これらのクエリは、 アプリケーション固有のラベル と、 OpenTelemetry GenAI セマンティック規則に準拠する生成 AI イベントでトレースデータをフィルタします。

グラフのクエリを表示するには、グラフのツールバーで、 [**その他のグラフ オプション**] を選択し、 [**Observability Analytics で調べる**] を選択します。

[Observability Analytics] が開き、グラフのデータを生成する SQL クエリが表示されます。お手数ですが以下のどちらかの方法でご対応ください。

• クエリを検査してから、アプリケーション モニタリングに戻ります。
• クエリを実行します。
• クエリを変更し、変更したクエリを実行します。
• クエリ結果を表示するグラフを作成します。
• クエリ結果を表示するグラフをカスタム ダッシュボードに保存します。

詳細については、次のリソースをご覧ください。

• テレメトリー ストレージの概要: トレースデータ
• Observability Analytics