AI を取り巻く状況が急速に進化するなか、エージェントの構築とデプロイには固有の課題があります。AI エージェントは、知らぬ間にドリフト、ハルシネーション、回帰を引き起こす可能性があります。予期しない意思決定やアクションを行うこともあります。 また、エージェントを使用しないソフトウェアとは異なる方法で失敗することもあります。 エージェントのオブザーバビリティとは、ソフトウェア エージェント、特に大規模言語モデル（LLM）を使用して構築された AI エージェントなどの内部状態と動作に関する分析情報を取得する方法を指します。
エージェントのオブザーバビリティのメリット
AI エージェントは非決定的で複雑であるため、パフォーマンス、安全性、信頼性を理解、デバッグ、評価、改善するには、オブザーバビリティが不可欠です。
エージェントのオブザーバビリティの重要な側面には、次のモニタリングと分析が含まれます。
- LLM のインタラクション: プロンプト、レスポンス、トークン使用量、レイテンシ、エラー率を追跡します。
- ツールの使用状況: エージェントがやり取りする外部ツールと API をモニタリングします。これには、呼び出し回数、成功または失敗、レイテンシ、交換されたデータが含まれます。
- エージェントの動作と推論: エージェントの意思決定プロセス、実行されたステップのシーケンス、内部状態の変化を把握します。
- パフォーマンス: エージェント呼び出しのエンドツーエンドのレイテンシ、個々のステップのレイテンシ、リソース消費量を測定します。これには、詳細なトレースが必要になることがよくあります。
- セキュリティと安全性: ポリシーの適用状況を追跡し、リスクの高いオペレーションを特定し、コンテンツの安全性を分析し、アクセス パターンをモニタリングします。
- 品質と評価: エージェントの出力の正確性、事実性、有用性、全体的な品質を評価します。多くの場合、評価フレームワークと統合されます。
のエージェントのオブザーバビリティとは Google Cloud
アプリケーション モニタリング は、エージェントの オブザーバビリティとアプリケーションのオブザーバビリティの両方を提供します。 Google Cloud このサービスは、App Hubのアプリケーション、サービス、ワークロードの健全性とパフォーマンスを把握できるダッシュボードとトポロジマップを提供します。また、AI リソースのエラー率やトークン使用量などの指標を生成して表示します。これらの指標を生成するために、 アプリケーションモニタリングは、 アプリケーション固有のラベルと、 OpenTelemetry GenAI セマンティック規則に準拠したイベントを使用してトレースデータをフィルタリングして集計します。
エージェントのオブザーバビリティでは、 Agent Development Kit（ADK）フレームワークを使用してエージェントを構築することをおすすめします。 ADK は OpenTelemetryに依存しているため、 ADK が生成するテレメトリーは OpenTelemetry GenAI セマンティック 規則と一致します。
Gemini Enterprise Agent Platform、Agent Gateway、Model Armor エージェントなど、障害のデバッグ、費用のモニタリング、エージェントの動作の分析を行うには、ログ、指標、トレースデータが必要です。
- ログには、イベントとエラーに関する情報が記録されます。
- 指標を使用すると、レイテンシとトークン使用量をモニタリングできます。
- トレースは実行パスに関する情報を提供し、モデル呼び出しの数やトークン使用量の合計などの指標を導出するために分析されます。これらの派生指標により、エージェントのパフォーマンスと動作を可視化できます。詳細については、 AI リソースを表示するをご覧ください。
- プロンプトとレスポンスのデータを使用すると、Gen AI Evaluation Service を使用してエージェントの品質と意思決定を評価できます。
アプリケーションのアプリケーション モニタリング ダッシュボードには、 アプリケーションのサービスとワークロードのリストが表示されます。たとえば、 Gemini Enterprise アプリ、 Gemini Enterprise Agent Platform エージェント 、MCP サーバーなどです。
エージェント サービスとワークロードは、インフラストラクチャ タイプまたは App Hub 機能タイプを使用して識別できます。 機能タイプの列はデフォルトで非表示になっています。
エージェントのオブザーバビリティを使ってみる
推論とツールを使用して複雑なエンタープライズ タスクを実行する AI エージェントの構築、デプロイ、管理の方法については、 エージェントの概要をご覧ください。
Gemini Enterprise Agent Platform が提供するオブザーバビリティ ツールについては、 オブザーバビリティの概要をご覧ください。
エージェントの品質に関する情報を提供する評価を行う方法については、 エージェントの評価をご覧ください。
コードサンプルについては、以下をご覧ください。
次のステップ
- エージェントの保護と管理の方法については、 エージェントを管理するをご覧ください。