エージェントのオブザーバビリティ

AI を取り巻く状況が急速に進化するなか、エージェントの構築とデプロイには固有の課題があります。AI エージェントは、知らぬ間にドリフト、ハルシネーション、回帰を引き起こす可能性があります。予期しない判断や行動をとることもあります。また、エージェントを使用しないソフトウェアとは異なる方法で失敗する可能性もあります。エージェントのオブザーバビリティとは、ソフトウェアエージェント、特に大規模言語モデル（LLM）を使用して構築された AI エージェントなどの内部状態と動作に関する分析情報を取得する方法を指します。

エージェントのオブザーバビリティのメリット

AI エージェントは非決定的で複雑であるため、パフォーマンス、安全性、信頼性を理解、デバッグ、評価、改善するには、オブザーバビリティが不可欠です。

エージェントのオブザーバビリティの重要な側面には、次のモニタリングと分析が含まれます。

LLM のインタラクション: プロンプト、レスポンス、トークンの使用量、レイテンシ、エラー率を追跡します。
ツールの使用状況: エージェントがやり取りする外部ツールと API をモニタリングします。これには、呼び出し回数、成功または失敗、レイテンシ、交換されたデータが含まれます。
エージェントの動作と推論: エージェントの意思決定プロセス、実行されたステップのシーケンス、内部状態の変化を把握します。
パフォーマンス: エージェント呼び出しのエンドツーエンドのレイテンシ、個々のステップのレイテンシ、リソース消費量を測定します。これには、詳細なトレースが必要になることがよくあります。
セキュリティと安全性: ポリシーの適用状況を追跡し、リスクの高いオペレーションを特定し、コンテンツの安全性を分析し、アクセスパターンをモニタリングします。
品質と評価: エージェントの出力の正確性、事実性、有用性、全体的な品質を評価します。評価フレームワークと統合されることがよくあります。

でのエージェントのオブザーバビリティとは Google Cloud

アプリケーションモニタリングは、エージェントのオブザーバビリティとアプリケーションのオブザーバビリティの両方を提供します。 Google Cloud このサービスは、App Hub のアプリケーション、サービス、ワークロードの健全性とパフォーマンスを把握できるダッシュボードとトポロジマップを提供します。また、AI リソースのエラー率やトークン使用量などの指標を生成して表示します。これらの指標を生成するために、アプリケーションモニタリングは、アプリケーション固有のラベルと、 OpenTelemetry GenAI セマンティック規則に準拠したイベントを使用してトレースデータをフィルタリングして集計します。

エージェントのオブザーバビリティでは、 Agent Development Kit（ADK）フレームワークを使用してエージェントを構築することをおすすめします。 ADK は OpenTelemetryに依存しているため、 ADK が生成するテレメトリーは OpenTelemetry GenAI セマンティック規則と一致します。

Gemini Enterprise Agent Platform、Agent Gateway、Model Armor エージェントなど、障害のデバッグ、費用のモニタリング、エージェントの動作の分析を行うには、ログ、指標、トレースデータが必要です。

ログには、イベントとエラーに関する情報が記載されます。
指標を使用すると、レイテンシとトークンの使用量をモニタリングできます。
トレースは実行パスに関する情報を提供し、モデル呼び出しの数やトークンの合計使用量などの指標を導出するために分析されます。これらの派生指標により、エージェントのパフォーマンスと動作を可視化できます。詳細については、 AI リソースを表示するをご覧ください。
プロンプトとレスポンスのデータを使用すると、Gen AI Evaluation Service を使用してエージェントの品質と意思決定を評価できます。

アプリケーションのアプリケーションモニタリングダッシュボードには、アプリケーションのサービスとワークロードのリストが表示されます。たとえば、 Gemini Enterprise アプリ、 Gemini Enterprise Agent Platform エージェント、MCP サーバーなどです。

アプリケーション内のサービスとワークロードを一覧表示する概要。

インフラストラクチャタイプまたは App Hub の機能タイプを使用して、エージェントサービスとワークロードを識別できます。機能タイプの列はデフォルトで非表示になっています。