Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

エージェントのオブザーバビリティ

AI を取り巻く状況が急速に進化するなか、エージェントの構築とデプロイには固有の課題があります。AI エージェントは、知らぬ間にドリフト、ハルシネーション、回帰を引き起こす可能性があります。予期しない決定やアクションを行うことがあります。また、エージェント型以外のソフトウェアとは異なる方法で失敗することもあります。エージェントのオブザーバビリティとは、ソフトウェアエージェント（特に大規模言語モデル（LLM）を使用して構築された AI 搭載エージェント）の内部状態と動作に関する分析情報を取得する方法を指します。

エージェントのオブザーバビリティのメリット

AI エージェントは非決定的で複雑なため、パフォーマンス、安全性、信頼性を理解、デバッグ、評価、改善するには、オブザーバビリティが不可欠です。

エージェントのオブザーバビリティの主な側面には、次のモニタリングと分析が含まれます。

LLM のインタラクション: プロンプト、レスポンス、トークンの使用量、レイテンシ、エラー率を追跡します。
ツールの使用状況: エージェントがやり取りする外部ツールと API（呼び出し回数、成功または失敗、レイテンシ、交換されたデータなど）をモニタリングします。
エージェントの動作と推論: エージェントの意思決定プロセス、実行された一連のステップ、内部状態の変化を把握します。
パフォーマンス: エージェント呼び出しのエンドツーエンドのレイテンシ、個々のステップのレイテンシ、リソース消費量を測定します。これには、多くの場合、詳細なトレースが必要です。
セキュリティと安全性: ポリシーの適用を追跡し、リスクの高いオペレーションを特定し、コンテンツの安全性を分析し、アクセスパターンをモニタリングします。
品質と評価: エージェントの出力の正確性、事実性、有用性、全体的な品質を評価します。多くの場合、評価フレームワークと統合されます。

Google Cloudのエージェントのオブザーバビリティとは

Google Cloud のアプリケーションモニタリングでは、エージェントのオブザーバビリティとアプリケーションのオブザーバビリティの両方が提供されます。このサービスには、App Hub のアプリケーション、サービス、ワークロードの健全性とパフォーマンスを把握できるダッシュボードとトポロジマップが用意されています。また、AI リソースのエラー率やトークン使用量などの指標を生成して表示します。これらの指標を生成するために、アプリケーションモニタリングは、OpenTelemetry GenAI セマンティック規則に従うアプリケーション固有のラベルとイベントを使用して、トレースデータをフィルタリングして集計します。

エージェントのオブザーバビリティを確保するには、Agent Development Kit（ADK）フレームワークを使用してエージェントを構築することをおすすめします。ADK は OpenTelemetry に依存しているため、ADK が生成するテレメトリーは OpenTelemetry GenAI のセマンティック規則に準拠しています。

障害のデバッグ、費用のモニタリング、エージェントの動作の分析（Gemini Enterprise Agent Platform、Agent Gateway、Model Armor エージェントなど）を行うには、ログ、指標、トレースデータが必要です。

ログには、イベントとエラーに関する情報が記録されます。
指標を使用すると、レイテンシとトークンの使用量をモニタリングできます。
トレースは実行パスに関する情報を提供し、分析されてモデル呼び出しの数や合計トークン使用量などの指標を導出します。これらの派生指標により、エージェントのパフォーマンスと動作を可視化できます。詳細については、AI リソースを表示するをご覧ください。
プロンプトとレスポンスのデータを使用すると、Gen AI Evaluation Service を使用してエージェントの品質と意思決定を評価できます。

アプリケーションのアプリケーションモニタリングダッシュボードには、Gemini Enterprise アプリ、Gemini Enterprise Agent Platform エージェント、MCP サーバーなど、アプリケーションのサービスとワークロードのリストが表示されます。

アプリケーション内のサービスとワークロードを一覧表示する概要。

エージェントサービスとワークロードは、インフラストラクチャタイプまたは App Hub の機能タイプを使用して識別できます。機能タイプ列はデフォルトで非表示になっています。