このドキュメントでは、生成 AI アプリケーションを計測するメリットについて説明します。また、LangGraph または Agent Development Kit（ADK）フレームワークを使用するアプリケーションを計測する方法についても説明します。どちらのフレームワークでも、テキスト プロンプトを収集できます。ただし、ADK フレームワークでは、マルチモーダル プロンプトとレスポンスを収集して表示することもできます。
生成 AI エージェントについて
生成 AI を使用するアプリケーションは、エージェントを使用してタスクの完や目標の達成を行います。エージェントは、ユーザーに代わってタスクの完了や目標の追求を行うアプリケーションです。たとえば、生成 AI エージェントはウェブサイトを操作し、API コマンドを実行できます。これらの API コマンドは、情報の取得やアクションの実行を行います。
エージェントは自動的に動作し、推論を使用して目標やタスクをサブタスクに分解する方法と、それらのサブタスクを実行するために使用するツールを決定します。生成 AI のコンテキストでは、ツールによってエージェントが環境とやり取りする方法を決定します。たとえば、エージェントには API コマンドの発行を可能にするツールが用意されています。
エージェントの詳細については、以下をご覧ください。
生成 AI アプリケーションを計測する理由
生成 AI アプリケーションの計測が、自律エージェントが使用する推論を理解する唯一の方法です。この推論プロセスは決定的ではありません。
生成 AI アプリケーションを計測すると、テレメトリー データにエージェントの意思決定とアクションが含まれます。このデータを使用して、アプリケーションを検証または改善できます。
生成 AI アプリケーションを計測する方法
アプリケーションを計測するには、テレメトリーを生成して、保存とクエリと分析が可能な場所に送信します。たとえば、計測によってテレメトリーが Google Cloud プロジェクトに送信される場合は、Google Cloud Observability を使用してそのデータを表示および分析できます。
アプリケーションの計測には、OpenTelemetry を使用することをおすすめします。OpenTelemetry は、アプリケーションの計測用の統合フレームワークを提供するオープンソース プロジェクトです。提供する例では、OpenTelemetry を利用しています。
計測の詳細については、次のドキュメントをご覧ください。
マルチモーダル プロンプトとレスポンスを収集して表示するでは、ADK で構築された生成 AI エージェントを構成して、マルチモーダル プロンプトとレスポンスを収集する方法について説明します。また、次の操作を行う方法についても説明します。
- [Trace エクスプローラ] ページでプロンプトとレスポンスを表示する。
- BigQuery でプロンプトとレスポンスを分析する。
- Vertex AI SDK for Python を使用してプロンプトとレスポンスを評価する。
OpenTelemetry を使用して LangGraph ReAct エージェントを計測するでは、OpenTelemetry を使用して、LangChain または LangGraph フレームワークを使用する生成 AI アプリケーションを計測する方法について説明します。また、読み込んで実行できるサンプル アプリケーションへのリンクも含まれています。
OpenTelemetry を使用して ADK アプリケーションを計測するでは、エージェントの主要なアクションからテレメトリーを収集する組み込みの計測を有効にする方法について説明します。テレメトリーには、テキスト プロンプトとエージェントのレスポンスが含まれます。また、読み込んで実行できるサンプル アプリケーションへのリンクも含まれています。
プロンプトとレスポンスの表示方法
Cloud Trace は、生成 AI アプリケーションによって書き込まれたスパンからイベントを抽出するように構成されています。ただし、スパンが OpenTelemetry の生成 AI スパンのセマンティック規則に準拠し、生成 AI イベントのセマンティック規則に従う属性またはイベントを含んでいることが条件です。
Cloud Trace では、マルチモーダル プロンプトとレスポンスを表示することもできます。このシナリオでは、プロンプトとレスポンスはトレースデータに関連付けられておらず、代わりに Cloud Storage バケットに保存されます。この構成の詳細については、マルチモーダル プロンプトとレスポンスを収集して表示するをご覧ください。