如果您開發 AI 代理程式,可以使用 OpenTelemetry 監控應用程式,觀察代理程式的推理方式、呼叫工具的方式,以及對提示的回應方式。本指南解釋如何使用 LangGraph 和 Agent Development Kit (ADK) 等框架來擷取代理遙測數據,以及如何在 Cloud Trace 中分析多模態提示和回應。
檢測代理程式,瞭解其行為
當您開發或管理生成式 AI 應用程式時,遙測資料會擷取自主代理的推論步驟、工具呼叫和外部互動。這項資料有下列用途:
- 理解非確定性行為:由於代理的推論過程不是確定性的,遙測是唯一可靠的方法來檢查代理所做的決定和它選擇的工具。
- 排解及診斷錯誤:追蹤記錄有助於找出失敗的 API 要求、無限執行迴圈,以及分散式代理程式工作流程中的延遲瓶頸。
- 支援控管及驗證流量:遙測資料可讓您以視覺化方式呈現通訊流程 (例如在應用程式拓撲中),驗證代理程式是否只與授權的代理程式、MCP 伺服器和外部端點通訊。
- 評估輸出內容品質和費用:收集提示詞、回覆和詞元用量,有助於評估模型準確率、偵測幻覺,以及最佳化資源用量。
如何監控生成式 AI 應用程式
為應用程式進行儀表化作業時,需要產生遙測資料並傳送至目的地,以便儲存、查詢及分析資料。例如,當您的儀器向您的 Google Cloud 專案發送遙測資料時,您可以使用Google Cloud Observability來檢視和分析該資料。
Cloud Trace 當生成式 AI 應用程式編寫的 span 符合 span 和事件的語意約定時,會自動從這些 span 中提取事件。有關這些慣例的信息,請參閱以下文件:
Cloud Trace 還可以顯示多模態提示和回應。在這種情況下,系統不會將提示和回覆附加至追蹤資料。而是儲存在 Cloud Storage bucket 中。如要進一步瞭解這項設定,請參閱「收集及查看多模態提示和回覆」。
最佳做法
我們建議您使用 OpenTelemetry 來檢測您的應用程序,這是一個開源項目,它為應用程式檢測提供了一個統一的框架。本文件列出的檢測範例使用 OpenTelemetry。
此外,建議您將提示和回覆儲存在 Cloud Storage 值區中,而不是記錄項目:
您可以精細控管 Cloud Storage 值區中的內容。舉例來說,您可以刪除儲存在值區中的個別對話。不過,您無法刪除個別記錄項目。
Cloud Storage 值區可儲存的物件遠大於記錄項目的最大大小 (256 KiB)。如果收到的資料超過記錄項目大小上限,Cloud Logging 會傳回
INVALID_ARGUMENT錯誤並捨棄資料。如果指令執行完畢且沒有報錯,但個別欄位超過了其大小限制,則 Cloud Logging 會截斷該資料。
有關 OpenTelemetry 的信息,請參閱 什麼是 OpenTelemetry?。
檢測設備樣本
如要開始使用代理程式檢測,請參閱下列範例應用程式和指南:
收集及查看多模態提示和回覆:說明如何設定 LangGraph ReAct 代理或使用 ADK 建構的生成式 AI 代理,以收集多模態提示和回覆。它還描述如何執行以下操作:
- 將提示和回覆儲存在 Cloud Storage bucket 中。
- 使用 Trace Explorer 頁面查看提示和回應。
- 使用 BigQuery 分析提示和回覆。
- 使用 Python 適用的 Vertex AI SDK 評估提示和回覆。
使用 OpenTelemetry 為 LangGraph ReAct 代理程式進行檢測 描述如何使用 OpenTelemetry 為使用 LangChain 或 LangGraph 框架的生成式 AI 應用程式進行檢測。此外,這項功能也會連結至可供下載及執行的範例應用程式。此範例應用程式收集文字提示和回應。
使用 OpenTelemetry 檢測 ADK 應用程式說明如何啟用內建檢測功能,從代理程式的主要動作收集遙測資料。遙測資料包括文字提示和代理程式回覆。 此外,這項服務也會連結至可供下載及執行的範例應用程式。 範例應用程式會收集文字提示和回覆。
使用 Trace 檢查 MCP 呼叫:說明如何設定應用程式,將追蹤內容傳遞至遠端 Google Cloud MCP 伺服器,讓這些伺服器將範圍附加至追蹤記錄。