本文說明為生成式 AI 應用程式加入檢測功能的優點。此外,本文也會摘要說明如何檢測使用 LangGraph 或 Agent Development Kit (ADK) 架構的應用程式。這兩個架構都可讓您收集及查看多模態提示和回覆。
生成式 AI 虛擬服務專員簡介
使用生成式 AI 的應用程式會依賴代理程式完成工作或達成目標。代理程式是代表使用者完成工作或達成目標的應用程式。舉例來說,生成式 AI 代理程式可以瀏覽網站並發出 API 指令。這些 API 指令可能會擷取資訊或執行動作。
代理會自主行動,並運用推理能力將目標或工作分解為子工作,然後決定要使用哪些工具完成這些子工作。在生成式 AI 領域,工具決定了代理與環境互動的方式。舉例來說,代理程式可能具備可發出 API 指令的工具。
如要進一步瞭解代理程式,請參閱下列文章:
為何要監控生成式 AI 應用程式
只有對生成式 AI 應用程式進行檢測,才能瞭解自主代理程式使用的推論方式。這項推論程序並非確定性程序。
當您為生成式 AI 應用程式進行檢測時,遙測資料會包含代理程式的決策和動作。您可以根據這項資料驗證或改善應用程式。
如何檢測生成式 AI 應用程式
為應用程式加入檢測功能時,需要產生遙測資料,並傳送至可儲存、查詢及分析資料的位置。舉例來說,當檢測機制將遙測資料傳送至專案時,您可以使用 Google Cloud Observability 查看及分析該資料。 Google Cloud
建議您使用 OpenTelemetry 檢測應用程式,這個開放原始碼專案提供統一的應用程式檢測架構。我們提供的範例會使用 OpenTelemetry。
如需插碼資訊,請參閱下列文件:
收集及查看多模態提示和回覆:說明如何設定 LangGraph ReAct 代理或使用 ADK 建構的生成式 AI 代理,以收集多模態提示和回覆。此外,本文也會說明如何執行下列操作:
- 使用「Trace 探索工具」頁面查看提示詞和回覆。
- 使用 BigQuery 分析提示和回覆。
- 使用 Vertex AI SDK for Python 評估提示和回覆。
使用 OpenTelemetry 檢測 LangGraph ReAct 代理程式一文說明如何使用 OpenTelemetry 檢測採用 LangChain 或 LangGraph 框架的生成式 AI 應用程式。此外,這項功能也會連結至可供下載及執行的範例應用程式。範例應用程式會收集文字提示詞和回覆。
使用 OpenTelemetry 檢測 ADK 應用程式說明如何啟用內建檢測功能,從代理程式的主要動作收集遙測資料。遙測資料包括文字提示和代理程式回覆。此外,這項服務也會連結至範例應用程式,方便您下載及執行。 範例應用程式會收集文字提示詞和回覆。
使用追蹤記錄檢查 MCP 呼叫:說明如何設定應用程式,將追蹤內容傳遞至遠端 Google Cloud MCP 伺服器,讓這些伺服器將時距附加至追蹤記錄。
如何查看提示和回覆
如果時距符合 OpenTelemetry 生成式 AI 時距的語意慣例,且包含符合生成式 AI 事件語意慣例的屬性或事件,Cloud Trace 就會擷取生成式 AI 應用程式寫入的時距事件。
Cloud Trace 也會顯示多模態提示和回覆。在這種情況下,系統不會將提示和回覆附加至追蹤資料。而是儲存在 Cloud Storage bucket 中。如要進一步瞭解這項設定,請參閱「收集及查看多模態提示和回覆」。