在日新月異的 AI 領域中，建構及部署代理會帶來獨特的挑戰。AI 代理可能會悄悄產生偏移、幻覺或效能退化。並做出您意想不到的決策和行動。 此外，它們的失效模式也與非代理軟體不同。 代理程式可觀測性是指深入瞭解軟體代理程式內部狀態和行為的方法，特別是 AI 輔助代理程式，例如使用大型語言模型 (LLM) 建構的代理程式。
代理可觀測性的優點
由於 AI 代理是複雜的不確定性系統，因此可觀測性對於瞭解、偵錯、評估及提升 AI 代理的效能、安全性和可靠性至關重要。
代理程式可觀測性的主要面向包括監控及分析下列項目：
- LLM 互動：追蹤提示、回覆、權杖用量、延遲和錯誤率。
- 工具使用情況：監控代理互動的外部工具和 API，包括呼叫次數、成功或失敗次數、延遲時間和交換的資料。
- 代理行為和推論：瞭解代理的決策過程、採取的步驟順序，以及內部狀態變化。
- 效能：評估代理呼叫的端對端延遲時間、個別步驟的延遲時間和資源消耗量，通常需要詳細追蹤。
- 安全與保障：追蹤政策執行情況、找出高風險作業、分析內容安全，以及監控存取模式。
- 品質和評估：評估代理輸出內容的正確性、事實性、實用性和整體品質，通常會整合評估架構。
什麼是 Google Cloud中的代理可觀測性？
應用程式監控 Google Cloud 提供代理程式觀測和應用程式觀測功能。這項服務提供資訊主頁和拓撲地圖，可協助您瞭解 App Hub 應用程式、服務和工作負載的健康狀態和效能。此外，也會產生並顯示 AI 資源的錯誤率和權杖用量等指標。如要產生這些指標，應用程式監控會使用應用程式專屬標籤和事件，按照 OpenTelemetry 生成式 AI 語意慣例篩選及彙整追蹤資料。
如要觀察代理，建議使用 Agent Development Kit (ADK) 架構建構代理。由於 ADK 採用 OpenTelemetry，因此 ADK 產生的遙測資料會符合 OpenTelemetry GenAI 語意慣例。
如要偵錯失敗情形、監控費用或分析代理程式行為 (包括來自 Gemini Enterprise 代理程式平台、代理程式閘道和 Model Armor 代理程式的行為)，您需要記錄、指標和追蹤資料：
- 記錄檔會提供事件和錯誤的相關資訊。
- 您可以透過指標監控延遲和權杖用量。
- 追蹤記錄提供執行路徑的相關資訊，並經過分析，可得出模型呼叫次數或權杖總用量等指標。這些衍生指標可讓您掌握代理程式的效能和行為。詳情請參閱「查看 AI 資源」一文。
- 您可以透過 Gen AI Evaluation Service，使用提示和回覆資料評估代理程式品質和決策。
應用程式的「應用程式監控」資訊主頁會顯示應用程式的服務和工作負載清單，例如 Gemini Enterprise 應用程式、Gemini Enterprise Agent Platform 代理程式和 MCP 伺服器：
您可以透過基礎架構類型或 App Hub 功能類型，識別代理程式服務和工作負載。功能類型欄預設為隱藏。
開始使用代理程式可觀測性
如要瞭解如何建構、部署及管理 AI 代理，運用推論和工具執行複雜的企業工作，請參閱「代理總覽」。
如要瞭解如何執行評估作業 (提供代理程式品質相關資訊)，請參閱「代理程式評估」。
如需程式碼範例，請參閱下列內容：
後續步驟
- 如要瞭解如何保護及管理代理程式，請參閱「管理代理程式」。