使用 BigQuery 智能体分析
BigQuery 智能体分析是一种开源解决方案，可让您大规模捕获、分析和直观呈现多模态智能体互动数据。 借助 BigQuery 智能体分析，您可以将原始智能体互动（请求、响应、工具调用和错误）直接流式传输到 BigQuery。这样，您就可以执行 AI 驱动的评估、优化智能体提示，并提取长期记忆，以增强未来的互动。
智能体开发套件 (ADK) 和 LangGraph（预览版）支持 BigQuery 智能体分析。
架构
BigQuery 智能体分析有助于将智能体活动数据流式传输到 BigQuery。通过使用 BigQuery Storage Write API，此解决方案可提供高吞吐量、低延迟的日志流式传输，而不会阻止智能体执行。
数据传输包括以下阶段：
- 捕获 。智能体开发套件 (ADK) 中的插件或 LangGraph 中的回调会拦截互动事件。
- 流式传输 。互动事件通过 Storage Write API 发送到 BigQuery。如果不存在标准化架构，智能体会自动创建一个。
- 消耗。使用预构建的控制台、数据智能体或 SQL 和高级 BigQuery ML 功能来获取洞见。如需改进调试和评估，您可以使用 Python SDK。如需进行高级调试和 智能体评估用例，您还可以使用 BigQuery 智能体分析 SDK。
智能体分析的优势
- 只需一行代码即可启用全面日志记录，并自动执行架构管理。
- 使用对象表记录和分析多模态数据，包括文本、图片、视频和音频。
- 在稳健的预定义架构中跟踪令牌消耗和延迟时间等运营指标。
- 使用 BigQuery 生成式 AI 函数和向量搜索来发现优化机会。
- 通过精细的访问权限控制、数据遮盖和加密来保护智能体日志。
使用智能体日志数据的示例
以下是一些常见的使用场景和使用智能体日志数据的示例。
可观测性和运营指标
- 加载预构建的控制台 并使用您的表配置报告，以查找令牌 消耗量高、错误多或会话时长长的智能体。
- 使用 SQL 按智能体流程细分费用，并确定特定智能体（例如优化智能体）的令牌消耗量是否与其对最终响应的贡献不成比例。
- 使用 BigQuery 对话分析智能体
通过运行带有 the
AI.GENERATE函数的查询，进行 AI 驱动的根本原因分析。 例如，“分析此对话日志并说明失败的根本原因”。
智能体评估和质量分析
- 使用
AI.SCORE函数 对对话进行排名，并衡量智能体的排名随时间的变化。 - 使用带有 向量搜索 的 SQL 查询来 识别智能体未能帮助用户的对话集群，然后 将这些集群与用户的原始意图进行比较。这样做有助于发现智能体工具集或知识库中的差距。
业务洞见和情境化
- 在
agent_events表和其他业务表之间执行 JOIN，以情境化智能体数据。例如，显示与 AI 智能体互动的客户的平均订单价值 (AOV)，而不是使用搜索栏的客户的平均订单价值。
如需查看更多示例，请参阅高级分析查询。
使用 BigQuery 智能体分析
如需将 BigQuery 智能体分析集成到您的工作流中，请参阅框架的文档：
- ADK BigQuery Analytics 插件指南
- BigQuery 回调处理程序 集成 （LangChain 和 LangGraph）