智能体 AI 应用场景:对多模态数据进行分类

Last reviewed 2026-03-03 UTC

本文档提供了一个部署在 Cloud Run 上的多智能体 AI 系统的高级架构,该系统可以分析不同的多模态数据并生成高置信度的分类。这种方法通过将实时数据与历史标准答案进行匹配来交叉验证碎片化媒体,从而生成有依据且可验证的洞见。

本文档的目标受众群体包括在云端构建和管理 AI 基础架构和应用的架构师、开发者和管理员。本文档假定您对 AI 智能体和模型有基本的了解。本文档未提供有关设计和编写 AI 智能体的具体指导。

本文档的“部署”部分列出了代码示例,您可以使用这些示例来了解如何构建和部署多智能体 AI 系统。

架构

下图展示了多智能体 AI 系统的架构,该系统使用 并行智能体设计模式 来协调对多模态数据的独立分析,以生成单个分类。

对多模态数据进行分类的多智能体 AI 系统的架构。

该架构展示了以下数据传输:

  1. Web 应用向根智能体发送请求,以分析一组多模态数据进行分类。根智能体是一个 协调智能体 ,用于接收请求并部署在 Cloud Run 服务上。
  2. 根智能体按以下方式处理请求:
    1. 根智能体启动 before_agent_callback 以收集环境配置、验证用户输入并将资源 路径保存在共享 会话状态中。所有子智能体都可以访问共享会话状态,这消除了获取状态数据的冗余调用并降低了整体延迟时间。
    2. 根智能体使用 Vertex AI 上的 Gemini 来解读用户请求,并将任务分配给并行运行的专用子智能体。
  3. 每个子智能体都专注于特定领域,并独立执行以下任务:
    1. 图片和视频分析子智能体与 自定义 Model Context Protocol (MCP) 服务器 进行交互,以 执行以下操作:
      1. 获取存储在 Cloud Storage 存储桶中的原始非结构化数据。
      2. 向 Gemini 发送请求,以解读输入数据、对数据进行分类并计算置信度。
      3. Gemini 将建议的分类和置信度发送回自定义 MCP 服务器。
      4. 自定义 MCP 服务器将响应转发回子智能体。
    2. 结构化数据分析子智能体通过完成以下任务来编排分析:
      1. BigQuery MCP 服务器交互,以获取存储在 BigQuery 数据集中的 结构化上下文数据(例如历史记录、事件日志或 传感器读数)。
      2. 结构化数据分析子智能体向 Gemini 发送请求,以解读输入数据、对数据进行分类并计算置信度。
      3. Gemini 将建议的分类和置信度发送回子智能体。
  4. 每个子智能体都会将建议的分类和置信度发送回根智能体。
  5. 根智能体使用 Gemini 汇总专用子智能体的输出,以生成单个高置信度的分类。
    • 如果专用子智能体的大部分分类都匹配,则根智能体会将匹配的分类发送到 Web 应用。
    • 如果子智能体未提供匹配的分类,则根智能体会选择置信度最高的分类并将其发送到 Web 应用。

使用的产品

此参考架构使用以下 Google Cloud 产品和工具:

如需了解如何为智能体 AI 系统选择替代组件(包括框架、智能体运行时、工具、内存和设计模式), 请参阅 选择智能体 AI 架构组件

使用场景

此架构专为合成各种多模态数据以执行分类和检测任务的使用场景而设计。为了提高准确性和可伸缩性,该架构使用多智能体 AI 系统,而不是单体式单智能体方法。这种设计模式提供有针对性的说明,避免冲突的指令,支持较小的工具集以加快决策速度,并支持独立更新,从而获得更稳健和复杂的结果。

以下是本文档中描述的架构的使用场景示例:

  • 医疗诊断:部署专用智能体以独立分析医学影像、患者 症状和实验室结果,从而提供全面的诊断评估。AI 系统会根据确定的置信度阈值汇总这些发现,以便为临床医生提供有依据且可验证的洞见。
  • 欺诈检测:部署智能体以 独立分析用户行为模式和交易数据(例如扫描的 收据和商家发票),从而检测并标记潜在的欺诈行为。通过将文档中的视觉证据与数字网络活动进行交叉引用,系统可以识别差异并标记单个智能体识别出可疑指标的任何交易。
  • 文档处理:部署专用智能体以进行光学字符识别 (OCR)、文档分类和数据提取,从而自动执行文档分类和信息提取。为了支持高置信度的处理,AI 系统要求所有智能体就输出达成一致。
  • 质量控制:部署 专用智能体以进行视觉检查、传感器数据分析和 规范检查,从而对产品质量进行分类或检测异常情况。系统会根据智能体之间确定的置信度阈值来确定通过或失败。

设计考虑事项

如需在生产环境中实现此架构,请考虑以下建议:

如需了解设计因素和最佳实践,以及有关构建和部署多智能体 AI 系统的建议,请参阅中的多智能体 AI 系统。 Google Cloud

部署

如需部署此架构的示例实现,请尝试 Way Back Home Level 1 Codelab

后续步骤

贡献者

作者:Samantha He | 技术文档工程师

其他贡献者: