智能体 AI 应用场景：对多模态数据进行分类

Last reviewed 2026-03-03 UTC

本文档提供了一种部署在 Cloud Run 上的多代理 AI 系统的高级架构，该系统可分析不同的多模态数据并生成高可信度的分类结果。这种方法通过将实时数据与历史标准答案进行匹配，对碎片化媒体进行交叉验证，从而生成有据可查的真知灼见。

本文档的目标受众群体包括在云端构建和管理 AI 基础架构及应用的架构师、开发者和管理员。本文档假定您对 AI 代理和模型有基本的了解。本文档未提供有关设计和编码 AI 代理的具体指导。

本文档的部署部分列出了可用于学习如何构建和部署多智能体 AI 系统的代码示例。

架构

下图展示了多智能体 AI 系统的架构，该系统使用并行智能体设计模式来协调对多模态数据的独立分析，以生成单个分类结果。

对多模态数据进行分类的多智能体 AI 系统的架构。

该架构展示了以下数据传输：

  1. Web 应用向根代理发送请求，以分析一组用于分类的多模态数据。根代理是一种协调器代理，可接收请求并部署在 Cloud Run 服务上。
  2. 根代理按以下方式处理请求：
    1. 根代理会启动 before_agent_callback 以收集环境配置、验证用户输入，并将资源路径保存在共享的会话状态中。所有子代理都可以访问共享会话状态，从而避免了冗余的调用来获取状态数据，并降低了总体延迟时间。
    2. 根代理使用 Vertex AI 上的 Gemini 来解读用户请求，并将任务分配给并行运行的专业子代理。
  3. 每个子代理都专注于特定领域，并独立执行以下任务：
    1. 图片和视频分析师子代理会与自定义 Model Context Protocol (MCP) 服务器互动，以执行以下操作：
      1. 提取存储在 Cloud Storage 存储桶中的原始非结构化数据。
      2. 向 Gemini 发送请求，让其解读输入数据、对数据进行分类并计算置信度。
      3. Gemini 会将建议的分类和置信度级别发送回自定义 MCP 服务器。
      4. 自定义 MCP 服务器将响应转发回子代理。
    2. 结构化数据分析师子代理通过完成以下任务来编排分析：
      1. 与 BigQuery MCP 服务器互动，以提取存储在 BigQuery 数据集中的结构化上下文数据（例如历史记录、事件日志或传感器读数）。
      2. 结构化数据分析师向 Gemini 发送请求，要求其解读输入数据、对数据进行分类并计算置信度。
      3. Gemini 会将建议的分类和置信度返回给子代理。
  4. 每个子代理都会将建议的分类和置信度返回给根代理。
  5. 根代理使用 Gemini 总结专业子代理的输出，以生成单个高可信度的分类结果。
    • 如果专业子代理的大部分分类都匹配，根代理会将匹配的分类发送到 Web 应用。
    • 如果子代理未提供匹配的分类，则根代理会选择置信度最高的分类，并将其发送到 Web 应用。

使用的产品

此参考架构使用以下 Google Cloud 产品和工具：

如需了解如何为智能体 AI 系统选择替代组件（包括框架、智能体运行时、工具、内存和设计模式），请参阅选择智能体 AI 架构组件。

使用场景

此架构专为以下应用场景而设计：合成各种多模态数据，以用于分类和检测任务。为了提高准确性和可伸缩性，该架构采用多智能体 AI 系统，而不是单体式单智能体方法。这种设计模式可提供重点明确的指令，避免指令冲突，支持使用较小的工具集来更快地做出决策，并支持独立更新，从而实现更稳健、更复杂的结果。

以下是本文档中描述的架构的一些用例示例：

  • 医疗诊断：部署专业智能体，独立分析医学影像、患者症状和化验结果，从而提供全面的诊断评估。AI 系统会根据确定的置信度阈值总结这些发现，以便为临床医生提供有依据且可验证的洞见。
  • 欺诈检测：通过部署代理来独立分析用户行为模式和交易数据（例如扫描的收据和商家账单），检测并标记潜在的欺诈行为。通过将文档中的直观证据与数字网络活动进行交叉对比，系统可以识别出差异，并标记单个代理识别出可疑指标的任何交易。
  • 文档处理：部署专门用于光学字符识别 (OCR)、文档分类和数据提取的代理，自动执行文档分类和信息提取。为了支持高可信度处理，AI 系统要求所有代理就输出达成一致。
  • 质量控制：通过部署专门用于视觉检查、传感器数据分析和规范检查的代理，对产品质量进行分类或检测异常情况。系统会根据代理之间确定的置信度阈值来确定通过或失败。

设计考虑事项

如需在生产环境中实现此架构，请考虑以下建议：

  • 代理安全性：为了限制代理执行危险操作的能力，请创建代理身份，然后使用 Identity and Access Management (IAM) 属性来保护对 MCP 服务器的访问权限。应用最小权限原则有助于确保您的智能体 AI 系统按预期运行，并防止对生产资源进行意外的读写权限。
  • 入站流量安全性：为了控制对应用的访问权限，请停用前端 Cloud Run 服务的默认 run.app 网址，并设置区域级外部应用负载平衡器。 除了对应用传入的流量进行负载均衡之外，负载平衡器还负责处理 SSL 证书管理。为了增强保护，请使用 Google Cloud Armor 安全政策为服务提供请求过滤、DDoS 攻击防护和速率限制。
  • 容器映像安全性：如需确保仅将获得授权的容器映像部署到 Cloud Run，请使用 Binary Authorization。如需识别并缓解容器映像中的安全风险，请使用 Artifact Analysis 自动运行漏洞扫描。如需了解详情，请参阅容器扫描概览。
  • 经济高效的提示：提示（输入）和生成的回答（输出）的长度会直接影响性能和费用。撰写简短、直接且提供足够背景信息的提示。如需了解详情，请参阅提示设计最佳实践。
  • 存储费用：如需控制存储费用，您可以选择 Standard Storage，并启用对象生命周期管理和 Autoclass。这些功能可根据您的访问模式或您设置的规则，自动在存储类别之间移动或删除数据，从而帮助您优化费用。
  • 存储安全：Cloud Storage 支持两种方法来控制用户对存储分区和对象的访问权限：IAM 和访问权限控制列表 (ACL)。在大多数情况下，我们建议使用 IAM，这可让您在存储桶级和项目级授予权限。如需了解详情，请参阅访问权限控制概览。
  • 资源分配：根据性能要求，配置要分配给 Cloud Run 服务的内存上限和 CPU 上限。如需了解更多性能优化指南，请参阅常规 Cloud Run 开发技巧。

如需了解设计因素和最佳实践，以及有关构建和部署多代理 AI 系统的建议，请参阅 Google Cloud中的多代理 AI 系统。

部署

如需部署此架构的示例实现，请尝试学习“回家之路”第 1 级 Codelab。

后续步骤

贡献者

作者：Samantha He | 技术文档工程师

其他贡献者：