本文档提供了一个参考架构,可帮助您在 Google Cloud中设计强大的多智能体 AI 系统。多智能体 AI 系统通过将复杂的动态流程分解为多个任务,并由多个专业 AI 智能体协同执行,从而优化整个流程。
本文档的目标受众群体包括在云端构建和管理 AI 基础设施及应用的架构师、开发者和管理员。本文档假定您对 AI 智能体和模型有基本的了解。本文档未提供有关设计和编写 AI 智能体的具体指导。
本文档的部署部分列出了可用于学习如何构建和部署多智能体 AI 系统的代码示例。
架构
下图展示了在 Google Cloud中部署的多代理 AI 系统的示例架构。
架构组件
上一部分中的示例架构包含以下组件:
- 前端
- 用户通过前端(例如作为无服务器 Cloud Run 服务运行的聊天界面)与多智能体系统进行交互。
- 代理
在此示例中,协调器代理控制着智能体 AI 系统。协调器代理会调用相应的子代理来触发代理流程。智能体可以使用 Agent2Agent (A2A) 协议相互通信,从而实现智能体之间的互操作性,而无需考虑其编程语言和运行时。示例架构展示了顺序模式和迭代优化模式中的代理。
如需详细了解此示例中的子代理,请参阅代理流程部分。
- Agent Runtime
AI 智能体可以部署为无服务器 Cloud Run 服务、Google Kubernetes Engine (GKE) 上的容器化应用,或 Gemini Enterprise Agent Platform 上的 Agent Runtime。
- ADK
智能体开发套件 (ADK) 提供用于开发、测试和部署智能体的工具和框架。ADK 可抽象化智能体创建的复杂性,让 AI 开发者专注于智能体的逻辑和功能。
- AI 模型和模型运行时
对于推理服务,此示例架构中的代理使用 Gemini Enterprise Agent Platform 上的 AI 模型。该架构展示了 Cloud Run 和 GKE 作为您选择使用的 AI 模型的替代运行时。
- Model Armor
Model Armor 可用于检查和清理在 Agent Platform 和 GKE 中部署的模型的输入和回答。Model Armor 还可用于通过 Agent Gateway 路由的代理和工具流量。如需了解详情,请参阅 Model Armor 与 Google Cloud 服务集成。
- MCP 客户端、服务器和工具
Model Context Protocol (MCP) 通过标准化代理与工具之间的互动,简化了对工具的访问。对于每个代理-工具对,MCP 客户端都会向 MCP 服务器发送请求,代理通过该服务器访问数据库、文件系统或 API 等工具。
Agentic 流程
上述架构中的多智能体系统示例具有以下流程:
- 用户通过前端(例如以无服务器 Cloud Run 服务形式运行的聊天界面)输入提示。
- 前端将提示转发给协调器代理。
协调器代理会根据提示中表达的意图启动以下某个智能体流程。
- Sequential:
- 任务 A 子代理执行任务。
- 任务 A 子智能体调用任务 A.1 子智能体。
迭代优化:
- 任务 B 子代理执行任务。
- 质量评估器子代理会检查任务 B 子代理的输出。
- 如果输出不令人满意,质量评估器会调用提示增强器子代理来优化提示。
- 任务 B 子代理使用增强型提示再次执行其任务。
此循环会一直持续,直到输出结果令人满意或达到最大迭代次数为止。
示例架构包含一个human-in-the-loop路径,以便人类用户在必要时介入智能体流程。
- Sequential:
任务 A.1 子代理和质量评估器子代理会独立调用回答生成器子代理。
回答生成器子代理会生成回答,执行验证和依据检查,然后通过协调器代理将最终回答发送给用户。
使用的产品和工具
此参考架构使用以下 Google Cloud 和第三方产品及工具:
- Cloud Run:一个无服务器计算平台,可让您直接在 Google 可伸缩的基础设施之上运行容器。
- Gemini Enterprise Agent Platform:一个综合性平台,可用于构建、扩缩、治理和优化企业级 AI 智能体。
- Google Kubernetes Engine (GKE):一种 Kubernetes 服务,可用于使用 Google 的基础架构来大规模部署和操作容器化应用。
- Model Armor:一项服务,可为您的生成式 AI 和智能体 AI 资源提供防护,抵御提示注入、敏感数据泄露和有害内容。
- 智能体开发套件 (ADK):一套用于开发、测试和部署 AI 代理的工具和库。
- Agent2Agent (A2A) 协议:一种开放协议,可让代理之间实现通信和互操作,而无需考虑其编程语言和运行时。
- Model Context Protocol (MCP):一种开放源代码标准,用于将 AI 应用连接到外部系统。
使用场景
多智能体 AI 系统适用于复杂的应用场景,这些场景需要多个专业技能集之间的协作和协调才能实现业务目标。如需确定多智能体 AI 系统适合的应用场景,请分析您的业务流程并确定 AI 可以增强的具体任务。专注于可实现的业务成果,例如降低成本和加快处理速度。这种方法有助于使您在 AI 方面的投资与业务价值保持一致。
以下是多智能体 AI 系统的应用场景示例。
理财顾问
提供个性化的股票交易建议并执行交易。下图展示了此用例的代理流程示例。此示例使用顺序模式。
下图展示了以下流程:
- 数据检索器代理从可靠来源检索实时和历史股价、公司财务报告及其他相关数据。
- 金融分析器代理会向数据应用适当的分析和图表绘制技术,识别价格变动模式并做出预测。
- 股票推荐智能体使用分析和图表,根据用户的风险偏好和投资目标生成个性化推荐,以买入和卖出特定股票。
- 交易执行代理会代表用户买卖股票。
研究助理
制定研究计划、收集信息、评估和完善研究,然后撰写报告。下图展示了此用例的代理流程示例。此示例中的主要流程使用顺序模式。该示例还包含迭代优化模式。
下图展示了以下流程:
- 规划者代理会创建详细的研究计划。
研究员代理会完成以下任务:
- 根据研究计划确定合适的内部和外部数据源。
- 收集并分析所需的数据。
- 准备研究摘要,并将其提供给评估代理。
研究员智能体会重复执行这些任务,直到评估员智能体批准研究结果。
报告撰写代理会创建最终研究报告。
供应链优化工具
优化库存、跟踪货件并与供应链合作伙伴沟通。 下图展示了此用例的代理流程示例。 此示例使用顺序模式。
仓库经理代理会根据库存、需求预测和供应商交货期创建补货订单,从而确保库存水平达到最佳状态。
- 智能体与物流跟踪智能体互动,以跟踪配送情况。
- 该代理会与供应商通信代理互动,以通知供应商订单变更。
货运跟踪智能体通过与供应商的物流平台和运输公司系统集成,确保及时高效地完成订单。
供应商通信代理代表系统中的其他代理与外部供应商进行通信。
设计替代方案
您可以根据对可管理性、控制性和灵活性的要求,在 Google Cloud 中为 AI 代理和模型选择一系列运行时选项。如需了解详情,请参阅选择智能体 AI 架构组件。
设计考虑事项
本部分介绍了一些设计因素、最佳实践和建议,您在使用此参考架构开发满足特定安全性、可靠性、费用和性能要求的拓扑时应考虑这些内容。
本部分中的指导并非详尽无遗。根据工作负载的要求以及您使用的 Google Cloud 和第三方产品与功能,您可能还需要考虑其他设计因素和权衡因素。
系统设计
本部分提供的指导可帮助您为部署选择 Google Cloud 区域以及选择适当的 Google Cloud 产品和工具。
区域选择
为 AI 应用选择 Google Cloud 区域时,请考虑以下因素:
- Google Cloud 服务在每个区域的可用性。
- 最终用户延迟时间要求。
- Google Cloud 资源的费用。
- 法规要求。
如需为应用选择合适的 Google Cloud 位置,请使用以下工具:
- Google Cloud 区域选择器:一种基于 Web 的互动式工具,可根据碳足迹、费用和延迟时间等因素为您的应用和数据选择最佳 Google Cloud区域。
- Cloud Location Finder API:一种公共 API,可提供一种以程序化方式查找 Google Cloud、Google Distributed Cloud 和其他云提供商中的部署位置的方法。
代理设计
本部分提供有关设计 AI 智能体的一般建议。有关编写代理代码和逻辑的详细指南不在本文档的讨论范围内。
- 智能体定义和设计:
- 明确定义智能体 AI 系统的业务目标以及每个智能体执行的任务。
- 选择最符合您要求的代理设计模式。
- 使用 ADK 可高效创建、部署和管理智能体架构。
- 客服互动:
- 在架构中设计面向用户的代理,以支持自然语言互动。
- 确保每个代理都清楚地向其依赖的客户端传达其操作和状态。
- 设计智能体,使其能够检测和处理模棱两可的查询和细致的互动。
- 背景信息、工具和数据:
- 确保代理具有足够的上下文来跟踪多轮交互和会话参数。
- 清楚地描述智能体可使用的工具的用途、实参和用法。
- 确保智能体的回答基于可靠的数据源,以减少幻觉。
- 实现逻辑来处理无匹配情况,例如提示与主题无关时。
安全
本部分介绍了设计注意事项和建议,可帮助您在 Google Cloud 中设计满足工作负载安全要求的拓扑。
智能体的安全注意事项
AI 智能体引入了一些独特的严重安全风险,而传统的确定性安全实践可能无法充分缓解这些风险。Google 建议采用一种方法,将确定性安全控制的优势与基于推理的动态防御相结合。这种方法基于三大核心原则:人工监督、精心定义的智能体自主性以及可观测性。以下是与这些核心原则相符的具体建议。
- 人工监督:智能体 AI 系统有时可能会出现故障或无法按预期运行。例如,模型可能会生成不准确的内容,或者智能体可能会选择不合适的工具。在业务关键型智能体 AI 系统中,纳入人机协同流程,以便人工监督员监控、替换和暂停智能体。例如,人类用户可以审核代理的输出、批准或拒绝输出,并提供进一步的指导来纠正错误或做出战略决策。这种方法将智能体 AI 系统的高效性与人类用户的批判性思维和领域专业知识相结合。
- 代理身份和最小权限访问:
- 使用代理身份为每个代理提供基于 SPIFFE 的工作负载绑定身份。将代理部署到 Agent Runtime 或 Cloud Run 时,可以使用代理身份。
- 使用 Identity and Access Management (IAM) 访问权限政策和使用 IAM 进行代理平台访问权限控制来配置各个代理的权限。仅向每个代理授予其执行任务以及与工具和其他代理通信所需的权限。为了进一步隔离每个代理并限制安全漏洞的潜在影响,请将Principal Access Boundary (PAB) 政策绑定到代理身份。
- 当代理需要向外部工具或第三方 API 进行身份验证时,请使用 Agent Identity Auth Manager。 采用这种方法,您可以集中控制 OAuth 令牌和 API 密钥,而无需在代理代码或提示中嵌入凭据。
- 入站流量和出站流量治理:通过 Agent Gateway 路由智能体流量,以便在入站和出站边界强制执行运行时安全政策。如需了解支持 Agent Gateway 的运行时平台,请参阅支持的 Agent Runtime。
- 客户端到代理(入站流量):在 Agent Runtime 前面部署 Agent Gateway。网关可使用 Model Armor 帮助验证来电者的身份并实时检查入站提示。
- 从代理到任意位置(出站流量):
- 以出站流量模式通过 Agent Gateway 路由出站的智能体到智能体 (A2A) 和智能体到工具 (MCP) 请求。
- 使用 IAM 访问政策和 Identity-Aware Proxy (IAP) 强制执行默认拒绝访问政策。
- 验证目标代理和工具是否已在代理注册表中注册。
- 使用 Model Armor 检查出站工具调用和响应,以帮助防止数据渗漏、间接提示注入和工具滥用。
- 监控:利用全面的跟踪功能监控智能体行为,让您能够了解智能体执行的每项操作,包括其推理过程、工具选择和执行路径。如需了解详情,请参阅在 Agent Runtime 中记录代理和在 ADK 中记录。
如需详细了解如何保护 AI 智能体,请参阅 AI 智能体的安全性和安全性。
Agent Platform 安全注意事项
为确保代理平台配置和使用情况符合您的安全要求,请考虑以下建议:
- 责任共担:安全是责任共担。Agent Platform 可保护底层基础架构,并提供工具和安全控制措施,帮助您保护数据、代码和模型。您有责任正确配置服务、管理访问权限控制并保护应用的安全。如需了解详情,请参阅代理平台责任共担。
- 安全控制:Agent Platform 支持 Google Cloud 安全控制,您可以使用这些控制措施来满足数据驻留、客户管理的加密密钥 (CMEK)、使用 VPC Service Controls 的网络安全和Access Transparency方面的要求。如需了解详情,请参阅以下文档:
- 安全性:AI 模型可能会生成有害的回答,有时是为了响应恶意提示。
- 为了提高安全性并防范代理 AI 系统可能被滥用的情况,您可以配置内容过滤器来屏蔽有害的输入和回答。如需了解详情,请参阅安全过滤条件和内容过滤器。
- 如需检查和清理推理请求、代理提示、工具调用和回答,以防范提示注入和有害内容等威胁,您可以将 Model Armor 用于直接模型 API 调用以及通过 Agent Gateway 路由的请求。Model Armor 可帮助您防止恶意输入、验证内容安全性、保护敏感数据、保持合规性,并以一致的方式实施安全政策。
- 模型访问权限:您可以设置组织政策,以限制可在 Google Cloud 项目中使用的 AI 模型的类型和版本。如需了解详情,请参阅控制对 Model Garden 模型的访问权限。
- 数据保护:如需发现提示和回答以及日志数据中的敏感数据并对其进行去标识化处理,请使用 Cloud Data Loss Prevention API。如需了解详情,请观看以下视频:在 AI 应用中保护敏感数据。
MCP 安全注意事项
为帮助确保您的 MCP 实现满足安全要求,请考虑以下建议:
- 工具注册和发现:在 Agent Registry 中注册 MCP 服务器和工具,以便智能体仅连接到已列入清单且经过管理员批准的 MCP 端点。
- 访问权限控制和流量检查:以智能体到任意位置(出站)模式通过智能体网关路由智能体到 MCP 的流量,并使用 IAP 和 IAM 访问权限政策保护 MCP 服务器(例如托管在 Cloud Run 上的 MCP 服务器)。在 Agent Gateway 上配置 Model Armor 或 semantic governance policy,以检查 MCP 工具输入和输出是否存在敏感数据泄露和间接提示注入。
- 常规 MCP 安全性:将代理配置为使用 MCP 时,请确保对外部数据和工具的访问已获得授权,实施加密等隐私权控制措施,应用过滤器来保护敏感数据,并监控代理互动。如需了解详情,请参阅 MCP 和安全性。
A2A 安全注意事项
为帮助确保您的 A2A 实现满足安全要求,请考虑以下建议:
- 传输安全性:A2A protocol 强制要求在生产环境中进行的所有 A2A 通信都使用 HTTPS,并建议使用传输层安全协议 (TLS) 1.2 或更高版本。
- 身份验证:A2A protocol 将身份验证委托给标准 Web 机制(例如 HTTP 标头)以及 OAuth2 和 OpenID Connect 等标准。每个代理都会在其代理卡片中宣传身份验证要求。如需了解详情,请参阅 A2A 身份验证。
- 智能体间治理:在 Agent Registry 中注册 A2A 智能体,并通过 Agent Gateway 路由智能体间请求。通过将 Agent Gateway 与 Agent Identity、IAP 和 IAM 访问政策相结合,您可以对调用智能体的身份进行加密验证,在协调器智能体和子智能体之间强制执行精细的授权,并使用 Model Armor 检查智能体间载荷。
Cloud Run 安全注意事项
为帮助确保您的 Cloud Run 实现满足安全要求,请考虑以下建议:
- 入站流量安全性(针对前端服务):为了控制对应用的访问权限,请停用前端 Cloud Run 服务的默认
run.app网址,并设置区域级外部应用负载均衡器。 除了对应用传入的流量进行负载均衡之外,负载均衡器还负责处理 SSL 证书管理。为了增强保护,您可以使用 Google Cloud Armor 安全政策为服务提供请求过滤、DDoS 攻击防护和速率限制。 用户身份验证:
- 组织内部的用户:如需对内部用户访问前端 Cloud Run 服务的权限进行身份验证,请使用 IAP。如果用户尝试访问受 IAP 保护的资源,IAP 会执行身份验证和授权检查。
- 组织外部的用户:如需验证外部用户对前端服务的访问权限,请使用 Identity Platform 或 Firebase Authentication。如需管理外部用户访问权限,请将您的应用配置为处理登录流程,并向 Cloud Run 服务发出经过身份验证的 API 调用。
如需了解详情,请参阅对用户进行身份验证。
代理和 MCP 服务器安全性:在 Cloud Run 上托管代理或 MCP 服务器时,请配置 Cloud Run 的 Agent Platform 功能,以便为服务分配受管理的 Agent Identity,并使用 IAP 和 Agent Gateway 来对入站代理和工具请求进行身份验证和授权。
容器映像安全性:如需确保仅将获得授权的容器映像部署到 Cloud Run,您可以使用 Binary Authorization。如需识别和缓解容器映像中的安全风险,请使用 Artifact Analysis 自动运行漏洞扫描。如需了解详情,请参阅容器扫描概览。
数据驻留:Cloud Run 可帮助您满足数据驻留要求。您的 Cloud Run 服务在所选区域内运行。
如需有关容器安全的更多指导,请参阅 Cloud Run 常规开发技巧。
架构中所有 Google Cloud 产品的安全注意事项
为确保您的架构满足安全要求,请考虑以下一般建议:
- 数据加密:默认情况下, Google Cloud 会使用 Google-owned and Google-managed encryption keys对静态数据进行加密。如需使用您控制的加密密钥保护代理的数据,您可以使用在 Cloud KMS 中创建和管理的 CMEK。如需了解与 Cloud KMS 兼容的 Google Cloud 服务,请参阅兼容的服务。
- 降低数据渗漏风险:为降低数据渗漏风险,请在基础设施周围创建 VPC Service Controls 边界。VPC Service Controls 支持此参考架构使用的所有Google Cloud 服务。
- 访问权限控制:为拓扑中的资源配置权限时,请遵循最小权限原则。
- 云环境安全性:使用 Security Command Center 中的工具检测漏洞、识别和缓解威胁、定义和部署安全状况,以及导出数据以供进一步分析。
- 部署后优化:在Google Cloud中部署应用后,您可以使用 Active Assist 获取建议,以进一步优化安全性。查看建议,并根据您的环境酌情采纳。如需了解详情,请参阅在 Active Assist 中查找建议。
更多安全建议
可靠性
本部分介绍在 Google Cloud中为部署构建和运营可靠的基础设施时应考虑的设计因素和建议。
代理的可靠性注意事项
为确保代理配置符合可靠性要求,请考虑以下建议:
- 容错性:设计智能体系统,使其能够容忍或处理智能体级故障。在可行的情况下,使用代理可以独立运行的去中心化方法。
- 模拟故障:在将智能体 AI 系统部署到生产环境之前,请通过模拟生产环境对其进行验证。识别并修复代理之间的协调问题和意外行为。
- 错误处理:为了能够诊断和排查错误,请实现日志记录、异常处理和重试机制。
Agent Platform 可靠性注意事项
为确保代理平台配置和使用情况满足可靠性要求,请考虑以下建议:
- 容量规划:如果您的请求数量超出分配的容量,则系统会返回错误代码 429。对于业务关键型且始终需要高吞吐量的工作负载,您可以使用预配吞吐量来预留吞吐量。
- 模型端点可用性:如果数据可以在多个区域或国家/地区之间共享,您可以为模型使用全球端点。
Cloud Run 针对可用区和区域服务中断的稳健性
Cloud Run 是区域级服务。它会在一个区域内的多个可用区之间同步存储数据,并自动在这些可用区之间进行流量负载均衡。如果发生可用区服务中断,Cloud Run 将继续运行,并且数据不会丢失。如果区域服务中断,该服务将停止运行,直到 Google 解决服务中断问题。
架构中所有 Google Cloud 产品的可靠性注意事项
在 Google Cloud中部署应用后,您可以使用 Active Assist 获取建议,进一步优化可靠性。查看建议,并根据您的环境酌情采纳。如需了解详情,请参阅在 Active Assist 中查找建议。
如需了解特定于 AI 和机器学习工作负载的可靠性原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:可靠性。
操作
本部分介绍使用此参考架构设计可高效运营的 Google Cloud 拓扑时应考虑的因素。
Agent Platform 运营注意事项
为确保代理平台配置和使用情况满足您的运营要求,请考虑以下建议:
- 使用日志进行监控:默认情况下,写入
stdout和stderr信息流的代理日志会路由到 Cloud Logging。如需进行高级日志记录,您可以将 Python 日志记录器与 Cloud Logging 集成。如果您需要完全控制日志记录和结构化日志,请使用 Cloud Logging 客户端。如需了解详情,请参阅记录代理和 ADK 中的日志记录。 - 持续评估:定期对智能体的输出和智能体为生成输出而采取的轨迹或步骤进行定性评估。如需实现智能体评估,您可以使用 Gen AI Evaluation Service 或 ADK 支持的评估方法。
MCP 操作注意事项
为确保您的 MCP 实现满足运营要求,请考虑以下建议:
- 数据库工具:如需高效管理 AI 智能体的数据库工具,并确保智能体安全地处理连接池和身份验证等复杂问题,请使用 MCP Toolbox for Databases。它提供了一个集中位置来存储和更新数据库工具。您可以在多个代理之间共享工具,并更新工具,而无需重新部署代理。该工具箱包含各种工具,可用于 AlloyDB for PostgreSQL 等 Google Cloud数据库,也可用于 MongoDB 等第三方数据库。
- 生成式 AI 模型:如需让 AI 智能体使用 Google 生成式 AI 模型(例如 Imagen 和 Veo),您可以使用 MCP 服务器(适用于 Google Cloud 生成式媒体 API)。
- Google 安全产品和工具:如需让 AI 智能体访问 Google 安全产品和工具(例如 Google Security Operations、Google Threat Intelligence 和 Security Command Center),请使用 Google 安全产品的 MCP 服务器。
架构中所有 Google Cloud 产品的运营注意事项
使用 Cloud Trace 持续收集和分析跟踪记录数据。借助轨迹数据,您可以快速识别和诊断复杂 Agentic Workflows 中的错误。您可以通过 Trace 探索器工具中的可视化图表进行深入分析。如需了解详情,请参阅查看代理轨迹。
如需了解特定于 AI 和机器学习工作负载的卓越运营原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:卓越运营。
费用优化
本部分将指导您优化您使用此参考架构构建的 Google Cloud 拓扑的设置和操作费用。
Agent Platform 费用注意事项
为确保您的 Agent Platform 配置和使用情况符合您的费用要求,请考虑以下建议:
- 费用分析和管理:为了分析和管理代理平台费用,我们建议您创建每秒查询次数 (QPS) 和每秒令牌数 (TPS) 的基准指标。然后,在部署后监控这些指标。基准还有助于进行容量规划。例如,基准有助于您确定何时可能需要预配吞吐量。
- 模型选择:您为 AI 应用选择的模型会直接影响费用和性能。为了找到在性能和费用之间取得最佳平衡的模型,请针对您的特定使用情形迭代测试模型。我们建议您先从最具成本效益的型号入手,然后逐步升级到更强大的型号。
- 经济高效的提示:提示(输入)和生成的回答(输出)的长度会直接影响性能和费用。撰写简短、直接且提供足够背景信息的提示。设计提示,以便从模型中获得简洁的回答。例如,可使用“用两句话总结”或“列出 3 个要点”等短语。如需了解详情,请参阅提示设计最佳实践。
- 上下文缓存:如需降低包含重复内容及大量输入 token 的请求的费用,请使用上下文缓存。
- 批量请求:在相关情况下,考虑使用批量预测。 批量请求的费用低于标准请求。
Cloud Run 费用注意事项
为帮助确保 Cloud Run 实现满足您的费用要求,请考虑以下建议:
- 资源分配:创建 Cloud Run 服务时,您可以指定要分配的内存量和 CPU 量。首先,请使用默认的 CPU 和内存分配。观察一段时间内的资源使用情况和费用,并根据需要调整分配。如需了解详情,请参阅为服务配置内存限制和为服务配置 CPU 限制
- 费率优化:如果您可以预测 CPU 和内存要求,则可以通过承诺使用折扣 (CUD) 来节省资金。
架构中所有 Google Cloud 产品的费用注意事项
在 Google Cloud中部署应用后,您可以使用 Active Assist 获取建议,进一步优化费用。查看建议,并根据您的环境酌情采纳。如需了解详情,请参阅在 Active Assist 中查找建议。
如需估算 Google Cloud 资源的费用,请使用Google Cloud 价格计算器。
如需了解特定于 AI 和机器学习工作负载的费用优化原则和建议,请参阅 Well-Architected Framework 中的AI 和机器学习视角:费用优化。
性能优化
本部分介绍了在 Google Cloud 中设计满足工作负载性能要求的拓扑时应考虑的设计事项和建议。
代理的性能考虑因素
为确保代理配置满足性能要求,请考虑以下建议:
- 模型选择:为智能体 AI 系统选择模型时,请考虑智能体需要执行的任务所需的功能。
- 提示优化:如需大规模快速改进和优化提示效果,并避免手动重写提示,请使用 Agent Platform 提示优化器。 优化器可帮助您高效地调整提示,以适应不同的模型。
Agent Platform 性能注意事项
为确保代理平台配置和使用情况满足性能要求,请考虑以下建议:
- 模型选择:您为 AI 应用选择的模型会直接影响费用和性能。为了找到在性能和费用之间取得最佳平衡的模型,请针对您的特定使用情形迭代测试模型。我们建议您先从最具成本效益的型号入手,然后逐步升级到更强大的型号。
- 提示工程:提示(输入)和生成的回答(输出)的长度会直接影响性能和费用。撰写简短、直接且提供足够背景信息的提示。设计提示,以便从模型中获得简洁的回答。例如,可使用“用两句话总结”或“列出 3 个要点”等表述方式。如需了解详情,请参阅提示设计最佳实践。
- 上下文缓存:为了缩短包含重复内容及大量输入 token 的请求的延迟时间,请使用上下文缓存。
Cloud Run 性能注意事项
根据性能要求,配置要分配给 Cloud Run 服务的内存和 CPU。如需了解详情,请参阅为服务配置内存限制和为服务配置 CPU 限制
如需了解更多性能优化指南,请参阅常规 Cloud Run 开发技巧。
架构中所有 Google Cloud 产品的性能注意事项
在 Google Cloud中部署应用后,您可以使用 Active Assist 获取建议,进一步优化性能。查看建议,并根据您的环境酌情采纳。如需了解详情,请参阅在 Active Assist 中查找建议。
如需了解特定于 AI 和机器学习工作负载的性能优化原则和建议,请参阅 Well-Architected 框架中的 AI 和机器学习视角:性能优化。
部署
如需了解如何构建和部署多智能体 AI 系统,请使用以下代码示例。这些代码示例是完全可用的起点,可用于学习和实验。为了在生产环境中实现最佳运行,您必须根据自己的具体业务和技术要求自定义代码。
- 课程创建者:创建结构化的教育课程。
- 财务顾问: 分析股市数据、制定交易策略、确定执行计划并评估风险。
- 研究助理:规划和开展研究、评估研究结果,并撰写研究报告。
- 搜索优化器: 查找搜索广告关键字、分析网页并提供优化搜索的建议。
- Airbnb 规划器(支持 A2A 和 MCP):针对指定位置和时间,查找 Airbnb 房源并获取天气信息。
后续步骤
- 为您的智能体 AI 系统选择设计模式。
- 探索 Agent Garden 中的示例代理和工具。
- 使用 ADK 构建代理。
- 将代理部署到 Google Cloud。
- 在 Cloud Run 上托管 A2A 智能体。
- 在 Cloud Run 上托管 MCP 服务器。
- 如需简要了解 Google Cloud中特定于 AI 和机器学习工作负载的架构原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角。
- 如需查看更多参考架构、图表和最佳实践,请浏览 Cloud 架构中心。
贡献者
作者: Kumar Dhanagopal | 跨产品解决方案开发者
其他贡献者:
- Alan Blount | 产品经理
- Ali Arsanjani 博士 | 应用 AI 工程总监
- Filipe Gracio 博士 | 客户工程师,AI/机器学习专家
- Holt Skinner | 开发技术推广工程师
- Jack Wotherspoon | 开发技术推广工程师
- Joe Shirey | Cloud 开发者关系经理
- Megan O'Keefe | 开发技术推广工程师
- Samantha He | 技术文档工程师
- Sara Ford | 高级开发者关系工程师
- Shir Meir Lador | 开发者关系工程经理
- Victor Dantas | 生成式 AI 现场解决方案架构师
- Vlad Kolesnikov | 开发者关系工程师