本文档提供了相关指导,可帮助您为 Google Cloud中的智能体 AI 应用选择架构组件。本文档介绍了如何评估应用和工作负载的特性,以选择最符合您需求的合适产品或服务。设计智能体 AI 架构的过程是一个迭代过程。您应随着工作负载特征的变化、需求的发展或新 Google Cloud 产品和功能的推出,定期重新评估您的架构。
AI 智能体适用于解决开放式问题的应用,这些问题可能需要自主决策和复杂的多步骤工作流管理。智能体擅长利用外部数据实时解决问题,并且擅长自动执行知识密集型任务。与 AI 模型的辅助和生成功能相比,这些功能使智能体能够提供更多业务价值。
智能体架构概览
智能体是一种应用,它通过处理输入、使用可用工具进行推理以及根据其决策采取行动来实现目标。智能体使用 AI 模型作为其核心推理引擎,以自动执行复杂任务。智能体使用一组工具,让 AI 模型能够与外部系统和数据源进行交互。智能体可以使用记忆系统来维护上下文并从互动中学习。智能体架构的目标是创建一个自主系统,该系统可以理解用户的意图、创建多步骤计划,并使用可用工具执行该计划。
下图简要概述了智能体系统的架构组件:
智能体系统架构包含以下组件:
- 智能体开发框架:用于构建和构造智能体逻辑的框架和库。
- 前端框架:一系列预构建的组件、库和工具,用于为应用构建界面 (UI)。
- 智能体安全和治理:用于保护智能体身份、入站和出站流量、工具和模型交互的控制措施和政策。
- 智能体工具:一组工具,包括用于提取数据和执行操作或事务的 API、服务和函数。
- 智能体内存:智能体用于存储和回忆信息的系统。
- 智能体设计模式:用于构建智能体应用的常见架构方法。
- Agent runtime:智能体应用逻辑运行所在的计算环境。
- AI 模型:为智能体的决策能力提供支持的核心推理引擎。
- 模型运行时:托管和提供 AI 模型的底层基础设施。
以下部分详细分析了这些组件,以帮助您决定如何构建架构。您选择的组件会影响智能体的性能、可伸缩性、费用和安全性。
智能体开发框架
智能体开发框架是用于简化智能体 AI 应用的构建、测试和部署流程的库。这些开发工具为核心智能体功能(包括推理循环、记忆和工具集成)提供了预构建的组件和抽象。
为了加快 Google Cloud中的智能体开发,我们建议您使用 ADK。ADK 是一个开源、规范且模块化的框架,可提供高级抽象,用于构建和编排从简单任务到复杂多智能体系统的工作流。ADK 针对 Gemini 模型和Google Cloud进行了优化,但它可与其他框架兼容。ADK 支持其他 AI 模型和运行时,因此您可以将其与任何模型或部署方法搭配使用。
为了帮助您快速上手,ADK 提供了代码示例,展示了多个行业的各种应用场景。虽然其中许多示例都侧重于对话流程,但 ADK 也非常适合构建执行后端任务的自主智能体。对于这些非交互式用例,请选择擅长处理单个独立请求并实现强大错误处理功能的智能体设计模式。
如需构建自定义智能体架构,您还可以使用 Genkit 等通用 AI 框架。Genkit 提供的基元可让您精细控制智能体逻辑,而无需 ADK 提供的高级抽象。不过,像 ADK 这样的专用智能体框架提供了用于开发智能体应用的专用工具。
前端框架
前端框架是一系列预构建的组件、库和工具,可用于为智能体应用构建界面。您选择的前端框架决定了对后端的要求。内部演示的基本界面可能只需要同步 HTTP API,而生产级应用则需要支持流式传输协议和强大状态管理的后端。
请考虑以下框架类别:
- 原型设计和内部工具框架:对于快速开发、内部演示和概念验证应用,请选择优先考虑开发者体验和速度的框架。这些框架通常倾向于使用直接的同步模型,称为请求-响应模型。与生产框架相比,请求-响应模型可让您以最少的代码和更低的后端复杂性构建功能性界面。此方法非常适合快速测试智能体逻辑和工具集成,但可能不适合需要实时交互的高度可伸缩、面向公众的应用。此类别中的常见选项包括内置的智能体开发套件 (ADK) 网页界面和 Gradio。
- 生产框架:对于面向外部用户的可伸缩、响应迅速且功能丰富的应用,请选择允许自定义组件的框架。这些框架需要能够支持现代用户体验的后端架构。生产框架应支持流式传输协议、无状态 API 设计以及强大的外部化记忆系统,以便跨多个用户会话管理对话状态。适用于生产应用的常见框架包括 Streamlit、React 和 Flutter AI 工具包。
如需管理这些框架与 AI 智能体之间的通信,您可以使用开放式智能体前端协议:
- 智能体与用户互动 (AG-UI) 协议:一种基于事件的开放式协议,可让后端 AI 智能体与前端框架进行互动。 AG-UI 会告知前端框架何时呈现智能体的回答、更新应用状态或触发客户端操作。如需了解详情,请参阅搭配使用 AG-UI 与 ADK。
- Agent-to-UI (A2UI):一种开放格式和协议,可让后端代理将声明式结构化界面组件流式传输到客户端应用。 如需了解详情,请参阅 ADK 中的 A2UI。
智能体安全和治理
AI 智能体带来了一些独特且关键的安全风险,传统的确定性安全实践可能无法充分缓解这些风险。Google 建议采用一种保护 AI 的方法,该方法在架构的每个边界上将确定性安全控制与基于推理的动态防御相结合。
如需在Google Cloud中对智能体 AI 工作负载强制执行安全和治理,请使用以下产品和服务:
-
Agent Gateway:一项服务,提供了一种安全且可伸缩的方式,可将您的智能体连接到外部工具和服务。
- 在“客户端到智能体”(入站流量)模式下,您可以在 Agent Runtime 前面部署 Agent Gateway,以对调用方进行身份验证、强制执行授权政策并实时检查入站提示。
- 在“智能体到任意位置”(出站流量)模式下,您可以通过 Agent Gateway 路由智能体到智能体和智能体到工具的出站请求。 Agent Gateway 通过强制执行默认拒绝访问政策,帮助防止数据渗漏、间接提示词注入和工具滥用。
- 智能体身份:一项代管式服务,可提供一种安全且可伸缩的方式来管理智能体的身份。 您可以在部署智能体时使用智能体身份,对智能体对 Google Cloud API、工具和其他智能体的调用进行身份验证。当智能体需要向外部工具或第三方 API 进行身份验证时,您可以使用 Agent Identity 身份验证管理器集中控制 OAuth 令牌和 API 密钥,而无需在智能体代码或提示中嵌入凭证。
- Agent Registry:一项服务,可为组织的 AI 智能体、MCP 服务器、智能体技能和工具提供集中式清单和目录,并有助于确保仅使用经过验证的工具和子智能体。 在 Agent Registry 中注册 MCP 服务器和 A2A 智能体,并将其与 Agent Gateway 结合使用,即可限制智能体仅发现和连接到已获批准的端点,而不是非托管或公开网址。
- Identity and Access Management (IAM) 访问权限政策和 Identity-Aware Proxy (IAP):访问权限控制服务,可在代理、工具和资源中强制执行精细的最小权限授权。您可以使用 IAM 访问权限政策和 IAP,仅向每个代理身份授予其执行任务以及调用已注册的 MCP 服务器或 A2A 子代理所需的权限。为了进一步隔离每个智能体并限制安全漏洞的潜在影响,您可以将 Principal Access Boundary (PAB) 政策绑定到智能体身份。
- Model Armor:一项服务,可保护您的生成式 AI 和智能体 AI 资源免受提示词注入、敏感数据泄露和有害内容的侵害。您可以将 Model Armor 用于直接模型 API 调用,并将其附加到 Agent Gateway,以便在入站和出站智能体流量中一致地强制执行安全和保障政策。
智能体工具
智能体通过工具与外部系统交互的能力决定了其有效性。智能体工具是 AI 模型可用的函数或 API,智能体可使用这些工具来增强输出并实现任务自动化。将 AI 智能体连接到外部系统后,工具会将智能体从独立的文本生成器转变为可自动执行复杂多步骤任务的系统。
如需启用工具互动,请从以下工具使用模式中进行选择:
| 使用场景 | 工具使用模式 |
|---|---|
| 您需要执行常见任务,例如完成网页搜索、运行计算或执行代码,并且希望加快初始开发速度。 | 内置工具 |
| 您希望构建一个需要可互操作且可重复使用的工具的模块化或多智能体系统。 | Model Context Protocol (MCP) |
| 您需要在企业级规模管理、保护和监控大量基于 API 的工具。 | API 管理平台 |
| 您需要与没有 MCP 服务器的特定内部或第三方 API 集成。 | 自定义函数工具 |
为智能体选择工具时,请评估其功能和运行可靠性。优先选择可观测、易于调试且包含强大错误处理功能的工具。这些功能有助于确保您可以跟踪操作并快速解决故障。此外,还要评估智能体选择合适工具以成功完成所分配任务的能力。
内置工具
ADK 提供了多个直接集成到智能体运行时的内置工具。您可以将这些工具作为函数调用,而无需配置外部通信协议。这些工具提供常见功能,包括从网络访问实时信息、在安全环境中以编程方式执行代码、从私有企业数据中检索信息以实现 RAG,以及与云数据库中的结构化数据进行交互。内置工具可与您创建的任何自定义工具搭配使用。
MCP
为了使智能体系统的组件能够进行交互,您需要建立清晰的通信协议。MCP 是一种开放协议,可为智能体提供标准化接口,以便其访问和使用必要的工具、数据和其他服务。
MCP 将智能体的核心推理逻辑与其工具的具体实现分离开来,类似于标准硬件端口允许不同外围设备连接到设备的方式。
MCP 具有以下优势:
- 通过提供预构建的连接器来简化工具集成。向 MCP 服务器添加更多工具后,智能体无需额外配置即可发现这些工具。
- 提供了一种构建自定义集成的一致方式。
- 提供灵活性,并促进不同模型和工具之间的互操作性。
您可以使用以下方法在智能体 AI 系统中实现 MCP 服务器:
- Google Cloud MCP 服务器:如需连接到 Google 和 Google Cloud 服务,请连接到由 Google 全托管式管理的远程 MCP 服务器。这些服务器通过在您使用的所有 Google 和 Google Cloud 服务之间提供统一层,增强了您现有的基础设施。这些服务器提供无状态伸缩以及与 IAM 和 Cloud Audit Logs 的集成。如需查看 Google Cloud MCP 服务器的列表,请参阅支持的产品。
- 远程 MCP 服务器:如需连接到外部 API,请连接到由第三方托管和管理的远程 MCP 服务器。
- 自托管 MCP 服务器:如需实现您自己的智能体逻辑和自定义工具,请托管您自己的 MCP 服务器。您可以完全控制如何向智能体公开专有或第三方 API。如需托管您自己的自定义 MCP 服务器,请将其作为容器化应用部署在 Cloud Run 或 Google Kubernetes Engine (GKE) 上。
API 管理平台
API 管理平台是一个集中式系统,可让您通过 API 保护、监控和控制内部或外部服务。API 管理平台提供了一个集中位置来对组织的所有 API 进行编目,简化了数据公开方式,并通过用量监控提供了可观测性。
如需在 Google Cloud上以企业级规模管理和治理智能体的基于 API 的工具,请结合使用以下服务:
- 目录和发现:如需集中编目和管理组织的 API、MCP 服务器和智能体技能,请使用 Apigee API Hub。API Hub 会公开 MCP 服务器,以便智能体和开发者可以发现已注册的工具,并与 Agent Registry 同步 MCP 元数据。
- 运行时政策强制执行:如需为 API 端点和 MCP 服务器强制执行身份验证、精细授权、令牌和速率限制、语义缓存以及监控,请使用 Apigee 或 Agent Gateway 作为 API 和 AI 网关。
- 预构建的数据和企业连接器:如需将智能体连接到企业应用和 Google Cloud 数据源,而无需构建自定义集成流水线,请使用 Application Integration 和 Integration Connectors 或 MCP Toolbox for Databases。
API 管理平台和 MCP 等通信协议解决的是不同的架构问题。通信协议可标准化智能体与工具之间的交互格式,这有助于确保组件可重复使用和可替换。相比之下,API 管理平台负责管理 API 端点的生命周期和安全性,处理身份验证、速率限制和监控等任务。这些模式是互补的。例如,代理可以使用 MCP 与工具通信,而该工具又可以是一个安全的 API 端点,由 API Hub 编目,并由 Apigee 或 Agent Gateway 管理和保护。
自定义函数工具
函数工具可为智能体提供新功能。您可以编写自定义函数工具,为智能体提供专门的功能,例如与外部 API 或专有业务系统集成。编写自定义函数工具是最常见的模式,可用于扩展智能体的能力,使其超越内置工具所能提供的功能。
如需创建自定义函数工具,您需要使用首选编程语言编写函数,然后用自然语言清晰地描述其用途、参数和返回值。智能体的模型会使用此说明来推断何时需要该工具、要提供哪些输入,以及如何解读输出以完成用户的请求。
您还可以创建实现智能体即工具函数的自定义函数工具。智能体即工具函数会将一个智能体公开为可调用函数,供另一个智能体调用。借助此技术,您可以构建复杂的多智能体系统,其中一个智能体可以协调专门任务并将其委托给其他专门智能体。如需详细了解智能体设计模式和协调多智能体编排,请参阅本文档后面的智能体设计模式部分。
工具臃肿
如果您在 AI 模型的系统提示中提供了过多工具定义,就会发生工具膨胀。如果模型的上下文窗口中包含过多工具、复杂参数或详细说明,模型可能会不堪重负。
当 AI 智能体因工具过多而过载时,可能会出现以下问题:
- 准确率降低:不相关的 token 会分散模型在上下文窗口中的注意力。当模型的注意力被分散时,模型很难准确区分正确的工具和干扰信息。
- 成本和延迟时间增加:单个用户请求可能会触发多个隐藏的推理循环和工具执行。循环和执行次数的增加会导致费用和工具响应时间相应增加。
为缓解工具膨胀问题,您可以实施以下策略:
- 限制工具复杂性:以下是编写简洁工具定义的建议:
- 使用原始数据类型,而不是复杂的嵌套对象。
- 将工具的参数数量限制在 5 个以内。
- 使用
enums而不是自由文本字符串来限制模型的决策路径。
- 提供精细化的工具集:将单体式服务器拆分为基于特定用户体验历程的精细化、专注的工具集。例如,可以将一个大型 Cloud SQL 服务器划分为一个供 DevOps 智能体使用的管理员工具集,以及一个供应用智能体使用的数据工具集。
- 实现渐进式披露:设计体系,使其仅在需要时动态解锁相关上下文和功能,而不是提前加载所有内容。如需实现渐进式披露方法,请使用以下策略:
- 搜索工具模式:为了减少 token 消耗,请实现一个使用单个搜索工具来动态加载相关工具架构的智能体。
- 智能体技能:智能体技能是一种开放标准格式,可让您逐步发现指令、脚本和其他资源。为了最大限度地减少上下文膨胀,请在 ADK 中定义技能,以指示智能体按需加载专门的指令和资源,或从技能注册表中发现和加载受管控的企业技能。
- 多智能体委托:为了缩减智能体的上下文窗口,请实现一个多智能体系统,该系统使用协调器智能体将特定任务委托给专用子智能体。这种方法有助于确保仅加载相关工具,并使协调器智能体的上下文窗口保持简洁。
这些策略并不相互排斥,应根据您的架构和工作负载要求进行组合。
智能体内存
智能体记住过往互动的能力对于提供连贯且实用的对话式体验至关重要。如需创建有状态、情境感知的智能体,您必须实现短期记忆和长期记忆机制。以下部分探讨了可用于为智能体实现短期和长期记忆的设计选择和 Google Cloud服务。
短期记忆
短期记忆使智能体能够在单个正在进行的对话中保持上下文。如需实现短期记忆,您必须同时管理会话及其关联的状态。
- 会话:会话是用户与代理之间的对话消息串,从初始互动到对话结束。
- 状态:状态是智能体在特定会话中使用和收集的数据。收集的状态数据包括用户和智能体之间交换的消息历史记录、任何工具调用的结果,以及智能体理解对话上下文所需的其他变量。
以下是使用 ADK 实现短期记忆的选项:
- 内存中存储:对于在单个实例上运行的开发、测试或小规模应用,您可以直接将会话状态存储在应用的内存中。智能体使用字典或对象等数据结构来存储键值对列表,并在整个会话期间更新这些值。不过,当您使用内存存储时,会话状态不会持久保留。如果应用重启,则会丢失所有对话记录。
外部状态管理:对于需要可伸缩性和可靠性的生产应用,我们建议您构建无状态代理应用,并在外部存储服务中管理会话状态。在此架构中,每次代理应用收到请求时,都会从外部存储区检索当前对话状态,处理新一轮对话,然后将更新后的状态保存回存储区。这种设计可让您横向扩缩应用,因为任何实例都可以处理任何用户的请求。外部状态管理的常见选择包括 Memorystore for Redis、Firestore 或 Gemini Enterprise Agent Platform 会话。
如果您使用 ADK,则
DatabaseSessionService需要关系型数据库,例如 Cloud SQL。
长期记忆
长期记忆为代理提供了一个持久性知识库,该知识库存在于各个用户的所有对话中。长期记忆使智能体能够检索和使用外部信息,从过去的互动中学习,并提供更准确、更相关的回答。
以下是使用 ADK 实现长期记忆的选项:
- 内存中存储:在开发和测试阶段,您可以将长期记忆条目直接存储在应用的内存中,并对存储的条目执行基本的关键字匹配。此方法需要的设置最少,但它不是永久性的。如果应用重启,则会丢失所有存储的记忆条目。您通常可以通过在开发框架中使用内存中提供程序来实现此模式,例如 ADK 中包含的
InMemoryMemoryService,用于原型设计和测试。 - 外部存储:对于生产应用,请在外部永久性存储服务中管理智能体的知识库。外部存储服务有助于确保智能体的知识具有持久性、可伸缩性,并且可在多个应用实例之间访问。在 Google Cloud上,将记忆库与任何 Agent Runtime 搭配使用,以实现长期存储。
智能体设计模式
智能体设计模式是构建智能体应用的常见架构方法。这些模式提供了一个独特的框架,用于组织系统组件、集成 AI 模型以及编排单个智能体或多个智能体来完成工作流。如需确定哪种方法最适合您的工作流,您必须考虑任务的复杂性和工作流、延迟时间、性能和费用要求。
单智能体系统依赖于一个模型的推理能力来解读用户请求、规划一系列步骤并决定要使用的工具。这种方法是一个有效的起点,可让您专注于优化核心逻辑、提示和工具定义,然后再增加架构复杂性。不过,随着任务和工具数量的复杂性增加,单个智能体的性能可能会下降。
对于复杂问题,多智能体系统会协调多个专业智能体,以实现单个智能体无法轻松管理的目标。这种模块化设计可以提高系统的可伸缩性、可靠性和可维护性。不过,与单智能体系统相比,多智能体系统也带来了额外的评估、安全和成本考量。
为了实现单智能体和多智能体模式,ADK 提供了一个工作流运行时,该运行时支持以下编排工作流:
- 基于图的工作流:将智能体逻辑定义为执行节点和边的图,将 AI 辅助推理与确定性代码和工具相结合。基于图的工作流提供可预测的执行路径,具有显式状态转换、条件路由、并行分支和人机协同检查点。
- 动态工作流:使用您选择的编程语言以编程方式构建工作流,而不是使用静态图结构。借助动态工作流,您可以像调用函数一样运行工作流节点,使用循环、条件和递归定义复杂的控制流,并自动为节点执行设置检查点,从而使工作流具有持久性和可恢复性。
- 协作式工作流:协调多个专业智能体,让它们委派任务并共享上下文,以解决复杂问题。
在开发多智能体系统时,您必须为每个专用智能体实现精确的访问权限控制,设计一个强大的编排系统以确保可靠的智能体间通信,并管理因运行多个智能体而产生的计算开销所带来的运营成本增加。如需促进智能体之间的通信,请将 Agent2Agent (A2A) protocol 与 ADK 搭配使用。A2A 是一种开放标准协议,可让 AI 智能体跨不同的平台和框架进行通信和协作,而无需考虑其底层技术。
如需详细了解常见的智能体设计模式以及如何根据工作负载要求选择模式,请参阅为智能体 AI 系统选择设计模式。
AI 模型
智能体应用依赖于模型的推理和理解能力来充当主要任务编排器。对于此核心代理角色,我们建议您使用 Gemini Pro。
Google 模型(例如 Gemini)通过代管式 API 提供对最新、最强大的专有模型的访问权限。这种方法非常适合最大限度地减少运维开销。相比之下,开放式自托管模型可提供对专有数据进行微调时所需的深度控制。具有严格安全性和数据驻留要求的工作负载也需要自托管模型,因为这样您就可以在自己的网络中运行模型。
为了提升代理性能,您可以调整模型的推理能力。最新的 Gemini 模型等模型具有内置思考过程,可改进推理和多步规划。为了进行调试和优化,您可以查看模型的思考摘要或其内部思考的合成版本,以了解其推理路径。您可以根据任务复杂性和模型版本控制模型思考。思考等级或思考预算越高,模型在提供回答之前执行的推理和规划就越详细,这可以提高回答质量,但也可能会增加延迟时间和费用。
为了优化性能和成本,请实现模型路由,以便根据每项任务的复杂性、成本或延迟要求,动态选择最适合该任务的模型。例如,您可以将简单请求路由到小语言模型 (SLM),以执行代码生成或文本分类等结构化任务,并为复杂推理预留更强大且更昂贵的模型。如果您在智能体应用中实现模型路由,则可以创建一个经济实惠且保持高性能的系统。
Google Cloud 提供了对各种 Google 模型、合作伙伴模型和开放模型的访问权限,您可以在智能体架构中使用这些模型。如需详细了解可用模型以及如何选择适合您需求的模型,请参阅 Gemini Enterprise Agent Platform 上的 Model Garden。
模型运行时
模型运行时是托管和提供 AI 模型并使其推理功能可供智能体使用的环境。
选择模型运行时
如需为 AI 模型选择合适的运行时,请遵循以下指南:
| 使用场景 | 模型运行时 |
|---|---|
| 您需要一个全代管式 API,以便通过企业级安全性、伸缩和生成式 AI 工具来提供 Gemini 模型、合作伙伴模型、开放模型或自定义模型。 | Agent Platform |
| 您需要部署一个开放式或自定义容器化模型,并优先考虑针对可变流量实现最低运营开销和成本效益。 | Cloud Run |
| 您需要对基础设施拥有最大控制权,以便在专用硬件上运行开放式或自定义容器化模型,或满足复杂的安全和网络要求。 | GKE |
以下部分简要介绍了上述模型运行时,包括关键功能和设计注意事项。
Agent Platform
Agent Platform 提供了一个全代管式式无服务器环境,用于托管 AI 模型。您可以通过安全且可伸缩的 API 提供和微调 Google 模型、合作伙伴模型和开放模型。这种方法无需进行基础设施管理,让您可以专注于将模型智能集成到应用中。
将 Agent Platform 用作模型运行时时,主要功能和注意事项包括:
- 基础架构控制:适用于模型的全代管式 API。Google 负责管理底层基础设施。
- 安全性:托管式安全默认设置和标准合规性认证足以满足您的需求。为了提供提示和回答保护并确保 Responsible AI 实践,您可以将 Model Armor 集成到 Agent Platform 中。
- 模型可用性:通过托管式 API 访问各种模型,包括最新的 Gemini 模型。
- 费用:按用量付费的价格模式,可根据应用流量进行扩缩。如需了解详情,请参阅在 Agent Platform 中构建和部署 AI 模型的费用。
Cloud Run
Cloud Run 提供了一个无服务器运行时,用于在自定义容器中托管模型。Cloud Run 既能提供 Agent Platform 的全代管式体验,又能提供 GKE 的深度基础设施控制,在两者之间实现了平衡。如果您需要灵活地在容器化环境中运行模型,而无需管理服务器或集群,则此方法非常适合。
将 Cloud Run 用作模型运行时时,主要功能和注意事项包括:
- 基础设施控制:在自定义容器中运行任何模型,从而完全控制软件环境,而平台则管理底层无服务器基础设施。
- 安全性:通过临时、隔离的计算实例提供安全性,并允许使用直接 VPC 出站流量或无服务器 VPC 访问通道连接器安全地连接到私有资源。如需了解详情,请参阅专用网络和 Cloud Run。
- 模型可用性:提供 Gemma 等开放模型,或提供您自己的自定义模型。您无法在 Cloud Run 上托管或提供 Gemini 模型。
- 费用:采用按用量计费、基于请求的定价模式,可缩减至零,因此对于流量不规律或波动的模型来说,具有极高的成本效益。如需了解详情,请参阅 Cloud Run 价格。
GKE
GKE 为托管 AI 模型提供了最大的控制力和灵活性。如需使用此方法,您需要在您配置和管理的 GKE 集群上的容器中运行模型。如果您需要在专用硬件上运行模型、将模型与应用共置以最大限度地减少延迟,或者需要对服务环境的各个方面进行精细控制,那么 GKE 是理想之选。
将 GKE 用作模型运行时时,主要功能和注意事项包括:
- 基础架构控制:提供对整个服务环境(包括节点配置、专用机器加速器和特定模型部署软件)的最大限度精细控制。
- 安全性:提供对安全性和数据隔离的精细控制,因为它允许您完全在网络中运行模型,并应用精细的 Kubernetes 安全政策。如需筛查进出 GKE 集群的流量并帮助保护与 AI 模型的交互,您可以将 Model Armor 与 GKE 集成。
- 模型可用性:提供 Gemma 等开放模型,或提供您自己的自定义模型。您无法在 GKE 上托管或应用 Gemini 模型。
- 费用:采用基于您使用的底层计算和集群资源的费用模型,因此在使用承诺使用折扣 (CUD) 时,该模型针对可预测的大容量工作负载进行了高度优化。如需了解详情,请参阅 GKE 价格。
本文档重点介绍 Agent Platform、Cloud Run 和 GKE。如果您需要一个模型运行时,它结合了性能优化型硬件(GPU 和 TPU)、开源软件和灵活的使用模式,适用于大规模模型训练、微调和推理工作负载,请使用 AI Hypercomputer。
Agent Runtime
如需托管和部署智能体应用,您必须选择 Agent Runtime。此服务会运行您在使用智能体开发框架时编写的应用代码、业务逻辑和编排。在此运行时中,您的应用会向您选择的模型运行时托管和管理的模型发出 API 调用。
选择智能体运行时
Google Cloud 提供多种智能体托管选项,从全代管式、低开销的环境到完全控制的基础设施,应有尽有。Agent Platform 采用灵活的架构,让您可以选择符合需求的运行时层和服务层。如需为 AI 智能体选择运行时,请遵循以下指导:
| 使用场景 | Agent Runtime |
|---|---|
| 您需要一个固定的代管式运行时,其中包含内存、评估、身份、治理和可观测性集成。 | Gemini Enterprise Agent Platform 上的 Agent Runtime |
| 您需要容器部署和可移植性,同时兼顾灵活性和控制力,以便像运行任何其他服务一样运行容器化智能体。 | Cloud Run |
| 您需要完全控制,并对底层基础架构进行精细控制。您的平台团队管理自己的 DevOps、Kubernetes API 或严格的合规性和数据驻留要求。 | GKE |
如果您已在 Cloud Run 或 GKE 上管理应用,则可以为智能体工作负载使用同一平台,从而加快开发速度并简化长期运维。
以下部分简要介绍了每个 Agent Runtime,包括关键功能和设计注意事项。
Agent Runtime
Agent Runtime 是一种全托管式、有主见的运行时,可用于部署、运行和扩缩智能体应用。Agent Runtime 抽离了底层基础设施,让您可以专注于智能体逻辑,而无需担心运维。
以下是 Agent Runtime 的功能和注意事项:
- 编程语言和框架灵活性:使用任何受支持的框架开发智能体。
- 通信协议:编排使用 MCP 和 A2A 的智能体和工具。Agent Runtime 可高效管理这些组件的运行时,但不支持托管自定义 MCP 服务器。
智能体内存:提供内置的托管式智能体内存功能,无需为核心智能体内存配置外部数据库。
- 对于短期记忆存储,请使用 Agent Platform Sessions。
- 如需长期存储记忆,请使用记忆库。
- 对于数据库搜索和检索,请使用 Cloud SQL 或 AlloyDB for PostgreSQL。
- 可扩缩性:自动扩缩以满足智能体工作负载的需求,无需手动配置。
- 可观测性:通过 Google Cloud Observability 服务提供集成式日志记录、监控和跟踪。
- 安全性:提供以下企业级功能:
- 内置服务身份和代理身份,用于对 Google Cloud API、其他代理和工具进行安全的身份验证调用。
- 借助 Gemini Enterprise Agent Platform 代码执行功能,在安全、隔离且受管理的沙盒中运行代码。
- 使用 Cloud Key Management Service 中您自己的客户管理的加密密钥 (CMEK) 保护您的数据。
- 限制 IAM 权限并使用 VPC 防火墙规则,以帮助防止未经授权的网络调用。
Agent Runtime 提供了一个托管式环境,其中集成了记忆、智能体评估、智能体身份、治理、安全性和可观测性,可加速投入生产。对于对私有依赖项管理有严格安全要求的工作负载,Cloud Run 和 GKE 提供了基于 IAM 的配置路径。
Cloud Run
Cloud Run 是一个全代管式无服务器平台,可让您在无状态容器中运行智能体应用代码。如果您希望将整个智能体应用、单个组件或自定义工具部署为可伸缩的 HTTP 端点,而无需管理底层基础架构,那么 Cloud Run 是理想之选。
以下是 Cloud Run 的功能和注意事项:
- 编程语言和框架灵活性:将应用打包到容器中后,您可以使用任何编程语言和任何智能体框架开发和部署容器化服务。
- 通信协议:支持 gRPC、HTTPS、流式 HTTP 响应和 WebSocket,并可编排使用 MCP 和 A2A 的智能体和工具。在 Cloud Run 上托管具有可流式传输的 HTTP 传输的 MCP 客户端和服务器。
- 内存:Cloud Run 实例是无状态的,这意味着实例在终止后会丢失所有内存中的数据。如需实现永久性内存,请将您的服务连接到代管式 Google Cloud 存储服务:
对于短期记忆,请考虑以下产品和服务:
对于长期记忆,请考虑以下产品:
- Firestore
- 使用 Cloud Run 的 Memory Bank
对于数据库搜索和检索,请考虑以下产品:
- Cloud SQL
- AlloyDB for PostgreSQL
- 可扩缩性:根据传入流量自动扩缩实例数量,还可将实例数量缩减至零。此功能有助于使 Cloud Run 经济实惠地运行具有可变工作负载的应用。
- 可观测性:通过 Google Cloud Observability 服务提供集成式日志记录、监控和跟踪。如需了解详情,请参阅监控和日志记录概览。
- 安全:为您的代理提供以下安全控制措施:
- 内置服务身份,并与智能体身份和智能体注册表集成,可实现可加密验证的智能体身份、发现以及对 Google Cloud API、其他智能体和工具的经过身份验证的调用。
- 使用 Cloud Run 沙盒或智能体平台代码执行功能,在安全的环境中运行未经测试的代码。
- 通过在 Secret Manager 中配置 Secret,存储 Cloud Run 使用的敏感数据。
- 通过限制 IAM 权限和使用 VPC 防火墙规则,帮助防止未经授权的网络调用。
Cloud Run 无需管理底层基础设施,从而减少了运营开销并提高了成本效益。不过,由于 Cloud Run 具有无状态特性,您需要使用存储服务来管理多步骤工作流中的上下文。此外,Cloud Run 服务的请求超时上限为 1 小时,这可能会限制长时间运行的智能体任务。
GKE
GKE 是一种托管式容器编排服务,可对智能体应用的架构和基础设施进行精细控制。GKE 适用于需要强大的生产级功能的复杂智能体系统,或者如果您已经是 GKE 客户,并且希望在现有应用之上实现智能体工作流。
以下是 GKE 上提供的功能和注意事项:
- 编程语言和框架灵活性:将应用打包到容器中后,您可以使用任何编程语言和任何框架开发代理。
- 通信协议:编排使用 MCP 和 A2A 的智能体和工具。将 MCP 客户端和服务器打包为容器后,在 GKE 上托管它们。
- 内存:GKE Pod 是临时性的。
不过,您可以使用集群内资源或连接到外部服务,构建具有永久性记忆的有状态智能体。
对于短期记忆,请考虑以下产品和服务:
对于长期记忆,请考虑以下产品:
- Firestore
- 在 GKE 中使用记忆库
对于数据库搜索和检索,请考虑以下产品:
- StatefulSets 和永久性卷,用于在集群中提供持久性存储。
- Cloud SQL
- AlloyDB for PostgreSQL
- 可伸缩性:GKE 集群会自动预配和扩缩节点池,以满足工作负载的要求。
- 可观测性:通过 Google Cloud Observability 在集群、节点和 Pod 级别提供集成式日志记录、监控和跟踪。如需收集预先配置的第三方指标和用户定义指标,然后将它们发送到 Cloud Monitoring,您还可以使用 Google Cloud Managed Service for Prometheus。如需了解详情,请参阅 GKE 可观测性概览。
- 安全性:为您的代理提供精细的安全控制:
- 使用Workload Identity Federation for GKE向 Google Cloud API 进行安全身份验证。
- 使用 GKE Sandbox 隔离不受信任的代码。
- 在 Secret Manager 中存储 GKE 集群使用的敏感数据。
- 限制 IAM 权限,并使用 VPC 防火墙规则和网络政策来帮助防止未经授权的网络调用。
GKE 提供最大程度的控制力和灵活性,让您能够运行复杂的有状态智能体。不过,这种控制会带来巨大的运维开销和复杂性。您必须配置和管理 Kubernetes 集群,包括节点池、网络和伸缩政策,这比无服务器平台需要更多的专业知识和开发工作。
后续步骤
- 智能体工具:
- 智能体内存:
- 智能体设计模式:
- Agent Runtime:
- Google Cloud上的其他智能体 AI 资源:
- 如需查看更多参考架构、图表和最佳做法,请浏览云架构中心。
贡献者
作者:Samantha He | 技术文档工程师
其他贡献者:
- Amina Mansour | 全球开发者关系与战略内容技术主管
- Amit Maraj | 开发者关系工程师
- Casey West | 架构技术推广工程师, Google Cloud
- Jack Wotherspoon | 开发技术推广工程师
- Joe Fernandez | 资深技术文档工程师
- Joe Shirey | Cloud 开发者关系经理
- Karl Weinmeister | 云产品开发者关系总监
- Kumar Dhanagopal | 跨产品解决方案开发者
- Kurtis Van Gent | 资深软件工程师
- Lisa Shen | 高级对外产品经理, Google Cloud
- Mandy Grover | 架构中心负责人
- Megan O'Keefe | 开发技术推广工程师
- Olivier Bourgeois | 开发者关系工程师
- Polong Lin | 开发者关系工程经理
- Ryan Pei | Google Cloud 产品经理
- Shir Meir Lador | 开发者关系工程经理
- Vlad Kolesnikov | 开发者关系工程师