多租户智能体 AI 系统

Last reviewed 2026-10-16 UTC

本文档提供了一个参考架构，可帮助您在 Google Cloud上设计和部署多租户智能体 AI 系统。随着您的组织扩大生成式 AI 部署规模，不同的业务单位需要专门的 AI 智能体，这些智能体需要访问独特的工具、遵循特定的操作规则并处理敏感数据。业务单位可能会在组织内开发碎片化的应用孤岛，这可能会导致高昂的运营开销、严重的治理差距以及数据暴露风险。此架构展示了如何构建一个集中式系统，让您能够为分散的团队提供自主 AI 功能，同时保持统一的安全性和合规性。

本文档的目标受众群体包括在云端构建和管理企业级多智能体系统的架构师、开发者和管理员。本文档假定您对 AI、机器学习和 LLM 概念以及智能体 AI 有基本的了解。

本文档的部署部分提供了一种实现策略，可帮助您构建和部署多租户智能体 AI 系统。

架构

下图展示了遵循中心辐射型模型的多租户智能体 AI 系统的架构。 中心辐射型模型是一种网络设计，其中一个中心环境（称为中心）连接到多个隔离的环境（称为辐射）。

展示多租户智能体 AI 系统的架构。

该架构由以下组件组成：

VPC Service Controls
该架构使用 VPC Service Controls 在组织级层配置服务边界。此服务边界提供严格的安全边界，有助于防止数据渗漏。
路由中心

路由中心充当架构的中央入站流量点，它包含以下组件：

集中式治理和安全中心

中央治理和安全中心是一个专用 Google Cloud项目，可为整个平台提供集中式 Identity and Access Management (IAM)、日志记录、监控和安全功能。此中心包含以下组件：

  • Security Command Center：一项服务，用于监控整个多租户智能体 AI 系统是否存在安全风险。
  • IAM：一种访问权限控制框架，用于管理共享中心和租户项目中的身份和权限。此组件为所有人类和机器身份提供集中式治理。
  • Cloud Logging：一个系统，用于将共享中心和隔离租户项目中的日志汇总到中央治理和安全中心。
租户项目

每个租户项目都是每个业务单位的专用 Google Cloud 项目。各个租户项目是包含以下组件的隔离环境：

智能体化流程

上述架构中的多租户系统示例具有以下流程：

  1. 用户的请求通过外部应用负载均衡器进行路由。在路由中心内，系统会完成以下检查，以帮助确保只有经过身份验证的安全流量才能到达前端门户：
    1. Cloud Armor 会应用安全政策来吸收任何初始第 4 层基于网络协议的分布式拒绝服务 (DDoS 攻击) 攻击。Cloud Armor 会检查请求并过滤恶意流量，例如 SQL 注入 (SQLi)、跨站脚本攻击 (XSS) 和已知漫游器签名。
    2. Model Armor 会拦截载荷，以检测和拒绝提示词注入攻击或恶意意图。
    3. 如果其中任何一层检测到威胁或未经授权的访问，负载均衡器就会在网络边缘丢弃请求。
    4. 如果安全层未检测到威胁并验证了用户的访问权限，则负载均衡器会将流量路由到后端服务。
  2. 如果请求通过了所有检查，负载均衡器会将请求路由到前端平台，该平台会执行以下操作：
    1. 提取用户的身份，例如用户的业务单位或租户 ID。
    2. 使用 IAP 验证用户的企业身份和设备健康状况。
    3. 使用动态维护的注册表来识别正确的目标租户。
  3. 前端门户将请求路由到租户。为帮助确保代理无法访问其他租户项目或未经授权的 Google Cloud服务，Agent Runtime 会使用 PAB 政策来限制代理可以访问的资源。
  4. Model Armor 使用 Sensitive Data Protection 检查并动态遮盖任何个人身份信息 (PII) 或受限内容。Model Armor 会对请求中的恶意提示注入进行额外检查，以帮助确保智能体仅处理安全数据。

  5. Gemini 会执行以下任务来生成回答：

    1. 执行初始推理，以了解用户的意图。
    2. 如果 Gemini 确定自己缺少特定事实，则会生成一个计划来调用租户的特定数据工具：
      1. 为了验证用户是否有权访问数据资源，智能体会验证用户的身份和 IAM 角色绑定。
      2. 为了检索上下文，智能体通过 MCP 服务器对租户数据存储区执行工具调用。
      3. 智能体通过将其内部逻辑与新检索到的租户特定事实相结合，创建有依据的回答。

    如果 Gemini 不需要其他事实，则会生成回答并将其发送到 Model Armor。

  6. Model Armor 会检查并动态遮盖任何 PII 或受限内容，并将经过净化的回答发送给租户智能体。这项最终检查有助于确保输出中不会泄露任何敏感数据。

  7. 响应会从租户代理通过前端平台，然后通过负载均衡器路由回用户。

使用的产品

此参考架构使用以下 Google Cloud 和开源产品及工具，这些产品和工具因其无服务器特性、可伸缩性和安全功能而被选中：

  • VPC Service Controls：一种托管式网络功能，可最大限度地降低 Google Cloud 资源的数据渗漏风险。
  • Cloud Load Balancing：一组高性能、可扩缩的全球和区域级负载均衡器。
  • Google Cloud Armor：一种网络安全服务，提供 Web 应用防火墙 (WAF) 规则，并可帮助防范 DDoS 攻击和应用攻击。
  • Model Armor：一项服务，可保护您的生成式 AI 和智能体 AI 资源免受提示词注入、敏感数据泄露和有害内容的侵害。
  • Identity-Aware Proxy (IAP)：一项可为您的应用和虚拟机启用零信任访问模型的服务。
  • Identity and Access Management (IAM)：一个可让您为 Google Cloud 资源创建和管理权限的系统。
  • Cloud Run：一个无服务器计算平台，可让您直接在 Google 可伸缩的基础设施之上运行容器。
  • Gemini Enterprise Agent Platform：一个综合性平台，可让您构建、扩缩、治理和优化企业级 AI 智能体。
  • Gemini：Google 开发的一系列多模态 AI 模型。
  • Model Context Protocol (MCP)：一种开源标准，用于将 AI 应用连接到外部系统。
  • Cloud Logging：具有存储、搜索、分析和提醒功能的实时日志管理系统。

使用场景

多租户智能体 AI 系统适用于希望将生成式 AI 部署扩展到单个应用之外的企业组织。如需确定此架构适用的用例，请分析您的业务流程，并确定需要拥有专属 AI 智能体来访问独特工具和敏感数据的不同团队。这种方法可帮助您为分散的团队提供自主 AI 功能，同时保持统一的安全性和企业合规性。

以下是多租户智能体 AI 系统的应用场景示例。

企业级客户服务

您可以调整此参考架构，以便在不同的业务部门中提供 AI 赋能的客户服务。例如，为了支持电子产品部门和家居用品部门，您可以在不同的租户项目中部署电子产品代理和家居用品代理，作为两个单独的代理。这些专业 AI 智能体充当智能助理，通过访问独特的技术规格、保修或退货政策，处理特定部门的支持咨询。这种自动化功能可让人工支持团队专注于更复杂的客户上报问题。

对于此应用场景，该架构具有以下优势：

  • 严格的数据隔离：多租户设计有助于确保每个部门的支持知识严格隔离。PAB 政策提供防护机制，有助于确保一个租户中的代理身份无法访问另一个租户中的数据。
  • 专业代理知识：由于每个代理都位于一个隔离的租户项目中，因此代理只会从其部门特定的数据存储区中检索上下文。这种有针对性的检索有助于提高准确性，并防止代理混淆不同业务单位的政策。
  • 降低跨网域风险：该架构有助于消除业务单位之间的数据泄露风险。即使代理身份遭到入侵，代理也无法访问未经授权的 Google Cloud 资源。

此架构非常适合管理多个不同品牌或业务单位且需要严格数据主权的大型零售组织和企业。

设计替代方案

本部分介绍了您可以在 Google Cloud中为多租户智能体 AI 部署考虑的其他设计方法。

专用访问通道部署

在本文档介绍的架构中，用户通过集中公开的外部应用负载均衡器，经由公共互联网访问多租户智能体 AI 系统。如果您的组织需要一个无法从公共互联网访问的系统，您可以调整架构，以使用以下任一专用访问策略。

使用边缘安全政策屏蔽流量

如需仅允许来自贵组织经过验证的公司 IP 地址的流量，您可以将 Cloud Armor 安全政策配置为拒绝任何其他流量。此高优先级安全规则会在网络边缘屏蔽所有未经授权的请求。为了增加一层安全保障，您可以使用 IAP 要求有效的企业身份会话，并可以为所有用户配置 IAM 权限。

通过这种方法，您可以利用 Cloud Armor 边缘安全政策来分流 DDoS 攻击缓解和 WAF 过滤（例如 SQLi 和 XSS），并提供零信任体验。不过，外部应用负载均衡器的前端 IP 地址仍为公开地址，可能不符合某些组织的合规性要求。

通过内部应用负载均衡器路由流量

本文档中的架构使用外部应用负载均衡器，与内部负载均衡器相比，该负载均衡器提供强大的 Cloud Armor 政策、更高级的安全功能，并且运维复杂性更低。但是，使用外部负载均衡器意味着流量会遍历公共互联网。

如需将流量完全保留在 Google 专用网络中，您可以使用内部应用负载均衡器。使用内部应用负载均衡器支持 IAP 进行身份验证。全球外部应用负载均衡器会在边缘层评估 IAP 政策。相比之下，内部应用负载均衡器会在内部网络层评估政策。 由于流量永远不会遍历公共互联网，因此使用内部应用负载均衡器有助于您满足严格的数据主权和零公共 IP 地址要求。

为了保持低延迟并遵守区域级数据驻留要求，请在每个主要区域中部署区域级内部应用负载均衡器。借助区域级内部应用负载均衡器，您可以通过 Cloud Interconnect 或 Cloud VPN 将来自本地环境的流量直接路由到负载均衡器的内部 IP 地址。区域级内部应用负载均衡器支持区域级 Cloud Armor，以提供内部 WAF 保护。不过，与外部应用负载均衡器相比，区域级内部应用负载均衡器支持的 Cloud Armor 安全政策有限，缺乏高级安全功能，并且会增加运维复杂性。

为了进一步最大限度地减少延迟时间，并帮助确保高可用性以满足灾难恢复要求，您可以部署跨区域内部应用负载均衡器。借助跨区域内部应用负载均衡器，您可以将 Cloud DNS 与地理定位路由政策搭配使用，将应用的内部网址解析为Google Cloud 距离用户最近的区域中的跨区域内部应用负载均衡器。不过，跨区域配置不支持任何 Cloud Armor 集成。

计算基础架构

为了优先采用无服务器优先的方法，从而提供更轻松的管理和更低的运营开销，本文档中的架构使用 Cloud Run 作为其计算基础设施。您还可以在 GKE 集群上运行容器化应用。Google Kubernetes Engine (GKE) 是一个容器编排引擎，可自动部署、伸缩和管理容器化应用。GKE 完全支持内部和外部应用负载均衡器。如需了解如何为 Google Cloud上的工作负载选择计算服务，请参阅在Google Cloud上托管应用。

本地和共享 MCP 服务器

如需使智能体系统的组件能够交互，您需要建立清晰的通信协议。MCP 是一种开放协议，可为智能体提供标准化接口，以便其访问和使用必要的工具、数据和其他服务。

如需将租户智能体连接到数据存储区，请根据应用要求从以下 MCP 服务器部署选项中进行选择。在本地和共享 MCP 部署之间进行选择时，请权衡数据隔离和运营效率。

  • 本地 MCP 服务器：本地 MCP 服务器（或租户专用 MCP 服务器）是您在每个租户项目中部署的 MCP 服务器，可让智能体访问特定于该业务单位的数据存储区和工具。

    以下是本地 MCP 服务器的主要功能和注意事项：

    • 网络：项目级 VPC Service Controls 边界和 PAB 政策提供固有的安全性和隔离性，有助于确保不会发生跨租户访问。
    • 管理：各个开发者和运维团队独立管理租户项目。这种隔离为每个业务部门提供了自主权。
    • 安全性：租户项目的固定 IAM 边界有助于最大限度地减少横向风险面，并且不需要复杂的身份映射。

    本地 MCP 服务器可提供最大程度的隔离，并且可以处理高度敏感或受监管的数据访问。不过，如果您部署多个本地 MCP 服务器，则会增加运维工作量。对于需要严格限制对可能包含敏感信息的数据存储区进行访问的应用，我们建议使用本地 MCP 服务器。

  • 共享 MCP 服务器：共享 MCP 服务器（或全局 MCP 服务器）是您在共享服务项目中部署的 MCP 服务器。共享 MCP 服务器提供对多个租户通用的工具和系统的访问权限。

    以下是共享 MCP 服务器的主要功能和注意事项：

    • 网络：为确保流量不会经过公共互联网，共享 MCP 服务器需要专用连接，例如 Private Service Connect 或 VPC 网络对等互连。
    • 管理：集中式运营团队负责管理整个系统的实现。这种整合管理可优化运营效率，并消除在多个租户之间复制本地实现的要求。
    • 安全性：您可以安全地将最终用户身份从租户项目中的代理传播到共享 MCP 服务器。为了确保用户只能访问或修改其有权访问或修改的数据，共享 MCP 服务器会使用传播的用户身份在后端系统上强制执行精细访问权限控制。

    共享 MCP 服务器可集中管理常用工具，从而减少重复并优化运营效率。虽然共享 MCP 服务器可减少管理开销，但它们需要强大的身份传播和授权逻辑来维护安全访问。我们建议使用共享 MCP 服务器与常见的企业系统和工具进行交互，例如费用报告工具、人力资源 (HR) 系统、企业级知识库或考勤管理工具。

在此架构中，您可以使用 MCP 服务器来标准化租户智能体与数据存储区之间的连接。根据工作负载要求，您可以使用其他类型的代理工具将代理与特定外部 API 和系统连接。如需详细了解智能体工具互动，请参阅智能体工具。

设计考虑事项

以下部分介绍了一些设计因素、最佳实践和建议，您在使用此参考架构开发满足特定安全性、可靠性、费用和性能要求的拓扑时应考虑这些内容。本部分中的指导并非详尽无遗。根据工作负载的要求以及您使用的产品和功能，您可能还需要考虑其他设计因素和权衡因素。

安全性、隐私权和合规性

本部分介绍了在 Google Cloud 中设计满足工作负载安全性、隐私权和合规性要求的拓扑时的设计注意事项和建议。

智能体的安全注意事项

AI 智能体带来了一些独特且关键的安全风险，传统的确定性安全实践可能无法充分缓解这些风险。Google 建议采用安全 AI 智能体方法，将确定性安全控制措施的优势与基于推理的动态防御相结合。这种方法基于三大核心原则：人工监督、明确界定的智能体自主权和可观测性。以下是符合这些核心原则的具体建议：

  • 人工监督：智能体 AI 系统有时可能会失败或无法按预期运行。例如，模型可能会生成不准确的内容，或者智能体可能会选择不合适的工具。在业务关键型智能体 AI 系统中，纳入人机协同流程，让监督人员能够监控、覆盖和暂停智能体。例如，人类用户可以审核代理的输出、批准或拒绝输出，并提供进一步指导以更正错误或做出战略决策。这种方法将智能体 AI 系统的高效性与人类用户的批判性思维和领域专业知识相结合。
  • 智能体身份和最小权限访问：

  • 入站和出站流量治理：通过 Agent Gateway 路由智能体流量，在入站和出站边界强制执行运行时安全政策。如需了解支持 Agent Gateway 的运行时平台，请参阅支持的 Agent Runtime。

    • 客户端到代理（入站流量）：在 Agent Runtime 前面部署 Agent Gateway。该网关有助于使用 Model Armor 对调用方进行身份验证并实时检查入站提示。

    • 代理到任意目的地（出站流量）：

      • 通过出站流量模式下的 Agent Gateway 路由出站智能体到智能体 (A2A) 和智能体到工具 (MCP) 请求。
      • 使用 IAM 访问权限政策和 IAP 强制执行默认拒绝访问权限政策。
      • 验证目标智能体和工具是否已在智能体注册表中注册。
      • 使用 Model Armor 检查出站工具调用和回答，以帮助防止数据渗漏、间接提示注入和工具滥用。

  • 监控：利用全面的跟踪功能监控智能体行为，让您能够了解智能体执行的每项操作，包括其推理过程、工具选择和执行路径。如需了解详情，请参阅在 Agent Runtime 中记录智能体和在 ADK 中记录。

如需详细了解如何保护 AI 智能体，请参阅 AI 智能体的安全保障。

虚拟私有云 (VPC) 安全注意事项

在此架构中，您在专用Google Cloud 项目中部署每个租户。如需创建严格的安全边界，请将租户项目级隔离与 PAB 政策和组织级 VPC Service Controls 结合使用。

IAM 安全注意事项

如需实现最小权限原则，请使用基于角色的访问权限模型。例如，您可以定义自定义 IAM 角色，以帮助确保在一个租户中构建智能体的开发者无法访问另一个租户中的数据。

Cloud Armor 安全注意事项

Cloud Armor 提供安全和 WAF 保护，可保护前端门户免受 DDoS 攻击和 Web 漏洞的影响。全球外部应用负载均衡器支持全套高级边缘功能，例如漫游器管理和 Google Cloud Armor 自适应保护。

如果您部署区域级内部应用负载均衡器，则 Cloud Armor 会使用一组受限的标准 WAF 政策。受限政策集专为内部网络边界量身定制，包括 SQLi 和 XSS 保护等政策。如需了解详情，请参阅将 Cloud Armor 与其他 Google 产品集成。

Agent Platform 安全注意事项

为确保您的 Agent Platform 配置和使用符合安全要求，请考虑以下建议：

  • 责任共担：安全是共同的责任。Agent Platform 可保护底层基础架构，并提供工具和安全控制措施，帮助您保护数据、代码和模型。您有责任正确配置服务、管理访问权限控制以及保护应用。如需了解详情，请参阅 Agent Platform 责任共担。
  • 安全控制：Agent Platform 支持 Google Cloud 安全控制，您可以使用这些控制来满足数据驻留、客户管理的加密密钥 (CMEK)、使用 VPC Service Controls 的网络安全以及Access Transparency方面的要求。如需了解详情，请参阅以下文档：
  • 安全：AI 模型可能会生成有害回答，有时是为了响应恶意提示。
    • 为了提高安全性并减少对代理 AI 系统的潜在滥用，您可以配置内容过滤器，以阻止有害的输入和回答。如需了解详情，请参阅安全过滤条件和内容过滤器。
    • 如需检查和清理推理请求、智能体提示、工具调用和回答，以防范提示词注入和有害内容等威胁，您可以对直接模型 API 调用以及通过 Agent Gateway 路由的请求使用 Model Armor。Model Armor 可帮助您防止恶意输入、验证内容安全性、保护敏感数据、保持合规性，并以一致的方式实施安全政策。
  • 模型访问权限：您可以设置组织政策，以限制可在 Google Cloud 项目中使用的 AI 模型的类型和版本。如需了解详情，请参阅控制对 Model Garden 模型的访问权限。
  • 数据保护：如需发现和去标识化提示、回答和日志数据中的敏感数据，请使用 Cloud Data Loss Prevention API。如需了解详情，请观看以下视频：保护 AI 应用中的敏感数据。

  • 共享模型端点：为帮助防止滥用并确保公平使用共享模型端点，请实施以下策略之一：

    • 租户级速率限制：在请求到达共享端点之前，在前端门户中为每个租户强制执行配额。通过执行以下操作来强制执行配额：

      1. 从 IAP 上下文中提取租户身份。
      2. 使用 Memorystore for Redis 等外部存储区，根据每个租户的预定义限制跟踪用量。
      3. 拒绝来自超出限制的租户的请求。

    • API Gateway：如需使用 API 密钥和使用情况方案强制执行每个租户的配额，请在共享端点之前实现 API Gateway。

MCP 安全注意事项

为确保您的 MCP 实现符合安全要求，请考虑以下建议：

  • 工具注册和发现：在 Agent Registry 中注册 MCP 服务器和工具，以便智能体仅连接到已列入清单且经管理员批准的 MCP 端点。
  • 访问权限控制和流量检查：在智能体到任意位置（出站流量）模式下，通过 Agent Gateway 路由智能体到 MCP 的流量，并使用 IAP 和 IAM 访问权限政策保护 MCP 服务器（例如托管在 Cloud Run 上的 MCP 服务器）。在 Agent Gateway 上配置 Model Armor 或语义治理政策，以检查 MCP 工具输入和输出是否存在敏感数据泄露和间接提示注入。
  • 一般 MCP 安全性：将智能体配置为使用 MCP 时，请确保对外部数据和工具的访问权限已获得授权，实施加密等隐私控制措施，应用过滤条件来保护敏感数据，并监控智能体互动。如需了解详情，请参阅 MCP 和安全性。

Cloud Run 安全注意事项

为了提升前端门户的安全状况，请优先使用服务器端渲染 (SSR)，而不是客户端渲染 (CSR)。与 CSR 相比，SSR 具有以下优势：

  • 在受控的Google Cloud 环境中执行应用逻辑并管理 Secret。
  • 缩小客户端攻击面，并有助于防止敏感数据泄露到用户不受信任的浏览器。
  • 仅向客户端发送必要的 HTML，从而限制数据泄露。
  • 提供集中式输出编码，以防御跨站脚本攻击 (XSS)。

Security Command Center 安全注意事项

如需监控威胁并强制执行多重身份验证 (MFA) 和数据加密等安全政策，请使用 Security Command Center 中的工具。

更多安全建议

可靠性

本部分介绍了在 Google Cloud中为部署构建和运营可靠的基础设施的设计注意事项和建议。

Cloud Load Balancing 可靠性注意事项

全球外部应用负载均衡器提供一个任播 IP 地址，可自动将用户流量路由到地理位置最近的 Google 边缘。此配置通过边缘安全套接字层 (SSL) 终止来减少延迟时间。如果某个区域发生服务中断，它还可以智能地将流量重新路由到健康状况良好的区域后端，从而帮助确保高可用性。

租户可靠性注意事项

如需容忍或处理代理级故障，请在隔离的租户项目中部署代理。这种隔离有助于确保运营问题或安全事件仅限于单个业务单位，不会影响其他资源或业务单位。

Agent Platform 可靠性注意事项

如果向模型发出的请求数量超出分配的容量，则模型会返回错误代码 429。对于业务关键型且需要持续高吞吐量的工作负载，您可以使用预配吞吐量来预留吞吐量。

Agent Runtime 可靠性注意事项

为确保 Agent Runtime 配置和使用情况符合您的可靠性要求，请考虑以下建议：

  • 无服务器可伸缩性：部署在 Agent Runtime 上的智能体可根据需求独立扩缩。一个租户中的用量突然激增不会耗尽计算资源，也不会影响另一个租户项目中代理的可用性。
  • 错误处理：为了处理暂时性错误（例如错误代码 429 速率限制），智能体编排逻辑会使用指数退避算法。如果超出上下文截止时间，智能体会执行安全关停，并向用户报告部分进度。例如，由于工具调用缓慢、第三方 API 延迟、处理海量数据集或计算密集型处理，可能会超出上下文截止时间。

如需了解特定于 AI 和机器学习工作负载的可靠性原则和建议，请参阅 Well-Architected Framework 中的 AI 和机器学习视角：可靠性。

运营效率

本部分介绍使用此参考架构设计可高效运营的 Google Cloud 拓扑时应考虑的因素。

Google Cloud Observability 注意事项

借助 Logging 和 Cloud Monitoring，您可以监控整个平台的运行状况和性能。您可以设置提醒，以便主动检测和排查问题，而无需允许访问敏感数据。

架构中所有产品的运营效率注意事项

在标准化租户架构模式中使用 Agent Platform，可让您在初始配置新租户时建立一致的基准。为了减轻运维负担，请使用 Terraform 等基础架构即代码 (IaC) 工具自动执行部署流程。如需了解可用于构建和部署多租户智能体 AI 系统的 Terraform 代码，请参阅本文档的部署部分。

如需了解特定于 AI 和机器学习工作负载的卓越运营原则和建议，请参阅 Well-Architected Framework 中的 AI 和机器学习视角：卓越运营。

费用优化

本部分将指导您优化您使用此参考架构构建的 Google Cloud 拓扑的设置和操作费用。

Agent Platform 费用注意事项

为确保您的 Agent Platform 配置和使用情况符合您的费用要求，请考虑以下建议：

  • Token 消耗：为了管理费用并防止 AI 模型超出上下文窗口，请使用以下策略来管理 AI 模型的上下文：
    • 上下文摘要：不要将整个会话对话保存为上下文，而是使用 AI 模型来总结较旧的对话和不太重要的信息。
    • 精简输出：识别并移除工具输出或检索到的上下文中相关性较低或冗余的部分。例如，如果您只需要数据中的列名称，则可以从数据库架构提取中移除多余的元数据。此策略需要使用启发式方法、过滤或小语言模型 (SLM) 的自定义逻辑来提取最重要的信息。
    • 最大 token 限制：为帮助防止无限循环并帮助控制费用，请强制执行会话最大 token 限制。

  • 模型端点：为了管理 API 配额和资源利用率，您可以在专用配置或共享配置中部署 Agent Platform 端点：

    • 专用端点：在每个租户项目中部署端点时，您会提供固有的配额隔离。每个租户的用量都会计入其自己的项目配额，从而防止租户之间相互影响。与共享端点相比，专用端点提供更简单的配额管理。但是，专用端点会阻止您利用共享端点可能节省的费用。
    • 共享端点：为了优化费用，您可以在中央治理和安全中心托管共享端点。由于所有租户共享相同的配额池，因此为了帮助防范恶意攻击，您必须实施缓解策略，例如使用 API Gateway 实施租户级速率限制或配额强制执行。与专用端点相比，共享端点更具成本效益。但是，共享端点需要额外的工程工作，并且可能会导致延迟时间和管理开销。

    如需了解 Agent Platform 的费用，请参阅在 Agent Platform 中构建和部署 AI 模型的费用。

Cloud Run 费用注意事项

通过插桩，您可以监控每个租户的性能、排查问题并跟踪资源使用情况。如需识别每个请求的租户，请从 IAP 提供的上下文中提取用户身份。如需了解如何对应用进行插桩，请参阅选择插桩方法。

Model Armor 费用注意事项

为了强制执行严格的治理和零信任态势，此架构在两个层级部署了 Model Armor：路由中心和每个租户项目。虽然这种双层方法有助于确保数据主权，但它会增加延迟时间和运营成本。为了降低成本和系统复杂性，请仅在路由中心部署 Model Armor，以过滤所有提示和回答。

架构中所有产品的费用注意事项

为确保您的架构满足费用要求，请考虑以下一般建议：

  • 共享基础设施：与为每个智能体构建单独的自定义堆栈相比，共享核心基础设施组件（例如前端门户、中央治理和安全中心以及 Agent Platform）可以降低成本。

  • 平台开销：如需分摊中央治理和安全中心的共享费用，请使用适合您的跟踪功能和使用模式的分配模型。我们建议您使用以下费用分摊模型之一：

    • 平均分配：平均分配模型在所有租户之间平均分配共享费用。当平台是基准实用程序或精细跟踪的开销超过成本效益时，请使用此模型。
    • 按比例分配：按比例分配模型或退款流程会根据每个租户产生的直接费用比例来分配共享费用。当租户消耗量差异很大，并且您拥有强大的遥测功能（例如 Resource Manager 标签和日志解析）来准确归因费用时，请使用此模型。
    • 固定分配：固定或分层模型根据业务定义的系数分配共享费用。当租户需要不同的服务等级协议 (SLA) 时，请使用此模型。通过固定模型分配，您可以针对高级专用功能和标准共享功能收取固定费率。

    如需详细了解如何分配共享服务费用，请参阅 Cloud FinOps：共享服务费用分配。

  • 集中式费用管理：如需准确跟踪智能体 AI 系统的总拥有成本 (TCO) 并将费用归因于各个业务单位，请使用标签和 Cloud Billing 导出数据。如需详细了解如何使用标签来提高成本意识，请参阅培养成本意识文化。

如需估算 Google Cloud 资源的费用，请使用Google Cloud 价格计算器。

如需了解特定于 AI 和机器学习工作负载的费用优化原则和建议，请参阅 Well-Architected Framework 中的AI 和机器学习视角：费用优化。

部署

如需部署此参考架构，请使用 GitHub 中提供的多租户智能体 AI Terraform 示例。

后续步骤

贡献者

作者：

其他贡献者：