标准版 PayGo

标准随用随付 (Standard PayGo) 是一种使用 Gemini Enterprise Agent Platform 的生成式 AI 模型套件(包括 Gemini 模型系列)的消费方案。

使用 Standard PayGo,您只需为所消耗的资源付费,而无需预先做出财务承诺。为了帮助扩缩共享容量的工作负载,Standard PayGo 纳入了使用层级系统。Agent Platform 会根据组织在滚动 30 天内对符合条件的 Agent Platform 服务的总支出,动态调整组织的优先级吞吐量阈值。随着组织支出的增加,系统会自动将其提升到更高的层级,并在共享容量池中提供更高的优先级吞吐量阈值。 Standard PayGo 在共享资源上运行,不会预留专用容量,也不会在争用高峰期提供保证的吞吐量。对于需要比 Standard PayGo 更稳定的性能的工作负载,请考虑使用 Priority PayGo。如需了解专用和 保证的容量,请参阅预配吞吐量。

使用层级和吞吐量

每个 Standard PayGo 使用层级都定义了组织级优先级吞吐量阈值,以每分钟令牌数 (TPM) 为单位进行衡量。请求的 TPM 达到层级阈值时,可以优先访问共享容量,而不是突发流量,但吞吐量和可用性仍取决于共享池中的实时需求,并且无法保证。吞吐量阈值适用于发送到 global 端点的请求。使用 global 端点是一种最佳实践,因为它提供对全球吞吐量容量池的访问权限,并动态将请求路由到可用性最高的位置。

多区域端点(例如us和eu在 aiplatform.us.rep.googleapis.com和aiplatform.eu.rep.googleapis.com上)将机器学习处理限制在特定的司法管辖范围内。 虽然多区域端点会在该地理区域内的多个数据中心汇集容量,但它们从单独的区域容量池运行,并且不共享 global 端点的全球吞吐量容量。 单区域端点(例如 us-central1 或 us-east5)仅限于单个数据中心集群,容量余量最低。如果您的工作负载不受严格的数据驻留要求限制,请使用 global 端点来使用层级的完整优先级吞吐量阈值并最大限度地提高余量。如需详细了解如何配置多区域端点,请参阅 多区域端点。

您的流量不会严格限制在层级的 TPM 阈值。当有备用共享容量可用时,Agent Platform 会根据情况处理超出此阈值的流量。在 Agent Platform 需求高峰期,系统会先限制超出层级阈值的突发流量,然后再处理层级阈值内的流量,并且所有共享池流量都可能会遇到更高的延迟或 429 错误。为了最大限度地减少限制,请尽可能均匀地平滑每分钟的流量,避免以急剧的秒级峰值发送请求。 即使每分钟的平均用量在层级的 TPM 阈值内,瞬时高流量也可能会导致限制。

Standard PayGo 中提供以下层级:

模型系列 层级 客户支出(30 天) 流量 TPM(组织级)
Gemini Pro 和 Argon 模型
(包括 Gemini 4 Argon 和 Gemini 4 Argon Cyber Permissive)
层级 1 10 美元 - 250 美元 50 万
层级 2 250 美元 - 2,000 美元 100 万
层级 3 2,000 美元 - 50,000 美元 200 万
层级 4 > 50,000 美元 1000 万
自定义层级 如需了解详情,请与销售团队联系
Gemini Flash 和 Flash-Lite 模型 层级 1 10 美元 - 250 美元 200 万
层级 2 250 美元 - 2,000 美元 400 万
层级 3 2,000 美元 - 50,000 美元 1000 万
层级 4 > 50,000 美元 5000 万
自定义层级 如需了解详情,请与销售团队联系

为模型系列显示的吞吐量阈值独立适用于该系列中的每个模型。例如,层级 3 中的组织对于 Gemini 3.5 Flash 的优先级吞吐量阈值为 1000 万 TPM。针对一个模型阈值的使用情况不会影响其他模型的吞吐量。每个层级都没有单独的每分钟请求数 (RPM) 限制。具有多模态输入的 Gemini 请求 受相应的 系统速率限制。

使用层级的工作原理

您的使用层级由组织在滚动 30 天内对符合条件的 Agent Platform 服务的总支出自动确定。随着组织支出的增加,系统会将您提升到更高的层级,并提供更高的优先级吞吐量阈值。

支出计算

此计算包括各种服务,从所有 Gemini 模型系列的预测到 Agent Platform CPU、GPU 和 TPU 实例,以及基于承诺的 SKU,例如预配吞吐量。

点击即可详细了解支出计算中包含的 SKU。

下表列出了包含在总支出计算中的 Google Cloud SKU类别。

类别 包含的 SKU 说明
Gemini 模型 所有 Gemini 模型系列(例如 Pro、Flash 和 Lite 版本中的 2.0、2.5 和 3.0),用于跨所有模态(文本、图片、音频、视频)进行预测,包括批量、长上下文、调整和“思考”变体
Gemini 模型功能 所有相关的 Gemini SKU,适用于缓存、缓存存储和优先级层级等功能,涵盖所有模态和模型版本
Agent Platform CPU 所有基于 CPU 的实例系列(例如 C2、C3、E2、N1、N2 及其变体)的在线和批量预测
Agent Platform GPU 所有 NVIDIA GPU 加速实例(例如 A100、H100、H200、B200、L4、T4、V100 和 RTX 系列)的在线和批量预测
Agent Platform TPU 所有基于 TPU 的实例(例如 TPU-v5e 和 v6e)的在线和批量预测
管理和费用 与各种 Agent Platform 预测实例关联的所有“管理费”SKU
预配吞吐量 所有基于承诺的预配吞吐量 SKU
其他服务 专业服务,例如“LLM Grounding for Gemini... with Google Search tool”

验证使用层级

如需验证组织的使用层级,请前往 控制台中的 Google Cloud Agent Platform 信息中心。 如需在信息中心内查看使用层级,您需要对项目拥有 Agent Platform Viewer 角色 (roles/aiplatform.viewer),并对结算账号拥有 Billing Account Viewer 角色 (roles/billing.viewer)。

前往 Agent Platform 信息中心

验证支出

如需查看 Agent Platform 支出,请前往 Google Cloud 控制台中的 Cloud Billing。支出在组织级汇总。

前往 Cloud Billing

资源用尽 (429) 错误

如果您收到 429 错误,这并不表示您已达到固定配额, 而是表示特定共享资源暂时争用激烈。 请实现指数退避算法重试策略来处理这些错误,因为此动态环境中的可用性可能会快速变化。

除了重试策略之外,还要评估端点选择:

  • global 端点(推荐) :global 端点会在 Google 的全球数据中心集群中动态路由请求,汇集全球吞吐量容量并平滑本地峰值。这可提供最高的可用性,并显著降低 429 错误的发生几率。
  • 多区域端点(例如 us 和 eu):多区域端点 会在特定地理 边界内的多个数据中心汇集容量。虽然它们提供的容量比单个区域更大,但无法访问全球容量。如果您的应用使用多区域 端点,并且在高峰期遇到 429 错误,请评估您的 数据治理政策是否允许将非敏感或一般 工作负载路由到 global 端点,或者考虑 Priority PayGo 或 预配吞吐量。
  • 单区域端点(例如 us-central1):单区域 端点受限于特定集群位置,并且在负载争用情况下最有可能遇到 429 错误。 除非需要与延迟敏感型计算资源进行共置,否则请避免将高吞吐量 Standard PayGo 工作负载固定到单区域端点。

为获得最佳效果,请将 global 端点与流量平滑结合使用。避免以急剧的秒级峰值发送请求,因为即使每分钟的平均用量在层级的优先级吞吐量阈值内,瞬时高流量也可能会导致限制。更均匀地分配 API 调用有助于系统以可预测的方式管理负载,并提高整体性能。如需详细了解如何处理资源 用尽错误,请参阅 构建弹性 LLM 应用并减少 429 错误 和 错误代码 429。

支持的模型

以下 正式版 (GA) Gemini 模型和任何相应的 监督式 微调模型支持 具有使用层级的 Standard PayGo:

点击即可展开支持的模型

以下 GA Gemini 模型也支持 Standard PayGo,但 使用层级不适用于这些模型:

这些层级不适用于预览版模型。如需获取最准确、最新的信息,请参阅每个模型的具体官方文档。

监控吞吐量和性能

如需监控组织的实时令牌消耗量,请前往 Cloud Monitoring 中的 Metrics Explorer。

前往 Metrics Explorer

如需详细了解如何监控模型端点流量,请参阅 监控模型。

使用层级在组织级应用。如需了解如何设置您的 可观测性范围以绘制组织中多个项目的 吞吐量图表,请参阅为多项目 查询配置可观测性范围。

后续步骤

资源

与 Agent Platform 相关的配额和限制,不包括特定于产品的限制。

窗口概览

了解如何 Google Cloud 限制 Google Cloud 项目可使用的资源量,以及配额如何应用于各种资源类型,包括硬件、软件和网络组件。