标准随用随付 (Standard PayGo) 是一种消费选项,可用于使用 Gemini Enterprise Agent Platform 的生成式 AI 模型套件。借助 Standard PayGo,您只需为所消耗的资源付费,而无需预先做出财务承诺。为了让可伸缩的工作负载获得更可预测的性能,Standard PayGo 引入了使用层级系统。Agent Platform 会根据组织在滚动 30 天内对符合条件的 Agent Platform 服务的总支出,动态调整组织的基准吞吐量容量。随着组织支出的增加,系统会自动将组织提升到更高的层级,从而提供更多共享资源和更高的性能阈值。
使用层级和吞吐量
每个 Standard PayGo 使用层级都旨在提供基准吞吐量(以每分钟令牌数 [TPM] 为组织),作为组织流量的可预测性能下限。吞吐量上限基于发送到全局端点的请求。使用全局端点是一种最佳实践,因为它可以访问更大的多区域吞吐量容量池,并允许将请求路由到可用性最高的位置,从而最大限度地提高性能。
您的流量不会严格限制在基准吞吐量上限。 Agent Platform 会尽力让流量超出此上限。但是,在 Agent Platform 平台需求旺盛期间,这种超出上限的突发流量的性能可能会有更高的可变性。为了优化性能并最大限度地减少收到这些错误的可能性,最佳实践是尽可能平稳地分配每分钟的流量。避免在第二级峰值时发送请求。即使每分钟的平均用量低于上限,高瞬时流量也可能会导致限制。更均匀地分配 API 调用有助于系统以可预测的方式管理负载,并提高整体性能。
Standard PayGo 中提供以下层级:
| 模型系列 | 层级 | 客户支出(30 天) | 流量 TPM(组织级) |
|---|---|---|---|
| Gemini Pro 模型 | 层级 1 | $10 - $250 | 50 万 |
| 层级 2 | $250 - $2000 | 100 万 | |
| 层级 3 | > $2000 | 200 万 | |
| Gemini Flash 和 Flash-Lite 模型 | 层级 1 | $10 - $250 | 200 万 |
| 层级 2 | $250 - $2000 | 400 万 | |
| 层级 3 | > $2000 | 1000 万 |
为模型系列显示的吞吐量上限独立适用于该系列中的每个模型。例如,层级 3 中的客户的 Gemini 2.5 Flash 的基准吞吐量为 1000 万 TPM,Gemini 2.0 Flash 的基准吞吐量也为 1000 万 TPM。使用其中一个上限不会影响其他模型的吞吐量。每个层级都没有单独的每分钟请求数 (RPM) 上限。但是,每个模型每个区域的 系统上限为 30,000 RPM 适用。使用多模态输入的 Gemini 请求受 相应的系统速率限制,包括 图片、 音频、 视频和 文档。
如果您需要更高的吞吐量来满足企业用例,请与您的客户支持团队联系,详细了解自定义层级。
使用层级的工作原理
您的使用层级由组织在滚动 30 天内对符合条件的 Gemini Enterprise Agent Platform 服务的总支出自动确定。随着组织支出的增加,系统会将您提升到吞吐量更高的层级。
支出计算
此计算包括各种服务,从所有 Gemini 模型系列的预测到 Gemini Enterprise Agent Platform CPU、GPU 和 TPU 实例,以及基于承诺的 SKU(例如预配吞吐量)。
点击即可详细了解支出计算中包含的 SKU。
下表列出了包含在总支出计算中的 Google Cloud SKU 类别。
| 类别 | 包含的 SKU 说明 |
|---|---|
| Gemini 模型 | 所有 Gemini 模型系列(例如,Pro、Flash 和 Lite 版本中的 2.0、2.5、3.0),用于跨所有模态(文本、图片、音频、视频)进行预测,包括批量、长上下文、经过调优和“思考”变体 |
| Gemini 模型功能 | 所有相关的 Gemini SKU,适用于缓存、缓存存储和优先级层级等功能,涵盖所有模态和模型版本 |
| Agent Platform CPU | 所有基于 CPU 的实例系列(例如 C2、C3、E2、N1、N2 及其变体)的在线预测和批量预测 |
| Agent Platform GPU | 所有 NVIDIA GPU 加速实例(例如 A100、H100、H200、B200、L4、T4、V100 和 RTX 系列)的在线预测和批量预测 |
| Agent Platform TPU | 所有基于 TPU 的实例(例如 TPU-v5e、v6e)的在线预测和批量预测 |
| 管理和费用 | 与各种 Agent Platform 预测实例关联的所有“管理费”SKU |
| 预配吞吐量 | 预配吞吐量的所有基于承诺的 SKU |
| 其他服务 | 专业服务,例如“LLM Grounding for Gemini... with Google Search tool” |
验证使用层级
如需验证组织的使用层级,请前往 控制台中的 Google Cloud Gemini Enterprise Agent Platform 信息中心。
验证支出
如需查看 Agent Platform 支出,请前往 Google Cloud 控制台中的 Cloud Billing。支出在组织级汇总。
资源用尽 (429) 错误
如果您收到 429: Resource Exhausted 错误,这并不表示您已达到固定配额, 而是表示特定共享资源暂时存在高争用。我们建议您实现指数退避算法重试策略来处理这些错误,因为此动态环境中的可用性可能会快速变化。除了重试策略之外,我们还建议您使用全局端点。与区域端点(例如
us-central1)不同,全局端点会动态地将请求路由到当时可用容量最多的区域。这样,您的应用就可以访问更大的多区域共享容量池,从而显著提高成功突发的可能性,并降低出现
429 错误的可能性。
为获得最佳效果,请将全局端点与流量平滑结合使用。 避免在第二级峰值时发送请求,因为即使每分钟的平均用量在基准吞吐量上限范围内,高瞬时流量也可能会导致限制。更均匀地分配 API 调用有助于系统以可预测的方式管理负载,并提高整体性能。如需详细了解如何处理资源用尽 错误,请参阅 处理 429 错误指南 和 错误代码 429。
监控吞吐量和性能
如需监控组织的实时令牌消耗量,请前往 Cloud Monitoring 中的 Metrics Explorer。
如需详细了解如何监控模型端点流量,请参阅 监控模型。
请注意,使用层级适用于组织级。如需了解如何设置可观测性范围以绘制组织中多个项目的吞吐量图表,请参阅 为多项目查询配置可观测性范围。