预配吞吐量概览

本页面介绍了预分配吞吐量是什么以及何时使用它。

预配吞吐量简介

预配吞吐量是一项固定费用、固定期限的订阅服务，提供多种期限长度，用于为Gemini Enterprise Agent Platform 上受支持的生成式 AI 模型预留吞吐量。如要预留吞吐量，您必须指定模型以及支持模型在其中运行的 可用位置。

何时使用预配吞吐量

如果您的用例符合以下任何注意事项，请考虑使用预分配吞吐量：

• 您要构建实时生成式 AI 生产应用，例如聊天机器人和代理。
• 您的关键工作负载始终需要高吞吐量。吞吐量测量取决于模型。
• 您希望为应用用户提供一致且可预测的体验。
• 您希望通过支付每月或每周固定价格来控制超额费用，从而实现确定性的生成式 AI 费用。

预配吞吐量是使用生成式 AI 模型的几种方式之一。如需了解所有使用选项，请参阅使用选项。

后续步骤

• 支持使用预配吞吐量的模型。