標準隨用隨付 (標準 PayGo) 是一種消費選項,可使用 Gemini Enterprise Agent Platform 的生成式 AI 模型套件。標準 PayGo 讓您只需支付所用資源的費用,無需預先承諾支出金額。為提供可預測的效能,以因應可擴充的工作負載,標準 PayGo 採用用量層級系統。Agent Platform 會根據您機構在過去 30 天內,於符合資格的 Agent Platform 服務上的總支出,動態調整機構的基準輸送量。隨著機構支出增加,系統會自動將機構升級至較高的層級,提供更多共用資源和更高的效能門檻。
用量等級和處理量
每個標準隨用隨付用量層級都旨在提供以每分鐘權杖數 (TPM) 衡量的基準輸送量,做為貴機構流量的可預測效能下限。輸送量限制是根據傳送至全域端點的要求而定。使用全域端點是最佳做法,因為這樣可以存取較大的多區域輸送量容量集區,並將要求轉送至可用性最高的地區,盡可能提升效能。
流量不會嚴格限制在基準輸送量上限。Agent Platform 會盡力讓流量超出此上限。不過,在 Agent Platform 平台需求量高的期間,這類超出上限的流量可能會導致效能變異性較高。如要提升效能並盡量避免收到這些錯誤,建議您盡可能平均分配每分鐘的流量。請避免在秒級尖峰時段傳送要求。即使每分鐘的平均用量低於上限,高且即時的流量仍可能導致節流。更平均地分配 API 呼叫,有助於系統預測負載並提升整體效能。
標準隨用隨付方案提供下列等級:
| 模型系列 | 級別 | 顧客支出 (30 天) | 流量 TPM (機構層級) |
|---|---|---|---|
| Gemini Pro 模型 | 級別 1 | $10 至 $250 美元 | 500,000 |
| 級別 2 | $250 至 $2,000 美元 | 1,000,000 | |
| 第 3 級 | > $2000 | 2,000,000 | |
| Gemini Flash 和 Flash-Lite 模型 | 級別 1 | $10 至 $250 美元 | 2,000,000 |
| 級別 2 | $250 至 $2,000 美元 | 4,000,000 | |
| 第 3 級 | > $2000 | 10,000,000 |
模型系列顯示的處理量限制會獨立套用至該系列中的每個模型。舉例來說,第 3 層的客戶使用 Gemini 2.5 Flash 的基準處理量為 10,000,000 TPM,使用 Gemini 2.0 Flash 的基準處理量則為 10,000,000 TPM。使用其中一個模型的處理量不會影響其他模型。每個層級沒有獨立的每分鐘要求數 (RPM) 限制,但每個模型在每個區域的系統限制為 30,000 RPM。如果 Gemini 要求包含多模態輸入內容,則會受到相應的系統速率限制,包括圖片、音訊、影片和文件。
如果企業用例需要較高的處理量,請與帳戶團隊聯絡,進一步瞭解自訂層級。
用量層級的運作方式
系統會根據貴機構在過去 30 天內,於符合資格的 Gemini Enterprise Agent Platform 服務上的總支出,自動決定用量層級。隨著貴機構的支出增加,系統會將您升級至較高的層級,並提供更高的處理量。
支出計算
這項計算涵蓋各種服務,包括所有 Gemini 模型系列的預測功能、Gemini Enterprise Agent Platform CPU/GPU/TPU 執行個體,以及以承諾為準的 SKU (例如佈建輸送量)。
按一下即可進一步瞭解支出計算中包含的 SKU。
下表列出計入總支出的 Google Cloud SKU 類別。
| 類別 | 內含 SKU 的說明 |
|---|---|
| Gemini 模型 | 所有 Gemini 模型系列 (例如 2.0、2.5、3.0 的 Pro、Flash 和 Lite 版本),可預測所有模態 (文字、圖像、音訊、影片),包括批次、長脈絡、微調和「思考」變體 |
| Gemini 模型功能 | 所有相關的 Gemini SKU,適用於所有模式和模型版本,包括快取、快取儲存空間和優先層級等功能 |
| Agent Platform CPU | 所有以 CPU 為基礎的執行個體系列 (例如 C2、C3、E2、N1、N2 和其變體) 的線上和批次預測 |
| Agent Platform GPU | 在所有 NVIDIA GPU 加速執行個體上進行線上和批次預測 (例如 A100、H100、H200、B200、L4、T4、V100 和 RTX 系列) |
| Agent Platform TPU | 在所有以 TPU 為基礎的執行個體 (例如 TPU-v5e、v6e) 上進行線上和批次預測 |
| 管理與費用 | 與各種 Agent Platform 預測執行個體相關的所有「管理費」SKU |
| 佈建輸送量 | 所有以承諾使用為準的佈建輸送量 SKU |
| 其他服務 | 專業服務,例如「LLM Grounding for Gemini... with Google Search tool」 |
確認用量層級
如要確認貴機構的用量層級,請前往 Google Cloud 控制台的 Gemini Enterprise Agent Platform 資訊主頁。
驗證支出
如要查看 Agent Platform 的支出,請前往Google Cloud 控制台的 Cloud Billing。支出會在機構層級匯總。
資源用盡 (429) 錯誤
如果收到 429: Resource Exhausted 錯誤,並不表示您已達到固定配額,而是表示特定共用資源暫時出現高爭用情形。建議您導入指數輪詢重試策略來處理這些錯誤,因為這個動態環境的可用性可能會快速變化。除了重試策略,我們也建議使用全域端點。與區域端點 (例如 us-central1) 不同,全域端點會動態將要求路由至當時可用容量最多的區域。這樣一來,應用程式就能存取更大的多區域共用容量集區,大幅提高爆量成功率,並降低發生 429 錯誤的機率。
為獲得最佳成效,請搭配使用全域端點和流量平滑化功能。請避免在秒級尖峰時段傳送要求,因為即使每分鐘平均用量在基準輸送量限制內,高流量和即時流量仍可能導致節流。更平均地分配 API 呼叫,有助於系統預測負載並提升整體效能。如要進一步瞭解如何處理資源耗盡錯誤,請參閱「處理 429 錯誤的指南」和「錯誤代碼 429」。
監控處理量和效能
如要監控貴機構的即時權杖用量,請前往 Cloud Monitoring 的 Metrics Explorer。
如要進一步瞭解如何監控模型端點流量,請參閱「監控模型」。
請注意,用量級別適用於機構層級。如要瞭解如何設定可觀測性範圍,以便繪製貴機構中多項專案的輸送量圖表,請參閱「設定可觀測性範圍,以便查詢多項專案」。