標準版即付即用

標準隨用隨付 (標準 PayGo) 是一種消費選項,可使用 Gemini Enterprise Agent Platform 的生成式 AI 模型套件。標準 PayGo 讓您只需支付所用資源的費用,無需預先承諾支出金額。為提供可預測的效能,以因應可擴充的工作負載,標準 PayGo 採用用量層級系統。Agent Platform 會根據您機構在過去 30 天內,於符合資格的 Agent Platform 服務上的總支出,動態調整機構的基準輸送量。隨著機構支出增加,系統會自動將機構升級至較高的層級,提供更多共用資源和更高的效能門檻。

用量等級和處理量

每個標準隨用隨付用量層級都旨在提供以每分鐘權杖數 (TPM) 衡量的基準輸送量,做為貴機構流量的可預測效能下限。輸送量限制是根據傳送至全域端點的要求而定。使用全域端點是最佳做法,因為這樣可以存取較大的多區域輸送量容量集區,並將要求轉送至可用性最高的地區,盡可能提升效能。

流量不會嚴格限制在基準輸送量上限。Agent Platform 會盡力讓流量超出此上限。不過,在 Agent Platform 平台需求量高的期間,這類超出上限的流量可能會導致效能變異性較高。如要提升效能並盡量避免收到這些錯誤,建議您盡可能平均分配每分鐘的流量。請避免在秒級尖峰時段傳送要求。即使每分鐘的平均用量低於上限,高且即時的流量仍可能導致節流。更平均地分配 API 呼叫,有助於系統預測負載並提升整體效能。

標準隨用隨付方案提供下列等級:

模型系列 級別 顧客支出 (30 天) 流量 TPM (機構層級)
Gemini Pro 模型 級別 1 $10 至 $250 美元 500,000
級別 2 $250 至 $2,000 美元 1,000,000
第 3 級 > $2000 2,000,000
Gemini Flash 和 Flash-Lite 模型 級別 1 $10 至 $250 美元 2,000,000
級別 2 $250 至 $2,000 美元 4,000,000
第 3 級 > $2000 10,000,000

模型系列顯示的處理量限制會獨立套用至該系列中的每個模型。舉例來說,第 3 層的客戶使用 Gemini 2.5 Flash 的基準處理量為 10,000,000 TPM,使用 Gemini 2.0 Flash 的基準處理量則為 10,000,000 TPM。使用其中一個模型的處理量不會影響其他模型。每個層級沒有獨立的每分鐘要求數 (RPM) 限制,但每個模型在每個區域的系統限制為 30,000 RPM。如果 Gemini 要求包含多模態輸入內容,則會受到相應的系統速率限制,包括圖片、音訊、影片和文件。

如果企業用例需要較高的處理量,請與帳戶團隊聯絡,進一步瞭解自訂層級。

用量層級的運作方式

系統會根據貴機構在過去 30 天內,於符合資格的 Gemini Enterprise Agent Platform 服務上的總支出,自動決定用量層級。隨著貴機構的支出增加,系統會將您升級至較高的層級,並提供更高的處理量。

支出計算

這項計算涵蓋各種服務,包括所有 Gemini 模型系列的預測功能、Gemini Enterprise Agent Platform CPU/GPU/TPU 執行個體,以及以承諾為準的 SKU (例如佈建輸送量)。

按一下即可進一步瞭解支出計算中包含的 SKU。

下表列出計入總支出的 Google Cloud SKU 類別。

類別 內含 SKU 的說明
Gemini 模型 所有 Gemini 模型系列 (例如 2.0、2.5、3.0 的 Pro、Flash 和 Lite 版本),可預測所有模態 (文字、圖像、音訊、影片),包括批次、長脈絡、微調和「思考」變體
Gemini 模型功能 所有相關的 Gemini SKU,適用於所有模式和模型版本,包括快取、快取儲存空間和優先層級等功能
Agent Platform CPU 所有以 CPU 為基礎的執行個體系列 (例如 C2、C3、E2、N1、N2 和其變體) 的線上和批次預測
Agent Platform GPU 在所有 NVIDIA GPU 加速執行個體上進行線上和批次預測 (例如 A100、H100、H200、B200、L4、T4、V100 和 RTX 系列)
Agent Platform TPU 在所有以 TPU 為基礎的執行個體 (例如 TPU-v5e、v6e) 上進行線上和批次預測
管理與費用 與各種 Agent Platform 預測執行個體相關的所有「管理費」SKU
佈建輸送量 所有以承諾使用為準的佈建輸送量 SKU
其他服務 專業服務,例如「LLM Grounding for Gemini... with Google Search tool」

確認用量層級

如要確認貴機構的用量層級,請前往 Google Cloud 控制台的 Gemini Enterprise Agent Platform 資訊主頁。

驗證支出

如要查看 Agent Platform 的支出,請前往Google Cloud 控制台的 Cloud Billing。支出會在機構層級匯總。

前往 Cloud Billing

資源用盡 (429) 錯誤

如果收到 429: Resource Exhausted 錯誤,並不表示您已達到固定配額,而是表示特定共用資源暫時出現高爭用情形。建議您導入指數輪詢重試策略來處理這些錯誤,因為這個動態環境的可用性可能會快速變化。除了重試策略,我們也建議使用全域端點。與區域端點 (例如 us-central1) 不同,全域端點會動態將要求路由至當時可用容量最多的區域。這樣一來,應用程式就能存取更大的多區域共用容量集區,大幅提高爆量成功率,並降低發生 429 錯誤的機率。

為獲得最佳成效,請搭配使用全域端點和流量平滑化功能。請避免在秒級尖峰時段傳送要求,因為即使每分鐘平均用量在基準輸送量限制內,高流量和即時流量仍可能導致節流。更平均地分配 API 呼叫,有助於系統預測負載並提升整體效能。如要進一步瞭解如何處理資源耗盡錯誤,請參閱「處理 429 錯誤的指南」和「錯誤代碼 429」。

監控處理量和效能

如要監控貴機構的即時權杖用量,請前往 Cloud Monitoring 的 Metrics Explorer。

前往「Metrics Explorer」。

如要進一步瞭解如何監控模型端點流量,請參閱「監控模型」。

請注意,用量級別適用於機構層級。如要瞭解如何設定可觀測性範圍,以便繪製貴機構中多項專案的輸送量圖表,請參閱「設定可觀測性範圍,以便查詢多項專案」。