標準版即付即用

標準即付即用 (Standard PayGo) 是使用 Gemini Enterprise Agent Platform 生成式 AI 模型套件 (包括 Gemini 模型系列) 的消費方案。

Standard PayGo 讓您只需為實際使用的資源付費,不需預先承諾支出。為協助您在共用運算資源上調度工作負載,標準即付即用方案採用用量級別系統。Agent Platform 會根據貴組織在過去 30 天內,符合資格的 Agent Platform 服務總支出,動態調整優先處理量門檻。隨著組織支出增加,系統會自動將組織升級至更高層級,並在共用容量集區中提高優先處理的處理量門檻。Standard PayGo 採用共用資源,不會預留專屬容量,也不會在高競爭期間提供保證處理量。如果工作負載需要比標準即付即用更穩定的效能,請考慮優先即付即用。如需專屬且有保障的運算資源,請參閱「佈建輸送量」。

用量級別和處理量

每個標準即付即用用量級別都會定義組織層級的優先處理量門檻,以每分鐘詞元數 (TPM) 為單位。如果要求數量未超過級別的 TPM 門檻,則可優先存取共用容量,不受超額突發流量影響,但處理量和可用性仍取決於共用集區的即時需求,因此無法保證。處理量門檻適用於傳送至 global 端點的要求。最佳做法是使用 global 端點,因為這個端點可讓您存取全球的處理量,並將要求動態轉送至可用性最高的位置。

多區域端點 (例如 aiplatform.us.rep.googleapis.com 和 aiplatform.eu.rep.googleapis.com 上的 us 和 eu) 會將機器學習處理作業限制在特定管轄範圍內。雖然多區域端點會彙整該地理區域內多個資料中心的容量,但這些端點會從不同的區域容量集區運作,且不會共用 global 端點的全球處理量。單一區域端點 (例如 us-central1 或 us-east5) 僅限於單一資料中心叢集,且容量預留空間最低。如果工作負載不受嚴格的資料落地規定限制,請使用 global 端點,充分運用您所在級別的優先處理總處理量門檻,並盡可能提高可用空間。如要進一步瞭解如何設定多區域端點,請參閱「多區域端點」。

流量不會嚴格限制在級別的 TPM 門檻內。當有閒置的共用容量時,Agent Platform 會視情況處理超過這個門檻的流量。在 Agent Platform 需求量大的期間,系統會先限制超出的爆量流量,再限制層級門檻內的流量,且所有共用集區流量都可能出現較高的延遲時間或 429 錯誤。為盡可能減少節流,請盡可能平均分配每分鐘的流量,避免在短時間內傳送大量要求。即使每分鐘平均用量在級別的 TPM 門檻內,瞬間流量過高仍可能導致系統限制用量。

標準 PayGo 方案提供下列級別:

模型系列 級別 顧客支出 (30 天) 流量 TPM (機構層級)
Gemini Pro 和 Argon 模型
(包括 Gemini 4 Argon 和 Gemini 4 Argon Cyber Permissive)
級別 1 $10 - $250 500,000
級別 2 $250 至 $2,000 美元 1,000,000
第 3 級 $2,000 至 $50,000 美元 2,000,000
第 4 級 > $50,000 10,000,000
自訂級別 詳情請洽詢業務團隊
Gemini Flash 和 Flash-Lite 模型 級別 1 $10 - $250 2,000,000
級別 2 $250 至 $2,000 美元 4,000,000
第 3 級 $2,000 至 $50,000 美元 10,000,000
第 4 級 > $50,000 50,000,000
自訂級別 詳情請洽詢業務團隊

模型系列顯示的處理量門檻,會分別套用至該系列中的各個模型。舉例來說,第 3 級機構的 Gemini 3.5 Flash 優先處理量門檻為 10,000,000 TPM。某個模型的用量達到門檻,不會影響其他模型的處理量。每個級別沒有單獨的每分鐘要求數 (RPM) 限制。含有多模態輸入內容的 Gemini 要求,須遵守相應的系統頻率限制。

用量級別的運作方式

用量層級會根據貴組織在過去 30 天內,於符合資格的 Agent Platform 服務總支出自動決定。隨著貴組織的支出增加,系統會將您升級至更高的級別,並提高優先處理量門檻。

支出計算

這項計算涵蓋多種服務,包括所有 Gemini 模型系列的預測、Agent Platform CPU、GPU 和 TPU 執行個體,以及承諾使用型 SKU,例如佈建輸送量。

按一下即可進一步瞭解支出計算中包含的 SKU。

下表列出計入總支出的 Google Cloud SKU 類別。

類別 所含 SKU 的說明
Gemini 模型 所有 Gemini 模型系列 (例如 Pro、Flash 和 Lite 版本的 2.0、2.5 和 3.0),用於所有模態 (文字、圖片、音訊、影片) 的預測,包括批次、長脈絡、調整和「思考」變體
Gemini 模型功能 所有相關 Gemini SKU,適用於快取、快取儲存空間和優先順序級別等功能,涵蓋所有模態和模型版本
Agent Platform CPU 所有 CPU 執行個體系列 (例如 C2、C3、E2、N1、N2 及其變體) 的線上和批次預測
Agent Platform GPU 所有 NVIDIA GPU 加速執行個體 (例如 A100、H100、H200、B200、L4、T4、V100 和 RTX 系列) 的線上和批次預測
Agent Platform TPU 所有 TPU 執行個體 (例如 TPU-v5e 和 v6e) 的線上和批次預測
管理與費用 與各種 Agent Platform 預測執行個體相關聯的所有「管理費」SKU
佈建輸送量 所有佈建輸送量合約 SKU
其他服務 「LLM Grounding for Gemini... with Google 搜尋工具」等專業服務

確認用量層級

如要確認貴組織的用量級別,請前往 Google Cloud 控制台的 Agent Platform 資訊主頁。如要在資訊主頁查看用量級別,您必須具備專案的 Agent Platform 檢視者角色 (roles/aiplatform.viewer),以及帳單帳戶的帳單帳戶檢視者角色 (roles/billing.viewer)。

前往 Agent Platform 資訊主頁

驗證支出

如要查看 Agent Platform 支出,請前往Google Cloud 控制台的 Cloud Billing。支出會以組織為單位匯總。

前往 Cloud Billing

資源用盡 (429) 錯誤

如果收到 429 錯誤,不代表您已達到固定配額。這表示特定共用資源暫時出現高度競爭。請實作指數輪詢重試策略來處理這些錯誤,因為這個動態環境的可用性可能會快速變化。

除了重試策略,也請評估端點選擇:

  • global 端點 (建議):global 端點會動態轉送要求至 Google 全球資料中心,匯集全球處理量,並緩解局部尖峰。這可提供最高可用性,並大幅降低 429 錯誤的可能性。
  • 多區域端點 (例如 us 和 eu):多區域端點會彙整特定地理邊界內多個資料中心的容量。雖然容量比單一區域大,但無法存取全球容量。如果應用程式使用多區域端點,並在尖峰時段發生 429 錯誤,請評估資料治理政策是否允許將非機密或一般工作負載轉送至 global 端點,或考慮使用優先 PayGo 或佈建輸送量。
  • 單一區域端點 (例如 us-central1):單一區域端點受限於特定叢集位置,在負載爭用情況下,最有可能發生 429 錯誤。除非需要與延遲敏感的運算資源共置,否則請避免將高處理量的標準 PayGo 工作負載固定至單一區域端點。

為達到最佳效果,請搭配使用 global 端點和流量平滑功能。請避免在短時間內大量傳送要求,因為即使每分鐘平均用量在您級別的優先處理量門檻內,瞬間高流量仍可能導致系統限制用量。更平均地分配 API 呼叫,有助於系統以可預測的方式管理負載,並提升整體效能。如要進一步瞭解如何處理資源耗盡錯誤,請參閱「建構彈性 LLM 應用程式並減少 429 錯誤」和「錯誤代碼 429」。

支援的模型

下列正式發布版 (GA) Gemini 模型和任何對應的監督式調整模型,支援標準 PayGo (依用量分級):

按一下即可展開支援的模型

下列 GA Gemini 模型也支援 Standard PayGo,但用量級別不適用於這些模型:

這些級別不適用於預先發布版模型。請參閱各模型的官方說明文件,取得最準確的最新資訊。

監控處理量和效能

如要監控組織的即時權杖用量,請前往 Cloud Monitoring 的 Metrics Explorer。

前往「Metrics Explorer」。

如要進一步瞭解如何監控模型端點流量,請參閱「監控模型」。

用量級別適用於組織層級。如要瞭解如何設定觀測能力範圍,以圖表呈現組織中多項專案的處理量,請參閱「設定多專案查詢的觀測能力範圍」。

後續步驟

資源

Agent Platform 相關配額和限制,不含產品專屬限制。

總覽

瞭解 Google Cloud 如何限制 Google Cloud 專案可使用的資源數量,以及配額如何適用於多種資源類型,包括軟硬體和網路元件。