標準版即付即用

標準即付即用 (標準 PayGo) 是一種消費選項,可使用 Gemini Enterprise Agent Platform 的生成式 AI 模型套件,包括 Gemini 模型系列。

標準即付即用模式會按用量計費,不必預付費用。為協助您在共用運算資源上調度工作負載,標準即付即用方案採用用量級別系統。Agent Platform 會根據貴機構在過去 30 天內,於符合資格的 Agent Platform 服務上的支出總額,動態調整優先處理量門檻。隨著機構的支出增加,系統會自動將機構升級至較高等級,並在共用容量集區中提高優先順序輸送量門檻。Standard PayGo 在共用資源上執行,不會保留專用容量,也不會在高競爭期間提供保證處理量。如果工作負載需要比標準即付即用更穩定的效能,建議使用優先即付即用。如需專屬和保證的容量,請參閱「佈建輸送量」。

用量級別和處理量

每個標準即付即用用量級別都會定義組織層級的優先處理量門檻,以每分鐘詞元數 (TPM) 為單位。要求量未超過層級的 TPM 門檻時,可優先存取共用容量,避免爆量流量造成影響,但輸送量和可用性仍取決於共用集區的即時需求,因此無法保證。傳送至 global 端點的要求會受到輸送量門檻限制。最佳做法是使用 global 端點,因為這可讓您存取全球的處理量,並將要求動態轉送至可用性最高的位置。

多區域端點 (例如 us 和 eu 位於 aiplatform.us.rep.googleapis.com 和 aiplatform.eu.rep.googleapis.com) 會將機器學習處理作業限制在特定管轄範圍內。雖然多區域端點會彙整該地理區域內多個資料中心的容量,但這些端點是從個別區域容量集區運作,不會共用 global 端點的全球輸送量容量。單一區域端點 (例如 us-central1 或 us-east5) 僅限於單一資料中心叢集,且容量預留空間最低。如果工作負載不受嚴格的資料落地規定限制,請使用 global 端點,充分運用您所在級別的優先處理總處理量門檻,並盡可能提高可用空間。如要進一步瞭解如何設定多區域端點,請參閱「多區域端點」。

流量不會嚴格限制在級別的 TPM 門檻內。如有閒置的共用容量,Agent Platform 會視情況處理超過此門檻的流量。在 Agent Platform 需求量較高的期間,系統會先節流超出層級門檻的流量,再節流共用集區內的流量,因此所有共用集區流量都可能出現較高的延遲時間或 429 錯誤。為盡量減少節流,請盡可能平均分配每分鐘的流量,並避免在秒級尖峰時段傳送要求。即使每分鐘平均用量在級別的 TPM 門檻內,瞬間流量過高仍可能導致系統限制用量。

標準隨用隨付方案提供下列層級:

模型系列 級別 顧客支出 (30 天) 流量 TPM (機構層級)
Gemini Pro 和 Argon 模型
(包括 Gemini 4 Argon 和 Gemini 4 Argon Cyber Permissive)
級別 1 $10 - $250 500,000
級別 2 $250 至 $2,000 美元 1,000,000
第 3 級 $2,000 至 $50,000 美元 2,000,000
第 4 級 > $50,000 10,000,000
自訂層級 詳情請洽詢業務團隊
Gemini Flash 和 Flash-Lite 模型 級別 1 $10 - $250 2,000,000
級別 2 $250 至 $2,000 美元 4,000,000
第 3 級 $2,000 至 $50,000 美元 10,000,000
第 4 級 > $50,000 50,000,000
自訂層級 詳情請洽詢業務團隊

模型系列的輸送量門檻會獨立套用至該系列中的每個模型。舉例來說,第 3 層的機構在 Gemini 3.5 Flash 的優先處理量門檻為 10,000,000 TPM。某個模型的用量達到門檻,不會影響其他模型的處理量。每個層級沒有個別的每分鐘要求數 (RPM) 上限。Gemini 要求若包含多模態輸入內容,則須遵守相應的系統頻率限制。

用量層級的運作方式

系統會根據貴機構在過去 30 天內,於符合資格的 Agent Platform 服務上的總支出,自動決定用量層級。隨著組織支出增加,系統會將您升級至更高的級別,並提高優先處理量門檻。

支出計算

這項計算涵蓋各種服務,從所有 Gemini 模型系列的預測,到 Agent Platform CPU、GPU 和 TPU 執行個體,以及以承諾為準的 SKU (例如佈建輸送量)。

按一下即可進一步瞭解支出計算中包含的 SKU。

下表列出計入總支出的Google Cloud SKU 類別。

類別 內含 SKU 的說明
Gemini 模型 所有 Gemini 模型系列 (例如 Pro、Flash 和 Lite 版本的 2.0、2.5 和 3.0),可預測所有模態 (文字、圖片、音訊、影片),包括批次、長脈絡、微調和「思考」變體
Gemini 模型功能 所有相關 Gemini SKU,適用於快取、快取儲存空間和優先順序層級等功能,涵蓋所有模態和模型版本
Agent Platform CPU 所有 CPU 執行個體系列 (例如 C2、C3、E2、N1、N2 及其變體) 的線上和批次預測
Agent Platform GPU 在所有 NVIDIA GPU 加速執行個體 (例如 A100、H100、H200、B200、L4、T4、V100 和 RTX 系列) 上進行線上和批次預測
Agent Platform TPU 所有 TPU 執行個體 (例如 TPU-v5e 和 v6e) 的線上和批次預測
管理與費用 與各種 Agent Platform 預測執行個體相關聯的所有「管理費」SKU
佈建輸送量 所有承諾使用佈建輸送量 SKU
其他服務 「LLM Grounding for Gemini... with Google 搜尋工具」等專業服務

確認用量層級

如要驗證貴機構的使用層級,請前往 Google Cloud 控制台的 Agent Platform 資訊主頁。如要在資訊主頁上查看用量層級,您必須具備專案的Agent Platform 檢視者角色 (roles/aiplatform.viewer),以及帳單帳戶的帳單帳戶檢視者角色 (roles/billing.viewer)。

前往 Agent Platform 資訊主頁

驗證支出

如要查看 Agent Platform 支出,請前往Google Cloud 控制台的 Cloud Billing。支出會在機構層級匯總。

前往 Cloud Billing

資源用盡 (429) 錯誤

如果收到 429 錯誤,不代表您已達到固定配額。這表示特定共用資源暫時出現高度競爭。請實作指數輪詢重試策略來處理這些錯誤,因為這個動態環境的可用性可能會快速變化。

除了重試策略,請評估端點選擇:

  • global 端點 (建議使用):global 端點會動態將要求路由至 Google 全球資料中心機群,匯集全球輸送量容量,並平緩本地尖峰流量。這可提供最高可用性,並大幅降低 429 錯誤的可能性。
  • 多區域端點 (例如 us 和 eu):多區域端點會彙整特定地理邊界內多個資料中心的容量。雖然多區域比單一區域的容量更大,但無法存取全球容量。如果應用程式使用多區域端點,並在尖峰時段發生 429 錯誤,請評估資料治理政策是否允許將非機密或一般工作負載轉送至 global 端點,或考慮使用優先 PayGo 或佈建的處理量。
  • 單一區域端點 (例如 us-central1):單一區域端點會受限於特定叢集位置,且在負載爭用情況下,最有可能發生 429 錯誤。除非需要與延遲時間敏感的運算資源共置,否則請避免將高處理量 Standard PayGo 工作負載固定至單一區域端點。

為獲得最佳成效,請搭配使用 global 端點和流量平滑化功能。請避免在尖峰時段傳送要求,因為即使每分鐘的平均用量在層級的優先輸送量門檻內,瞬間流量過高仍可能導致節流。更平均地分配 API 呼叫,有助於系統以可預測的方式管理負載,並提升整體效能。如要進一步瞭解如何處理資源耗盡錯誤,請參閱「建構彈性 LLM 應用程式並減少 429 錯誤」和「錯誤代碼 429」。

支援的模型

下列正式發布版 (GA) Gemini 模型和任何對應的監督式調整模型,都支援標準 PayGo (依用量分級):

按一下即可展開支援的機型

下列 GA Gemini 模型也支援標準隨用隨付方案,但使用量層級不適用於這些模型:

這些層級不適用於預先發布版模型。如需最準確的最新資訊,請參閱各模型的專屬官方說明文件。

監控處理量和效能

如要監控貴機構的即時權杖用量,請前往 Cloud Monitoring 的 Metrics Explorer。

前往「Metrics Explorer」。

如要進一步瞭解如何監控模型端點流量,請參閱「監控模型」。

用量級別適用於組織層級。如要瞭解如何設定可觀測性範圍,以便繪製機構內多個專案的輸送量圖表,請參閱「設定可觀測性範圍,以便查詢多個專案」。

後續步驟

資源

與 Agent Platform 相關的配額和限制,不包括產品專屬限制。

總覽

瞭解 Google Cloud 如何限制 Google Cloud 專案可使用的資源數量,以及配額如何適用於各種資源類型,包括軟硬體和網路元件。