使用生成式模型時，Gemini Enterprise Agent Platform 提供多種取得及使用運算資源的方式。這些使用選項旨在滿足任何工作負載的需求，從初始原型設計到正式環境部署皆適用。選擇合適的選項，對於平衡效能、可靠性和成本至關重要。
本指南將詳細說明可用的用量選項，協助您根據特定工作負載需求選擇合適的選項，並提供最佳化延遲時間、可用性和成本的策略。
用量方案
Gemini Enterprise Agent Platform 提供五種用量方案，可滿足不同的流量模式和業務需求：
| 計費方案 | 說明 | 適用情況 | 定價 | |
|---|---|---|---|---|
| 佈建輸送量 | 在承諾期內提供保證處理量 | 需要服務水準協議的重要、穩定狀態、全天候運作工作負載 | 承諾使用合約 (提供 1 週、1 個月、3 個月和 1 年方案) | |
| 即付即用 | 標準 | 彈性的按用量付費選項，無須預先承諾 | 日常用途的預設選項，可彈性因應流量需求變化 | 依詞元計費 (標準費率) |
| Priority | 優先處理作業，提高可靠性，同時保有即付即用模式的彈性 | 重要工作負載，需要比標準即付即用模式更高的可靠性和限制 | 按詞元計費 (高費率) | |
| Flex | 適合容許延遲的工作負載，符合成本效益 | 可接受較慢的回應時間和較高的節流，以換取較低的價格 | 依詞元計費 (折扣費率) | |
| 批次推論 | 成本效益最高，適合大量非同步處理 | 需要較長時間才能取得結果的大型工作 | 依詞元計費 (折扣費率) | |
如要瞭解定價，請參閱定價頁面。
根據工作負載選擇合適的選項
以下各節將提供指引，協助您根據工作負載的特定需求和特性，選擇最合適的計費方案。
容易受到延遲影響的工作負載
機構在選擇合適的計費模式時，往往必須在可靠性和成本之間做出取捨。雖然佈建輸送量的可靠性最高，但如果流量出現高峰，可能會導致使用率偏低。同樣地，PayGo 雖然提供最大彈性，但無法保證服務品質。下一節將說明如何妥善結合這些機制，以達到最佳效果：
- 使用佈建輸送量涵蓋基準流量。這可提高預留容量的使用率，在提供經濟實惠的服務之餘，也為核心流量提供可靠性保證。為此，請採取下列做法：
- 分析每分鐘或每秒的流量模式。
- 決定佈建輸送量要涵蓋的流量。應涵蓋優先順序最高的流量。
- 使用標準或優先即付即用模式管理溢出流量：根據預設，超過佈建輸送量基準的流量 (稱為溢出流量) 會由標準即付即用模式處理。如果發現超過 TPM 限制的要求效能差異較大，可以透過最佳化來降低差異。優先即付即用模式可讓您以較高的價格，獲得可靠的效能，但須遵守要求漸增上限。
非同步、大量工作負載
如果您有大量待處理的要求 (例如有數百萬份文件需要摘要)，且不擔心延遲時間，請將要求整理成 JSON 檔案或試算表，然後提交批次工作。這項功能適用於圖片標籤、大量文件處理，或歷來資料的情緒分析等用途。
這是最符合成本效益的大量推論選項。
可容許延遲、預算有限的工作負載
如果需要處理應用程式可等待回應的要求，但優先考量是降低成本，則應使用 Flex 即付即用。Flex 即付即用會針對不需要立即執行的要求，降低每個詞元的價格。這個選項適用於離線分析、資料註解、產品目錄建構或翻譯等用途。
最佳化策略
選取計費模式後，請採用下列策略，進一步最佳化延遲時間、可用性和成本。
延遲時間
建構互動式應用程式時，延遲時間對使用者體驗有重大影響。延遲時間是指模型處理輸入提示並生成相應輸出回覆所需的時間。檢查模型延遲時間時，請考量下列事項：
- 第一個詞元生成時間 (TTFT)：模型收到提示後，生成第一個回覆詞元所需的時間。TTFT 對串流應用程式特別重要，因為這類應用程式必須即時提供回饋。
- 最後一個詞元生成時間 (TTLT)：模型處理提示並生成回覆所需的總時間。
如要縮短延遲時間：
- 根據用途選取合適的模型：Gemini Enterprise Agent Platform 提供多種模型，功能和效能特性各不相同。請仔細評估您對速度和輸出品質的需求，選擇最符合用途的模型。如需可用模型清單，請參閱「Gemini Enterprise Agent Platform 的 Model Garden」。
- 縮減提示大小：撰寫清楚簡潔的提示，有效傳達意圖，避免不必要的細節或冗詞贅字。提示越短，第一個詞元生成時間就越短。
- 限制輸出詞元：
- 使用系統指令控制回覆長度。指示模型提供簡潔的答案，或將輸出內容限制在特定數量的句子或段落。這項策略可縮短最後一個詞元的時間。
- 設定限制來限制輸出內容。使用
max_output_tokens參數設定生成回覆的長度上限，避免輸出內容過長。延遲時間與生成的詞元數量成正比，生成的詞元越少，回覆速度越快。不過請注意，這可能會導致回覆在句子中間中斷。
- 使用佈建輸送量：如要獲得最穩定的效能，請使用佈建輸送量。這樣就能消除「冷啟動」或排隊造成的變異，這些情況有時會在流量高時發生在 PayGo 模型中。
- 限制思考預算：如果使用的模型支援思考功能，可以減少思考預算來降低延遲時間。限制模型在回答前生成的內部推論詞元數量，即可縮短整體處理時間。不過，您必須確保預算足以因應任務的複雜程度，以免降低答案品質。
- 使用串流回覆：串流可提升感知回應速度，打造更具互動性的使用者體驗。如果使用串流，模型會在生成完整輸出內容前，就開始傳送回覆。這樣就能即時處理輸出內容，立即更新使用者介面，並執行其他並行工作。
可用性
如要針對可用性進行最佳化：
- 導入重試邏輯：針對 429 錯誤導入指數輪詢，特別是在使用標準 PayGo 時。
- 採用混合式實作：如「選擇適合工作負載的方案」一節所述，請勿僅依賴 PayGo 執行重要的正式版應用程式。結合佈建輸送量和 PayGo，可提供最高保障，避免資源耗盡 (429 錯誤)。
- 管理佈建輸送量配額：定期監控 TPM 消耗量，並在預期流量事件 (例如產品發布) 發生前，提高 PT GSU。您可以使用警告政策自動監控。
- 使用全域端點：使用全域端點，即可運用 Google 的全球容量集區，盡可能減少因區域容量限制而導致的節流。
- 盡可能平緩流量，減少尖峰：PayGo 流量率 (TPM) 越高，節流率通常也越高。
- 將流量轉移至離峰時段：模型用量總計通常會呈現日夜變化模式。將工作負載移至離峰時段或週末，可大幅提高可用性。
費用
如要提高成本效益：
- 適當調整佈建輸送量：一般來說，您不需要佈建 PT 來因應尖峰需求。為因應尖峰需求而佈建資源，會降低整體使用率並提高成本。請根據您的風險承受度，設定要涵蓋的流量百分位數，其餘流量則交由標準即付即用和優先即付即用模式處理。
- 購買長期佈建輸送量：1 年期 PT 承諾使用合約的價格比 1 個月 PT 便宜 26%，可大幅節省成本。您隨時可以變更與購買的佈建輸送量 GSU 相關聯的模型，充分運用最新的模型功能。
- 使用 Flex PayGo：找出管道中不需低延遲的部分 (例如背景摘要、資料擷取)，並移至 Flex PayGo，可降低約 50% 的成本。
- 使用批次處理：對於處理大型資料集等非同步工作，批次處理的費用比使用 Standard PayGo 依序處理要求便宜許多 (50%)。
- 使用脈絡快取：脈絡快取有助於降低含有重複內容的要求成本和延遲時間。將大型和常見內容放在提示開頭，並在短時間內傳送前置字串相似的要求，即可提高快取命中率。
- 選取價格較低的模型：如果用途允許，請使用較小的模型 (例如 Flash-Lite)，這類模型的每詞元價格點低於功能完整的重型模型。