使用權杖配額控管費用

本文說明如何定義及管理生成式 AI 函式耗用的輸入和輸出權杖數量每日上限。

BigQuery 生成式 AI 函式會使用大型語言模型 (LLM)，在 SQL 查詢中執行進階分析。由於系統通常會根據處理的權杖數量計收 LLM 用量費用，因此 BigQuery 提供權杖配額，協助您管理及控管使用這些函式時的相關費用。

Token 配額適用於專為生成式 AI 推論工作設計的 BigQuery SQL 函式，這類工作會使用 Gemini LLM，例如 AI.CLASSIFY 和 AI.GENERATE_TEXT 函式。權杖配額不適用於嵌入生成和語意搜尋功能，例如 AI.EMBED，這些功能有不同的計費結構。

配額詳細資料

BigQuery 會根據 LLM 權杖用量，提供下列每日配額。使用 Gemini 模型的 BigQuery 生成式 AI 函式，其 Token 用量與 Vertex AI 的帳單直接相關。系統會追蹤所有區域的全球配額。

這些詞元配額會控管 LLM 為生成式 AI 函式處理的輸入和輸出詞元數量：

  • 輸入權杖：傳送至模型進行處理的權杖。包括提示文字中的權杖，以及提供給模型做為輸入內容的任何其他資料。
  • 輸出權杖：模型在回覆中生成的權杖。包括生成文字中的權杖 (候選權杖)，以及在內部推論步驟中生成的權杖 (思考權杖)。

配額名稱 指標 範圍 預設值
GenAiInputTokensPerDay LLM 使用的輸入內容詞元 每個專案每日 200,000,000,000
GenAiInputTokensPerUserPerDay LLM 使用的輸入內容詞元 每位使用者每日 40,000,000,000
GenAiOutputTokensPerDay LLM 使用的輸出和思考詞元 每個專案每日 20,000,000,000
GenAiOutputTokensPerUserPerDay LLM 使用的輸出和思考詞元 每位使用者每日 4,000,000,000

這些配額是以數百萬個權杖為增量單位追蹤。雖然您可以設定精確的限制，但由於權杖報表和匯總的性質，如果值小於幾百萬個權杖，可能無法完全準確地反映。

快取權杖不會計入配額。

管理配額

您可以依據資源用量查看或調整權杖配額值。您可以使用 Google Cloud 主控台執行下列工作：

  1. 在 Google Cloud 控制台，依序前往「IAM & Admin」(IAM 與管理) >「Quotas & System Limits」(配額與系統限制) 頁面。

    前往「配額與系統限制」

  2. 輸入 Service: BigQuery API 即可篩選配額。

  3. 從配額清單中搜尋特定配額 (例如搜尋 GenAiInputTokensPerDay)。

  4. 按一下 [編輯]。

  5. 在「配額變更」窗格中輸入新值，即可增加或減少配額。

  6. 按一下 [提交要求]。

配額限制規定

BigQuery 會在查詢執行的多個階段監控權杖用量：

  • 執行前檢查：BigQuery 會先檢查可用的權杖配額，再執行含有生成式 AI 函式的查詢。如果相關配額 (例如專案每日輸入權杖) 已用盡，系統會拒絕查詢並傳回 QuotaExceeded 錯誤。
  • 執行期間：如果查詢正在執行，且消耗的權杖數已達到任何設定的配額 (每個專案或每個使用者輸入或輸出)，系統會拒絕該查詢中的新 LLM 呼叫。
    • 如果剩餘資料列依賴 LLM 呼叫，就會發生配額用盡錯誤。
    • 如果查詢用於 AI.IF 等函式，結果會取決於 max_error_ratio 引數。如果錯誤率維持在允許的上限內，系統可能會傳回部分結果。否則整個查詢都會失敗。
    • 在每日配額重設前，後續嘗試使用生成式 AI 函式的查詢都會失敗，並顯示 QuotaExceeded 錯誤。

重要事項

  • 全域配額：定義的配額為全域配額。系統會彙整專案運作的所有區域的權杖用量，提供統一的費用控管機制。以免在不同區域使用時產生意外費用。
  • 佈建輸送量：如果您使用佈建輸送量的 Gemini Enterprise Agent Platform 模型，系統不會根據權杖用量計費。您應將這些 BigQuery 權杖配額設為高值，以免不必要地封鎖查詢。

後續步驟