脈絡快取總覽

如果傳送至 Gemini 的要求含有重複內容，脈絡快取功能可降低成本和延遲時間。Gemini Enterprise Agent Platform 提供兩種快取：

  • 隱含快取：預設啟用自動快取，可在快取命中時節省費用。隱含快取包括記憶體內快取和永久快取。
  • 明確快取：使用 Gemini Enterprise API 啟用手動快取，明確宣告要快取的內容，以及提示是否應參照快取內容。

無論是隱含或明確快取，回應中繼資料的 cachedContentTokenCount 欄位都會指出輸入內容快取部分的詞元數量。

快取儲存費用

無論是隱性或顯性快取，系統都會按照標準輸入內容詞元價格，向您收取建立快取所用輸入內容詞元的費用。如果是明確快取，則會根據快取儲存時間長度收取儲存費用。隱含快取不會產生儲存費用。詳情請參閱「Agent Platform 定價」。

隱含快取

根據預設，所有 Google Cloud 專案都會啟用隱含快取。與標準輸入詞元相比，隱含快取可為快取詞元提供 90% 的折扣。啟用後，系統會自動將隱含快取命中節省的費用轉移給您。

隱含快取會將前置字元儲存在兩個儲存空間層級：

  • 記憶體內快取：快取的前置字串會保留在記憶體中。記憶體容量有限，因此系統會回收容量，並逐出前置字串。
  • 持久快取：從記憶體內儲存空間移除前置字元時，系統會將其移至持久儲存空間，而非捨棄。後續要求如果重複使用前置字元，仍可命中快取，因此如果工作負載在較長的時間間隔內重複使用相同脈絡，快取命中率就會提高。

兩個級別預設為啟用。快取前置字串會在建立後 24 小時內到期，且大多數項目會提前移除。您可以停用永久快取，並保留記憶體內快取，也可以完全停用隱含快取。如果您對資料保留有疑慮，請參閱「不保留資料」一節，瞭解快取資料的處理方式，以及如何停用各個層級。

如要提高隱含快取命中的可能性，請採取下列做法：

  • 將大型和常見內容放在提示開頭。
  • 在短時間內傳送前置字串相似的要求。

支援的模型

支援的 Gemini 模型可使用隱式快取，其中部分模型可使用永久快取。

記憶體快取

使用下列模型時，支援記憶體內快取：

按一下即可展開支援的模型

持久快取

使用下列模型時，支援永久快取：

隱式快取也支援開放原始碼模型。詳情請參閱「Agent Platform open models for MaaS」。

明確快取

明確快取可讓您進一步控管，並確保參照現有脈絡快取的輸入權杖享有折扣。Gemini 2.5 以上版本模型提供 90% 折扣，Gemini 2.0 模型則提供 75% 折扣。

使用 Gemini Enterprise API，您可以執行下列工作：

您也可以使用 Gemini Enterprise API 擷取脈絡快取的相關資訊。

明確快取會與隱含快取互動，因此建立快取時，可能會快取指定內容以外的項目。如要避免保留快取資料，請停用隱含快取，並避免建立明確快取。詳情請參閱「啟用及停用快取功能」。

支援的模型

使用下列模型時，支援明確快取：

按一下即可展開支援的模型

脈絡快取的使用時機

如果後續要求會反覆參照大量初始脈絡，就特別適合使用脈絡快取。

向 Gemini API 發出提示要求時，可以使用快取的脈絡項目 (例如大量文字、音訊檔案或影片檔案) 生成輸出內容。使用相同快取的要求，也會包含各個提示專屬的文字。舉例來說，構成對話的每個提示要求，可能都包含參照影片的相同脈絡快取，以及構成對話中每個回合的專屬文字。

建議在下列情況使用脈絡快取：

  • 具備大量系統指令的聊天機器人
  • 重複分析冗長的影片檔案
  • 定期查詢大型文件集
  • 頻繁分析程式碼存放區或修正錯誤

佈建輸送量支援隱含和明確快取 (預先發布版)。詳情請參閱佈建輸送量指南。快取適用於各種流量類型。例如，使用佈建輸送量時建立的快取，也適用於 PayGo。

可用性

在可使用 Agent Platform 生成式 AI 的區域，都能使用脈絡快取功能。詳情請參閱「Agent Platform 的生成式 AI 服務據點」。

限制

脈絡快取功能須遵守下表中的限制：

脈絡快取限制

隱性和顯性快取的快取詞元數量下限
  • Gemini 3 (部分例外) 和 Gemini 4 模型：4,096 個詞元
  • Gemini 3.0 Flash 預先發布版、3.1 Pro 預先發布版、3.7 Flash 和 3.8 Flash (僅限隱含快取)：6,144 個詞元
  • Gemini 2 系列模型：2,048 個詞元

使用 blob 或文字可快取的內容大小上限

 10 MB

快取建立後到過期的最短時間

 1 分鐘

快取建立後到過期的時間上限

 沒有快取時間長度上限

隱性快取前置字串的生命週期上限

 最長 24 小時

代理工作負載的快取資料隔離和安全性

Google Cloud 會使用專案編號隔離快取資料，且快取內容絕不會跨專案共用。

為避免代理工作負載中的跨使用者資料外洩，請將快取的提示資料和輸出內容限定在各個使用者工作階段。執行背景代理程式或多租戶 Proxy 時，請根據使用者授權調整快取邊界，避免代理程式跨使用者重複使用快取的憑證或資料。

VPC Service Controls 支援

脈絡快取支援 VPC Service Controls，因此快取不會外洩至 service perimeter 之外。如果您使用 Cloud Storage 建構快取，請一併將 bucket 納入 service perimeter，保護快取內容。

詳情請參閱 Agent Platform 說明文件中的「搭配使用 VPC Service Controls 與 Agent Platform」。

後續步驟