La caché de contexto ayuda a reducir el costo y la latencia de las solicitudes a Gemini que contienen contenido repetido. Gemini Enterprise Agent Platform ofrece dos tipos de almacenamiento en caché:
- Almacenamiento en caché implícito: Es el almacenamiento en caché automático habilitado de forma predeterminada que proporciona ahorros de costos cuando se producen aciertos de caché. El almacenamiento en caché implícito incluye el almacenamiento en caché en memoria y el almacenamiento en caché duradero.
- Almacenamiento en caché explícito: Es el almacenamiento en caché manual habilitado con la API de Gemini Enterprise, en el que declaras de forma explícita el contenido que quieres almacenar en caché y si tus instrucciones deben hacer referencia al contenido almacenado en caché o no.
En el almacenamiento en caché implícito y explícito, el campo cachedContentTokenCount
de los metadatos de la respuesta indica la cantidad de tokens en la parte almacenada en caché
de la entrada.
Costos de almacenamiento en caché
En el caso del almacenamiento en caché implícito y explícito, se te facturan los tokens de entrada que se usan para crear la caché al precio de los tokens de entrada estándar. En el caso del almacenamiento en caché explícito, también hay costos de almacenamiento según el tiempo que se almacenen las cachés. No hay costos de almacenamiento por el almacenamiento en caché implícito. Para obtener más información, consulta Precios de Agent Platform.
Almacenamiento en caché implícito
Todos los proyectos de Google Cloud tienen habilitado el almacenamiento en caché implícito de forma predeterminada. El almacenamiento en caché implícito proporciona un descuento del 90% en los tokens almacenados en caché en comparación con los tokens de entrada estándar. Cuando se habilita, los ahorros de costos implícitos acierto de caché se te transfieren automáticamente.
El almacenamiento en caché implícito almacena prefijos en dos niveles de almacenamiento:
- Almacenamiento en caché en la memoria: Los prefijos almacenados en caché se mantienen en la memoria. La capacidad de memoria es limitada, por lo que los prefijos se expulsan a medida que se recupera la capacidad.
- Almacenamiento en caché duradero: Cuando se expulsa un prefijo del almacenamiento en memoria, se mueve al almacenamiento duradero en lugar de descartarse. Una solicitud posterior que reutilice el prefijo aún puede obtener un acierto de caché, lo que aumenta las tasas de aciertos de caché para las cargas de trabajo que reutilizan el mismo contexto en intervalos más largos.
Ambos niveles están habilitados de forma predeterminada. Un prefijo almacenado en caché vence, a más tardar, 24 horas después de su creación, y la mayoría de las entradas se expulsan antes. Puedes inhabilitar el almacenamiento en caché duradero y mantener el almacenamiento en caché en la memoria, o bien puedes inhabilitar el almacenamiento en caché implícito por completo. Si tienes inquietudes sobre la retención de datos, consulta Retención de datos cero, en la que se describe cómo se manejan los datos almacenados en caché y cómo inhabilitar cada nivel.
Para aumentar la probabilidad de un acierto de caché implícito, haz lo siguiente:
- Coloca el contenido extenso y común al principio de la instrucción.
- Envía solicitudes con un prefijo similar en un período breve.
Modelos compatibles
El almacenamiento en caché implícito está disponible en los modelos de Gemini compatibles, y el almacenamiento en caché duradero está disponible en un subconjunto de esos modelos.
Almacenamiento en caché en memoria
El almacenamiento en caché en la memoria es compatible cuando se usan los siguientes modelos:
Haz clic para expandir los modelos compatibles
- Gemini Robotics ER 2
- Gemini Nano Banana 2.1
- Gemini 4 Argon Cyber Permissive
- Gemini 4 Argon
- Gemini 3.8 Flash Cyber
- Gemini 3.8 Flash
- Gemini 3.7 Flash
- Gemini 3.6 Flash
- Gemini 3.5 Flash-Lite
- Gemini 3.5 Flash
- Gemini 3.1 Pro
- Gemini 3.1 Flash-Lite Image (Nano Banana 2 Lite)
- Gemini 3.1 Flash-Lite
- Gemini 3.1 Flash Image
- Gemini 3 Pro Image
- Gemini 3 Flash
- Gemini 2.5 Pro
- Gemini 2.5 Flash-Lite
- Gemini 2.5 Flash
Almacenamiento en caché duradero
El almacenamiento en caché duradero se admite cuando se usan los siguientes modelos:
- Gemini 4 Argon
- Gemini 4 Argon Cyber Permissive
- Gemini 3.8 Flash
- Gemini 3.8 Flash Cyber
El almacenamiento en caché implícito también admite modelos abiertos. Para obtener más información, consulta Modelos abiertos de Agent Platform para MaaS.
Almacenamiento en caché explícito
El almacenamiento en caché explícito ofrece más control y garantiza un descuento en los tokens de entrada que hacen referencia a una caché de contexto existente. En los modelos de Gemini 2.5 o versiones posteriores, este descuento es del 90%; en los modelos de Gemini 2.0, este descuento es del 75%.
Con la API de Gemini Enterprise, puedes realizar las siguientes tareas:
- Crea cachés de contexto y contrólalas de forma más eficaz.
- Usa una caché de contexto haciendo referencia a su contenido en una solicitud de instrucción con su nombre de recurso.
- Actualizar la fecha de vencimiento de una caché de contexto (tiempo de actividad o TTL) más allá de los 60 minutos predeterminados
- Borra una caché de contexto cuando ya no la necesites.
También puedes usar la API de Gemini Enterprise para recuperar información sobre una caché de contexto.
Las cachés explícitas interactúan con el almacenamiento en caché implícito, lo que puede generar un almacenamiento en caché adicional más allá del contenido especificado cuando se crea una caché. Para evitar la retención de datos de la caché, inhabilita el almacenamiento en caché implícito y evita crear cachés explícitas. Para obtener más información, consulta Habilita e inhabilita el almacenamiento en caché.
Modelos compatibles
El almacenamiento en caché explícito se admite cuando se usan los siguientes modelos:
Haz clic para expandir los modelos compatibles
Cuándo usar el almacenamiento en caché de contexto
El caché de contexto es especialmente adecuado para situaciones en las que las solicitudes posteriores hacen referencia repetidamente a un contexto inicial sustancial.
Los elementos de contexto almacenados en caché, como una gran cantidad de texto, un archivo de audio o un archivo de video, se pueden usar en solicitudes de instrucciones a la API de Gemini para generar resultados. Las solicitudes que usan la misma caché en la instrucción también incluyen texto único para cada instrucción. Por ejemplo, cada solicitud de instrucción que compone una conversación de chat puede incluir la misma caché de contexto que hace referencia a un video junto con el texto único que comprende cada turno en el chat.
Considera usar el almacenamiento en caché de contexto para los siguientes casos de uso:
- Chatbots con instrucciones del sistema extensas
- Análisis repetitivo de archivos de video extensos
- Consultas recurrentes en conjuntos de documentos grandes
- Análisis frecuente del repositorio de código o corrección de errores
El almacenamiento en caché implícito y explícito es compatible con la capacidad de procesamiento aprovisionada en la versión preliminar. Consulta la guía de capacidad de procesamiento aprovisionada para obtener más detalles. Las cachés funcionan en todos los tipos de tráfico. Por ejemplo, una caché creada mientras se usa la Capacidad de procesamiento aprovisionada también funciona con PayGo.
Disponibilidad
La caché de contexto está disponible en las regiones donde está disponible la IA generativa en Agent Platform. Para obtener más información, consulta IA generativa en ubicaciones de Agent Platform.
Límites
La caché de contexto se rige por los límites de la siguiente tabla:
| Límites del almacenamiento en caché de contexto | |
|---|---|
Recuento mínimo de tokens de caché para el almacenamiento en caché implícito y explícito |
|
Tamaño máximo del contenido que puedes almacenar en caché con un BLOB o texto |
10 MB |
Es el tiempo mínimo antes de que venza una caché después de su creación. |
1 minuto |
Tiempo máximo antes de que venza una caché después de su creación |
No hay una duración máxima de la caché. |
Duración máxima de un prefijo almacenado en caché de forma implícita |
Hasta veinticuatro horas |
Aislamiento y seguridad de los datos de la caché para las cargas de trabajo de agentes
Google Cloud usa el número de tu proyecto para aislar los datos almacenados en caché, y el contenido almacenado en caché nunca se comparte entre proyectos.
Para evitar la filtración de datos entre usuarios en las cargas de trabajo de agentes, limita los datos y los resultados de las instrucciones almacenadas en caché a cada sesión de usuario. Cuando ejecutes agentes en segundo plano o proxies de múltiples usuarios, alinea los límites de la caché con los permisos de los usuarios finales para que un agente no pueda reutilizar las credenciales o los datos almacenados en caché entre los usuarios.
Compatibilidad con los Controles del servicio de VPC
El almacenamiento en caché de contexto admite los Controles del servicio de VPC, lo que significa que tu caché no se puede robar más allá del perímetro de servicio. Si usas Cloud Storage para compilar tu caché, incluye tu bucket en el perímetro de servicio para proteger el contenido de la caché.
Para obtener más información, consulta Controles del servicio de VPC con Agent Platform en la documentación de Agent Platform.
¿Qué sigue?
- Obtén más información sobre la API de Gemini.
- Aprende a usar instrucciones multimodales.