컨텍스트 캐싱 개요

컨텍스트 캐싱은 반복된 콘텐츠가 포함된 Gemini 요청의 비용과 지연 시간을 줄이는 데 도움이 됩니다. Gemini Enterprise Agent Platform은 두 가지 유형의 캐싱을 제공합니다.

  • 암시적 캐싱: 기본적으로 사용 설정된 자동 캐싱으로, 캐시 적중이 발생할 때 비용 절감 효과가 있습니다. 암시적 캐싱에는 메모리 내 캐싱과 내구성이 뛰어난 캐싱이 포함됩니다.
  • 명시적 캐싱: Gemini Enterprise API를 사용해 수동으로 사용 설정하는 캐싱으로, 캐싱할 콘텐츠와 프롬프트가 캐시 콘텐츠를 참조할지 여부를 명시적으로 선언해야 합니다.

암시적 캐싱과 명시적 캐싱 모두에서 응답 메타데이터의 cachedContentTokenCount 필드는 입력 중 캐싱된 부분의 토큰 수를 나타냅니다.

캐싱 스토리지 비용

암시적 캐싱과 명시적 캐싱 모두 캐시를 만드는 데 사용된 입력 토큰에 대해 표준 입력 토큰 가격으로 청구됩니다. 단, 명시적 캐싱의 경우 캐시 저장 기간에 따라 스토리지 비용이 청구됩니다 암시적 캐싱에는 스토리지 비용이 발생하지 않습니다. 자세한 내용은 Agent Platform 가격 책정을 참조하세요.

암시적 캐싱

모든 Google Cloud 프로젝트에서는 암시적 캐싱이 기본적으로 사용 설정되어 있습니다. 암시적 캐싱은 표준 입력 토큰 대비 캐시된 토큰에 대해 90% 의 요금 할인을 제공합니다. 암시적 캐싱이 사용 설정된 경우, 캐시 적중으로 인한 비용 절감은 자동으로 적용됩니다.

암시적 캐싱은 두 가지 스토리지 계층에 프리픽스를 저장합니다.

  • 메모리 내 캐싱: 캐시된 프리픽스는 메모리에 보관됩니다. 메모리 용량은 제한되어 있으므로 용량이 회수되면 프리픽스가 삭제됩니다.
  • 내구성이 뛰어난 캐싱: 프리픽스가 메모리 내 스토리지에서 삭제되면 삭제되는 대신 내구성이 뛰어난 스토리지로 이동합니다. 프리픽스를 재사용하는 후속 요청은 여전히 캐시 적중을 가져올 수 있으므로 더 긴 간격으로 동일한 컨텍스트를 재사용하는 워크로드의 캐시 적중률이 높아집니다.

두 계층 모두 기본적으로 사용 설정되어 있습니다. 캐시된 프리픽스는 생성 후 24시간 이내에 만료되며 대부분의 항목은 더 일찍 삭제됩니다. 내구성이 뛰어난 캐싱을 사용 중지하고 메모리 내 캐싱을 유지하거나 암시적 캐싱을 완전히 사용 중지할 수 있습니다. 데이터 보관에 관한 우려사항이 있는 경우 데이터 보관 제로 캐시된 데이터가 처리되는 방식과 각 계층을 사용 중지하는 방법을 설명하는 를 참조하세요.

암시적 캐시 적중 가능성을 높이려면 다음 안내를 따르세요.

  • 프롬프트 시작 부분에 크고 공통적인 콘텐츠를 배치합니다.
  • 짧은 시간 내에 유사한 프리픽스를 가진 요청을 전송합니다.

지원되는 모델

암시적 캐싱은 지원되는 Gemini 모델에서 사용할 수 있으며 내구성이 뛰어난 캐싱은 이러한 모델의 하위 집합에서 사용할 수 있습니다.

메모리 내 캐싱

다음 모델을 사용할 때 메모리 내 캐싱이 지원됩니다.

클릭하여 지원되는 모델 펼치기

내구성이 뛰어난 캐싱

다음 모델을 사용할 때 내구성이 뛰어난 캐싱이 지원됩니다.

암시적 캐싱은 개방형 모델도 지원합니다. 자세한 내용은 MaaS용 Agent Platform 개방형 모델을 참조하세요.

명시적 캐싱

명시적 캐싱은 더 많은 제어 기능을 제공하며 기존 컨텍스트 캐시를 참조하는 입력 토큰에 대한 할인을 보장합니다. Gemini 2.5 이상 모델에서는 90% 할인이, Gemini 2.0 모델에서는 75% 할인이 적용됩니다.

Gemini Enterprise API를 사용하면 다음 작업을 실행할 수 있습니다.

또한 Gemini Enterprise API를 사용하여 컨텍스트 캐시에 대한 정보를 가져올 수도 있습니다.

명시적 캐시는 암시적 캐시와 상호작용하여, 캐시를 만들 때 지정된 콘텐츠 외에도 추가적인 캐싱이 발생할 수 있습니다. 캐시를 만들 때 캐시 데이터 보관을 방지하려면 암시적 캐싱을 사용 중지하고 명시적 캐시를 만들지 마세요. 자세한 내용은 캐싱 사용 설정 및 사용 중지를 참조하세요.

지원되는 모델

다음 모델을 사용할 때 명시적 캐싱이 지원됩니다.

클릭하여 지원되는 모델 펼치기

컨텍스트 캐싱을 사용하는 경우

컨텍스트 캐싱은 대규모 초기 컨텍스트를 후속 요청에서 반복적으로 참조하는 시나리오에 특히 적합합니다.

대량의 텍스트, 오디오 파일 또는 동영상 파일과 같은 캐시된 컨텍스트 항목은 Gemini API에 대한 프롬프트 요청에서 출력을 생성하는 데 사용될 수 있습니다. 동일한 캐시를 사용하는 프롬프트 요청은 각 요청마다 고유한 텍스트도 포함합니다. 예를 들어 채팅 대화를 구성하는 각 프롬프트 요청은 동영상을 참조하는 동일한 컨텍스트 캐시와 각 대화 차례에 해당하는 고유 텍스트를 함께 포함할 수 있습니다.

다음과 같은 사용 사례에 컨텍스트 캐싱을 사용하는 것이 좋습니다.

  • 다양한 시스템 안내를 제공하는 챗봇
  • 긴 동영상 파일 반복 분석
  • 대규모 문서 세트에 대해 반복 쿼리
  • 빈번한 코드 저장소 분석 또는 버그 수정

암시적 및 명시적 캐싱은 프리뷰에서 프로비저닝된 처리량으로 지원됩니다. 자세한 내용은 프로비저닝된 처리량 가이드 를 참조하세요. 캐시는 트래픽 유형 전반에서 작동합니다. 예를 들어 프로비저닝된 처리량을 사용하는 동안 생성된 캐시는 PayGo에서도 작동합니다.

가용성

컨텍스트 캐싱은 Agent Platform의 생성형 AI를 사용할 수 있는 리전에서 사용할 수 있습니다. 자세한 내용은 Agent Platform 위치의 생성형 AI를 참조하세요.

한도

컨텍스트 캐싱은 다음 표의 한도를 준수합니다.

컨텍스트 캐싱 한도

암시적 및 명시적 캐싱의 최소 캐시 토큰 수
  • Gemini 3 (예외 포함) 및 Gemini 4 모델: 4,096개 토큰
  • Gemini 3.0 Flash 프리뷰, 3.1 Pro 프리뷰, 3.7 Flash, 3.8 Flash (암시적 캐싱만 해당): 6,144개 토큰
  • Gemini 2 제품군 모델: 2,048개 토큰

blob 또는 텍스트를 사용하여 캐시할 수 있는 최대 콘텐츠 크기

 10MB

캐시가 생성된 후 만료되기 전까지의 최소 시간

 1분

캐시가 생성된 후 만료되기 전까지의 최대 시간

 최대 캐시 기간이 없습니다.

암시적으로 캐시된 프리픽스의 최대 수명

 최대 24시간

에이전트 워크로드의 캐시 데이터 격리 및 보안

Google Cloud 에서는 프로젝트 번호를 사용하여 캐시된 데이터를 격리하며 캐시된 콘텐츠는 프로젝트 간에 공유되지 않습니다.

에이전트 워크로드에서 사용자 간 데이터 유출을 방지하려면 캐시된 프롬프트 데이터와 출력을 각 사용자 세션으로 범위 지정하세요. 백그라운드 에이전트 또는 멀티 테넌트 프록시를 실행할 때는 에이전트가 사용자 간에 캐시된 사용자 인증 정보 또는 데이터를 재사용할 수 없도록 캐시 경계를 최종 사용자 권한과 정렬합니다.

VPC 서비스 제어 지원

컨텍스트 캐싱은 VPC 서비스 제어를 지원하므로 캐시가 서비스 경계를 벗어나 유출될 수 없습니다. 캐시를 빌드하는 데 Cloud Storage를 사용하는 경우, 캐시 콘텐츠를 보호하기 위해 버킷도 서비스 경계에 포함해야 합니다.

자세한 내용은 Agent Platform을 통한 VPC 서비스 제어 Agent Platform 문서를 참조하세요.

다음 단계