Ringkasan context caching

Cache konteks membantu mengurangi biaya dan latensi permintaan ke Gemini yang berisi konten berulang. Gemini Enterprise Agent Platform menawarkan dua jenis caching:

  • Caching implisit: Caching otomatis yang diaktifkan secara default yang memberikan penghematan biaya saat cache ditemukan. Caching implisit mencakup caching dalam memori dan caching tahan lama.
  • Caching eksplisit: Caching manual yang diaktifkan menggunakan Gemini Enterprise API, tempat Anda secara eksplisit mendeklarasikan konten yang ingin di-cache dan apakah perintah Anda harus merujuk ke konten yang di-cache atau tidak.

Untuk caching implisit dan eksplisit, kolom cachedContentTokenCount dalam metadata respons Anda menunjukkan jumlah token di bagian input yang di-cache.

Biaya penyimpanan caching

Untuk caching implisit dan eksplisit, Anda akan ditagih untuk token input yang digunakan untuk membuat cache dengan harga token input standar. Untuk caching eksplisit, ada juga biaya penyimpanan berdasarkan durasi penyimpanan cache. Tidak ada biaya penyimpanan untuk penyimpanan cache implisit. Untuk mengetahui informasi selengkapnya, lihat Harga Agent Platform.

Caching implisit

Semua project Google Cloud memiliki caching implisit yang diaktifkan secara default. Caching implisit memberikan diskon 90% untuk token yang di-cache dibandingkan dengan token input standar. Jika diaktifkan, penghematan biaya cache ditemukan implisit akan otomatis diteruskan kepada Anda.

Caching implisit menyimpan awalan dalam dua tingkat penyimpanan:

  • Caching dalam memori: Prefiks yang di-cache disimpan dalam memori. Kapasitas memori terbatas, sehingga awalan akan dihapus saat kapasitas diklaim kembali.
  • Caching persisten: Saat awalan dikeluarkan dari penyimpanan dalam memori, awalan tersebut akan dipindahkan ke penyimpanan persisten, bukan dihapus. Permintaan berikutnya yang menggunakan kembali awalan masih bisa mendapatkan cache ditemukan, yang meningkatkan rasio cache ditemukan untuk workload yang menggunakan kembali konteks yang sama dalam interval yang lebih lama.

Kedua paket diaktifkan secara default. Masa berlaku awalan yang di-cache akan berakhir paling lambat 24 jam setelah dibuat, dan sebagian besar entri akan dihapus lebih awal. Anda dapat menonaktifkan caching tahan lama dan mempertahankan cache memori, atau Anda dapat menonaktifkan caching implisit sepenuhnya. Jika Anda memiliki masalah terkait retensi data, lihat Retensi data nol, yang menjelaskan cara penanganan data yang di-cache dan cara menonaktifkan setiap tingkat.

Untuk meningkatkan kemungkinan cache ditemukan secara implisit, lakukan hal berikut:

  • Tempatkan konten yang besar dan umum di awal perintah Anda.
  • Mengirim permintaan dengan awalan yang serupa dalam waktu singkat.

Model yang didukung

Caching implisit tersedia di model Gemini yang didukung, dan caching tahan lama tersedia di subset model tersebut.

Caching dalam memori

Cache memori didukung saat menggunakan model berikut:

Klik untuk meluaskan model yang didukung

Caching yang tahan lama

Caching tahan lama didukung saat menggunakan model berikut:

Caching implisit juga mendukung model terbuka. Untuk mengetahui informasi selengkapnya, lihat Model terbuka Agent Platform untuk MaaS.

Caching eksplisit

Caching eksplisit menawarkan kontrol yang lebih besar dan memastikan diskon pada token input yang mereferensikan cache konteks yang ada. Pada model Gemini 2.5 atau yang lebih baru, diskon ini adalah 90%; pada model Gemini 2.0, diskon ini adalah 75%.

Dengan menggunakan Gemini Enterprise API, Anda dapat melakukan tugas-tugas berikut:

Anda juga dapat menggunakan Gemini Enterprise API untuk mengambil informasi tentang cache konteks.

Cache eksplisit berinteraksi dengan caching implisit, yang berpotensi menyebabkan caching tambahan di luar konten yang ditentukan saat membuat cache. Untuk mencegah retensi data cache, nonaktifkan caching implisit dan hindari pembuatan cache eksplisit. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan dan menonaktifkan caching.

Model yang didukung

Caching eksplisit didukung saat menggunakan model berikut:

Klik untuk meluaskan model yang didukung

Kapan harus menggunakan cache konteks

Context caching sangat cocok untuk skenario saat konteks awal yang substansial dirujuk berulang kali oleh permintaan berikutnya.

Item konteks yang di-cache, seperti teks dalam jumlah besar, file audio, atau file video, dapat digunakan dalam permintaan perintah ke Gemini API untuk menghasilkan output. Permintaan yang menggunakan cache yang sama dalam perintah juga menyertakan teks yang unik untuk setiap perintah. Misalnya, setiap permintaan perintah yang menyusun percakapan chat mungkin menyertakan cache konteks yang sama yang mereferensikan video beserta teks unik yang menyusun setiap giliran dalam chat.

Pertimbangkan untuk menggunakan context caching untuk kasus penggunaan berikut:

  • Chatbot dengan petunjuk sistem yang ekstensif
  • Analisis berulang terhadap file video yang panjang
  • Kueri berulang terhadap set dokumen besar
  • Analisis repositori kode atau perbaikan bug yang sering dilakukan

Caching implisit dan eksplisit didukung dengan Throughput yang Disediakan dalam Pratinjau. Lihat panduan Throughput yang Disediakan untuk mengetahui detail selengkapnya. Cache berfungsi di berbagai jenis traffic. Misalnya, cache yang dibuat saat menggunakan Throughput yang Disediakan juga berfungsi dengan PayGo.

Ketersediaan

Cache konteks tersedia di region tempat AI Generatif di Agent Platform tersedia. Untuk mengetahui informasi selengkapnya, lihat Lokasi AI Generatif di Agent Platform.

Batas

Cache konteks mematuhi batasan dalam tabel berikut:

Batas cache konteks

Jumlah token cache minimum untuk cache implisit dan eksplisit
  • Model Gemini 3 (dengan pengecualian) dan Gemini 4: 4.096 token
  • Gemini 3.0 Flash Preview, 3.1 Pro Preview, 3.7 Flash, dan 3.8 Flash (khusus cache implisit): 6.144 token
  • Model rangkaian Gemini 2: 2.048 token

Ukuran maksimum konten yang dapat Anda cache menggunakan blob atau teks

 10 MB

Waktu minimum sebelum cache berakhir setelah dibuat

 1 menit

Waktu maksimum sebelum masa berlaku cache berakhir setelah dibuat

 Tidak ada durasi cache maksimum

Masa aktif maksimum awalan yang di-cache secara implisit

 Hingga 24 jam

Isolasi dan keamanan data cache untuk workload agentic

Google Cloud menggunakan nomor project Anda untuk mengisolasi data yang di-cache, dan konten yang di-cache tidak pernah dibagikan di seluruh project.

Untuk mencegah kebocoran data lintas pengguna dalam workload agen, cakup data dan output perintah yang di-cache ke setiap sesi pengguna. Saat Anda menjalankan agen latar belakang atau proxy multi-tenant, selaraskan batas cache dengan izin pengguna akhir sehingga agen tidak dapat menggunakan kembali kredensial atau data yang di-cache di seluruh pengguna.

Dukungan Kontrol Layanan VPC

Cache konteks mendukung Kontrol Layanan VPC, yang berarti cache Anda tidak dapat dieksfiltrasi di luar perimeter layanan Anda. Jika Anda menggunakan Cloud Storage untuk membangun cache, sertakan juga bucket Anda dalam perimeter layanan untuk melindungi konten cache Anda.

Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC dengan Agent Platform dalam dokumentasi Agent Platform.

Langkah berikutnya