Ringkasan penyimpanan cache konteks

Caching konteks membantu mengurangi biaya dan latensi permintaan ke Gemini yang berisi konten berulang. Vertex AI menawarkan dua jenis caching:

  • Caching implisit: Caching otomatis diaktifkan secara default yang memberikan penghematan biaya saat cache hit terjadi.
  • Penyimpanan dalam cache eksplisit: Penyimpanan dalam cache manual diaktifkan menggunakan Vertex AI API, dengan Anda secara eksplisit mendeklarasikan konten yang ingin di-cache dan apakah perintah Anda harus merujuk ke konten yang di-cache atau tidak.

Untuk caching implisit dan eksplisit, kolom cachedContentTokenCount dalam metadata respons Anda menunjukkan jumlah token di bagian input yang di-cache. Permintaan penyiapan cache harus berisi minimal 2.048 token.

Biaya penyimpanan cache

Untuk caching implisit dan eksplisit, Anda ditagih untuk token input yang digunakan untuk membuat cache dengan harga token input standar. Untuk caching eksplisit, ada juga biaya penyimpanan berdasarkan durasi penyimpanan cache. Tidak ada biaya penyimpanan untuk penyimpanan dalam cache implisit. Untuk mengetahui informasi selengkapnya, lihat Harga Vertex AI.

Caching implisit

Semua Google Cloud project mengaktifkan caching implisit secara default. Caching implisit memberikan diskon 90% untuk token yang di-cache dibandingkan dengan token input standar.

Jika diaktifkan, penghematan biaya hit cache implisit akan otomatis diteruskan kepada Anda. Untuk meningkatkan peluang cache implisit ditemukan:

  • Tempatkan konten yang besar dan umum di awal perintah Anda.
  • Mengirim permintaan dengan awalan yang serupa dalam waktu singkat.

Model yang didukung

Caching implisit didukung saat menggunakan model berikut:

Caching implisit juga mendukung alias terbaru, termasuk:

  • gemini-flash-latest
  • gemini-flash-lite-latest

Caching implisit juga mendukung Model Terbuka. Untuk mengetahui informasi selengkapnya, lihat Model terbuka Vertex AI untuk MaaS.

Caching eksplisit

Penyimpanan cache eksplisit menawarkan lebih banyak kontrol dan memastikan diskon saat cache eksplisit dirujuk. Artinya, diskon pada token input yang mereferensikan context cache yang ada. Diskon ini adalah 90% untuk model Gemini 2.5 atau yang lebih baru, dan 75% untuk model Gemini 2.0.

Dengan menggunakan Vertex AI API, Anda dapat:

Anda juga dapat menggunakan Vertex AI API untuk mengambil informasi tentang cache konteks.

Cache eksplisit berinteraksi dengan caching implisit, yang berpotensi menyebabkan caching tambahan di luar konten yang ditentukan saat membuat cache. Untuk mencegah retensi data cache, nonaktifkan penyimpanan cache implisit dan hindari pembuatan cache eksplisit. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan dan menonaktifkan penyimpanan ke dalam cache.

Model yang didukung

Caching eksplisit didukung saat menggunakan model berikut:

Caching eksplisit juga mendukung alias terbaru, termasuk:

  • gemini-flash-latest
  • gemini-flash-lite-latest

Kapan harus menggunakan context caching

Context caching sangat cocok untuk skenario saat konteks awal yang besar dirujuk berulang kali oleh permintaan berikutnya.

Item konteks yang di-cache, seperti sejumlah besar teks, file audio, atau file video, dapat digunakan dalam permintaan perintah ke Gemini API untuk menghasilkan output. Permintaan yang menggunakan cache yang sama dalam perintah juga menyertakan teks yang unik untuk setiap perintah. Misalnya, setiap permintaan perintah yang membentuk percakapan chat dapat menyertakan cache konteks yang sama yang mereferensikan video bersama dengan teks unik yang membentuk setiap giliran dalam percakapan chat.

Pertimbangkan untuk menggunakan context caching untuk kasus penggunaan seperti:

  • Chatbot dengan petunjuk sistem yang ekstensif
  • Analisis berulang pada file video panjang
  • Kueri berulang terhadap set dokumen besar
  • Analisis repositori kode atau perbaikan bug yang sering

Caching implisit dan eksplisit didukung dengan Throughput yang Disediakan dalam Pratinjau. Lihat Panduan throughput yang disediakan untuk mengetahui detail selengkapnya. Cache berfungsi di seluruh jenis traffic. Misalnya, cache yang dibuat saat menggunakan Throughput yang Disediakan juga berfungsi dengan PayGo.

Ketersediaan

Caching konteks tersedia di region tempat AI Generatif di Vertex AI tersedia. Untuk mengetahui informasi selengkapnya, lihat Lokasi AI Generatif di Vertex AI.

Batas

Konten yang Anda cache secara eksplisit harus mematuhi batas yang ditampilkan dalam tabel berikut:

Batas context caching

Jumlah token cache minimum untuk penyimpanan cache implisit dan eksplisit
  • Model Gemini 3 dan Gemini 3.1: 4.096 token
  • Model Gemini 2.0 dan 2.5: 2.048 token

Ukuran maksimum konten yang dapat Anda simpan dalam cache menggunakan blob atau teks

 10 MB

Waktu minimum sebelum cache berakhir setelah dibuat

 1 menit

Waktu maksimum sebelum cache berakhir setelah dibuat

 Tidak ada durasi cache maksimum

Dukungan Kontrol Layanan VPC

Penyimpanan dalam cache konteks mendukung Kontrol Layanan VPC, yang berarti cache Anda tidak dapat diekstraksi di luar perimeter layanan Anda. Jika Anda menggunakan Cloud Storage untuk membangun cache, sertakan bucket Anda dalam perimeter layanan Anda juga untuk melindungi konten cache Anda.

Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC dengan Vertex AI dalam dokumentasi Vertex AI.

Langkah berikutnya