Anda dapat menggunakan penyiapan cache konteks untuk model Gemini yang di-fine-tune guna meningkatkan performa dan mengurangi biaya untuk perintah yang menyertakan sejumlah besar konteks. Dengan menyimpan cache konteks yang sering digunakan, Anda tidak perlu mengirim ulang data dalam jumlah besar dengan setiap permintaan ke model yang di-fine-tune.
Operasi pengelolaan (Read, Update, Delete) cache konteks untuk model Gemini yang disesuaikan tetap konsisten dengan model dasar. Hanya pembuatan dan inferensi konten yang di-cache memerlukan penyesuaian tertentu, yang dijelaskan di bagian berikut.
Prasyarat
Menyesuaikan Model Gemini: Anda memerlukan model Gemini yang telah disesuaikan dan di-deploy berdasarkan model dasar yang didukung (lihat Ringkasan penyiapan cache konteks). Untuk mengetahui detail cara menyempurnakan model Gemini, lihat Menyempurnakan model Gemini. Untuk mendapatkan endpoint model yang disesuaikan yang di-deploy, lihat Men-deploy model yang disesuaikan.
Pastikan Anda memiliki informasi berikut:
- ID dan versi model Gemini yang di-tune
- Nama resource endpoint untuk model yang telah disesuaikan dan di-deploy
Versi yang didukung
Model Gemini yang di-fine-tune mendukung caching implisit untuk versi tertentu. Untuk mengetahui daftar model yang didukung dan kemampuannya, lihat Model Google.
Penyimpanan cache eksplisit tidak didukung untuk model yang di-fine-tune.