Puoi utilizzare la memorizzazione nella cache del contesto per i modelli Gemini ottimizzati per migliorare le prestazioni e ridurre i costi per i prompt che includono grandi quantità di contesto. Memorizzando nella cache il contesto utilizzato di frequente, eviti di inviare grandi quantità di dati a ogni richiesta al modello sottoposto a fine tuning.
Le operazioni di gestione (Read, Update, Delete) della memorizzazione nella cache del contesto per i modelli Gemini ottimizzati rimangono coerenti con i modelli di base. Solo la creazione e l'inferenza dei contenuti memorizzati nella cache richiedono un aggiustamento specifico, descritto in dettaglio nelle sezioni seguenti.
Prerequisiti
Ottimizzazione di un modello Gemini:devi disporre di un modello Gemini ottimizzato e di cui è stato eseguito il deployment basato su un modello di base supportato (vedi Panoramica della memorizzazione nella cache del contesto). Per informazioni dettagliate su come ottimizzare un modello Gemini, vedi Ottimizza un modello Gemini. Per ottenere l'endpoint del modello ottimizzato di cui è stato eseguito il deployment, consulta Eseguire il deployment di un modello ottimizzato.
Assicurati di disporre delle seguenti informazioni:
- L'ID e la versione del modello Gemini ottimizzato
- Il nome della risorsa endpoint per il modello ottimizzato di cui è stato eseguito il deployment
Versioni supportate
I modelli Gemini ottimizzati supportano la memorizzazione nella cache implicita per versioni specifiche. Per un elenco dei modelli supportati e delle relative funzionalità, consulta Modelli Google.
La memorizzazione nella cache esplicita non è supportata per i modelli ottimizzati.