L'apprendimento per rinforzo è una tecnica efficace per adattare i modelli linguistici di grandi dimensioni (LLM) in modo da massimizzare i premi di feedback forniti da una funzione di ricompensa definita dall'utente. Il modello esplora molte risposte possibili, osserva una ricompensa numerica per ciascuna e modifica gradualmente il suo comportamento in modo che le risposte con una ricompensa elevata diventino più probabili e quelle con una ricompensa bassa diventino meno probabili. Questo approccio è eccellente in scenari che richiedono un ragionamento multi-step, un processo decisionale complesso o la comprensione di sfumature sottili nei prompt.
Il fine-tuning dell'apprendimento per rinforzo per Gemini ti consente di ottimizzare Gemini utilizzando i tuoi prompt e le funzioni di ricompensa definite da te. Puoi utilizzarlo per migliorare la capacità di ragionamento e la qualità dell'output dei modelli Gemini per i tuoi casi d'uso e i tuoi Agentic Workflows.
Come funziona
L'ottimizzazione del reinforcement learning opera in modo iterativo per perfezionare il comportamento dell'LLM. Durante ogni iterazione, il modello genera risposte a un insieme di prompt. Queste risposte vengono poi valutate da una funzione di reward definita dall'utente, che quantifica la qualità dell'output generato in base ai tuoi criteri target. Il servizio utilizza questo indicatore di ricompensa per aggiornare i parametri del modello tramite algoritmi di apprendimento per rinforzo, al fine di incoraggiare comportamenti che portano a ricompense più elevate. Questo processo iterativo di generazione, valutazione e aggiornamento dei parametri adatta il modello ai tuoi casi d'uso specifici.
Il seguente diagramma mostra il flusso di lavoro complessivo per l'ottimizzazione dell'apprendimento per rinforzo:
Funzionalità principali
L'ottimizzazione del reinforcement learning include le seguenti funzionalità chiave:
Funzioni di ricompensa personalizzabili: definisci le tue funzioni di ricompensa per ottimizzare con precisione un'ampia gamma di casi d'uso personalizzati e allineare il comportamento del modello a obiettivi specifici. Per maggiori dettagli sui tipi di premio supportati, consulta la pagina Funzioni premio.
Adattatori per un'ottimizzazione efficiente: l'ottimizzazione del reinforcement learning utilizza adattatori che consentono un adattamento efficace riutilizzando l'infrastruttura di distribuzione esistente.
Più livelli di ragionamento: il servizio supporta l'ottimizzazione a due livelli di ragionamento,
MINIMALeHIGH(ragionamento dinamico), in modo da poter scegliere l'approccio più adatto ai tuoi obiettivi di ottimizzazione e ai pattern di generazione delle risposte target. Per maggiori dettagli, consulta la pagina Iperparametri.Ottimizzazione continua: perfeziona ulteriormente un modello ottimizzato in precedenza incorporando esempi di addestramento o epoche aggiuntivi. L'utilizzo di un modello ottimizzato o di un checkpoint esistente come base consente un processo più efficiente per la sperimentazione dell'ottimizzazione. Per maggiori dettagli, consulta la pagina Ottimizzazione continua.
Set di dati multimodali: supporta modalità di dati di testo, immagini, video (solo Gemini 3.5 Flash) e audio.
Quando utilizzare l'ottimizzazione del reinforcement learning
L'ottimizzazione del reinforcement learning è preferita per l'ottimizzazione degli LLM in situazioni in cui le strategie ottimali non sono evidenti tramite l'apprendimento supervisionato. Sono incluse le attività in cui l'obiettivo è ottimizzare metriche specifiche senza etichette basate su dati di fatto prontamente disponibili, in cui l'allineamento con le preferenze umane è fondamentale (ed esiste un metodo di valutazione) e per le attività che richiedono un ragionamento approfondito e che traggono vantaggio da miglioramenti ed esplorazioni iterativi.
Di seguito sono riportati alcuni scenari in cui è preferibile l'ottimizzazione del reinforcement learning:
Esecuzione di istruzioni complesse: quando il modello deve seguire istruzioni intricate in cui l'output"corretto" non è una singola risposta, ma richiede una serie di controlli. L'apprendimento per rinforzo può adattare il modello per navigare in questi set di istruzioni complessi.
Generazione di contenuti creativi: per attività come la generazione di scrittura creativa, poesia o codice altamente specializzato, in cui è difficile definire metriche oggettive. L'apprendimento per rinforzo, con una funzione di ricompensa ben progettata (che potrebbe coinvolgere il feedback umano o la valutazione di esperti), può guidare il modello verso output più efficaci e innovativi.
Attività di ragionamento: per le attività che richiedono un ragionamento intenso, come la risoluzione di puzzle di parole o problemi matematici, l'apprendimento per rinforzo può incentivare il modello a esplorare diverse sequenze di ragionamento per identificare quali pattern sono più efficaci nella risoluzione dei problemi.
Modelli e regioni supportati
I seguenti modelli Gemini supportano l'ottimizzazione dell'apprendimento per rinforzo:
Gemini 3.5 Flash
| Specifica | Valore |
|---|---|
| Endpoint supportati per l'ottimizzazione del modello |
|
| Endpoint supportati per l'erogazione dei modelli ottimizzati |
|
| Versione API | Solo per v1beta1 |
Gemini 3.1 Flash-Lite
| Specifica | Valore |
|---|---|
| Endpoint supportati per l'ottimizzazione del modello |
|
| Endpoint supportati per l'erogazione dei modelli ottimizzati |
|
| Versione API | Solo per v1beta1 |
Modalità di ottimizzazione supportate
L'ottimizzazione del reinforcement learning supporta le seguenti modalità di dati nei set di dati di ottimizzazione:
- Testo
- Audio
- Immagine
- Video (supportato solo per Gemini 3.5 Flash)
Per i limiti dei set di dati per modalità (ad esempio il numero massimo di file per prompt, le dimensioni massime dei file e la lunghezza totale massima), consulta la pagina Set di dati di ottimizzazione.
Ottimizzazione continua
Puoi utilizzare l'output di un job di ottimizzazione precedente come base per un nuovo job di ottimizzazione dell'apprendimento per rinforzo. Sono supportati i seguenti pattern di ottimizzazione continua:
- Fine-tuning supervisionato → Ottimizzazione del reinforcement learning
- Ottimizzazione del reinforcement learning → Ottimizzazione del reinforcement learning
Per i dettagli sulla configurazione, consulta la pagina Ottimizzazione continua.
Pubblica il modello ottimizzato
Al termine di un job di ottimizzazione con l'apprendimento per rinforzo sul modello Gemini di base, viene eseguito il deployment di un modello ottimizzato basato sull'ultimo checkpoint in un endpoint del tuo progetto. I modelli ottimizzati utilizzano la stessa strategia di endpoint di distribuzione del modello di base. Ad esempio, se esegui un job di ottimizzazione in us-central1, il deployment del modello ottimizzato viene eseguito in un endpoint multi-regione (mREP) us.
Per recuperare l'endpoint del modello ottimizzato di cui è stato eseguito il deployment nella console Google Cloud o utilizzando l'API ed eseguire l'inferenza, consulta la guida rapida della consoleGoogle Cloud o la guida rapida dell'API.
Prezzi
Prezzi di ottimizzazione
L'ottimizzazione del reinforcement learning per Gemini genera token in due fasi: una fase di campionamento e una fase di addestramento. I token generati durante la fase di addestramento vengono addebitati in base alla sezione "Ottimizzazione del modello" della pagina Prezzi di Gemini Enterprise Agent Platform.
Prezzi per l'inferenza
Dopo l'ottimizzazione, si applicano comunque i costi di inferenza (richiesta di previsione) per il modello ottimizzato. Per Gemini 3 e modelli successivi, il prezzo di previsione dell'endpoint del modello ottimizzato è 1,5 volte il prezzo del modello di base. Per saperne di più, consulta Versioni dei modelli Gemini stabili disponibili.
Se configuri il servizio di valutazione dell'AI generativa in modo che venga eseguito automaticamente durante l'ottimizzazione, le valutazioni vengono addebitate come job di previsione batch. Per saperne di più, consulta la sezione "Ottimizzazione del modello" della pagina Prezzi di Agent Platform.
Passaggi successivi
- Segui la guida rapida della consoleGoogle Cloud o la guida rapida dell'API per creare il tuo primo job di ottimizzazione dell'apprendimento per rinforzo.
- Scopri come preparare un set di dati di ottimizzazione e configurare le funzioni di ricompensa.
- Scopri di più sul deployment di un modello Gemini ottimizzato.