L'ottimizzazione del modello è un processo fondamentale per adattare Gemini allo svolgimento di attività specifiche con maggiore precisione e accuratezza. L'ottimizzazione fornisce al modello un set di dati di addestramento che contiene un insieme di esempi di attività downstream specifiche.
Questa pagina fornisce una panoramica dell'ottimizzazione del modello per Gemini, descrive le opzioni di ottimizzazione disponibili per Gemini e ti aiuta a determinare quando utilizzare ciascuna opzione di ottimizzazione.
Vantaggi dell'ottimizzazione del modello
L'ottimizzazione del modello è un modo efficace per personalizzare modelli di grandi dimensioni in base alle tue attività. È un passaggio fondamentale per migliorare la qualità e l'efficienza del modello. L'ottimizzazione del modello offre i seguenti vantaggi:
- Qualità superiore per le tue attività specifiche
- Maggiore robustezza del modello
- Latenza e costi di inferenza inferiori grazie a prompt più brevi
Tuning rispetto alla progettazione dei prompt
- Prompting con modelli Gemini preaddestrati: il prompting è l'arte di creare istruzioni efficaci per guidare i modelli di AI come Gemini nella generazione degli output desiderati. Implica la progettazione di prompt che trasmettono chiaramente l'attività, il formato desiderato e qualsiasi contesto pertinente. Puoi utilizzare le funzionalità di Gemini con una configurazione minima. È più adatto per:
- Dati etichettati limitati: se hai una piccola quantità di dati etichettati o non puoi permetterti un lungo processo di ottimizzazione.
- Prototipazione rapida: quando devi testare rapidamente un concetto o ottenere un rendimento di base senza investire molto nell'ottimizzazione.
- Fine-tuning personalizzato dei modelli Gemini: per risultati più personalizzati, Gemini ti consente di ottimizzare i suoi modelli in base ai tuoi set di dati specifici. Per creare un modello di AI che eccelle nel tuo dominio specifico,
valuta la possibilità di ottimizzarlo. Ciò comporta l'addestramento del modello di base sul tuo set di dati etichettato, adattando i suoi pesi alla tua attività e ai tuoi dati. Puoi adattare Gemini ai tuoi casi d'uso. L'ottimizzazione è più efficace quando:
- Hai dati etichettati: un set di dati di dimensioni considerevoli su cui eseguire l'addestramento (ad esempio 100 o più esempi), che consente al modello di apprendere in modo approfondito le specifiche dell'attività.
- Attività complesse o uniche: per scenari in cui le strategie di prompting avanzate non sono sufficienti ed è essenziale un modello personalizzato in base ai tuoi dati.
Inizia con il prompting per trovare il prompt ottimale. Poi, passa alla fase di ottimizzazione (se necessario) per migliorare ulteriormente le prestazioni o correggere gli errori ricorrenti. Sebbene l'aggiunta di altri esempi possa essere utile, è importante valutare dove il modello commette errori prima di aggiungere altri dati. Dati di alta qualità ed etichettati correttamente sono fondamentali per un buon rendimento e sono più importanti della quantità. Inoltre, i dati utilizzati per l'ottimizzazione devono riflettere la distribuzione, il formato e il contesto dei prompt che il modello incontra in produzione.
L'ottimizzazione offre i seguenti vantaggi rispetto alla progettazione dei prompt:
- Consente una personalizzazione approfondita del modello e genera prestazioni migliori per attività specifiche.
- Allinea il modello con sintassi personalizzata, istruzioni e regole semantiche specifiche del dominio.
- Offre risultati più coerenti e affidabili.
- In grado di gestire più esempi contemporaneamente.
- Risparmia sui costi di inferenza rimuovendo esempi few-shot e istruzioni lunghe nei prompt
Approcci di ottimizzazione
L'ottimizzazione efficiente dei parametri e il fine-tuning completo sono due approcci per la personalizzazione di modelli di grandi dimensioni. Entrambi i metodi presentano vantaggi e implicazioni in termini di qualità del modello ed efficienza delle risorse.
L'ottimizzazione efficiente dei parametri
L'ottimizzazione efficiente dei parametri, chiamata anche ottimizzazione degli adattatori, consente un adattamento efficiente di modelli di grandi dimensioni alle tue attività o al tuo dominio specifici. L'ottimizzazione efficiente dei parametri aggiorna un sottoinsieme relativamente piccolo dei parametri del modello durante il processo di ottimizzazione.
Per capire in che modo Gemini Enterprise Agent Platform supporta l'ottimizzazione e la distribuzione degli adattatori, puoi trovare maggiori dettagli nel seguente white paper, Adaptation of Large Foundation Models.
Fine-tuning completo
Il fine-tuning completo aggiorna tutti i parametri del modello, rendendolo adatto ad adattare il modello ad attività altamente complesse, con il potenziale di ottenere una qualità superiore. Tuttavia, il fine-tuning completo richiede risorse di calcolo più elevate sia per l'ottimizzazione che per la distribuzione, il che comporta costi complessivi più elevati.
Ottimizzazione efficiente dei parametri rispetto al fine-tuning completo
L'ottimizzazione efficiente dei parametri è più efficiente in termini di risorse e costi rispetto al fine-tuning completo. Utilizza molte meno risorse di calcolo per l'addestramento. È in grado di adattare il modello più velocemente con un set di dati più piccolo. La flessibilità dell'ottimizzazione efficiente dei parametri offre una soluzione per l'apprendimento multi-task senza la necessità di un addestramento esteso.
Metodi di ottimizzazione supportati
Agent Platform supporta il fine-tuning supervisionato, l'ottimizzazione delle preferenze e il fine-tuning del reinforcement learning per personalizzare i foundation model. Puoi anche utilizzare i checkpoint di ottimizzazione e l'ottimizzazione continua tra le esecuzioni di addestramento.
La tabella seguente mette a confronto i principali metodi di ottimizzazione:
| Metodo di ottimizzazione | Come funziona | Dimensione tipica del set di dati | Ideale per |
|---|---|---|---|
| Fine-tuning supervisionato (SFT) | Addestramento su dimostrazioni di input-output etichettate | Da centinaia a migliaia di esempi etichettati | Formattazione rigorosa dell'output, classificazione, analisi del sentiment, estrazione di entità e stile o tono specifici del dominio. |
| Ottimizzazione delle preferenze | Ottimizza le preferenze a coppie (risposte scelte e rifiutate) | Da centinaia a migliaia di coppie di preferenze | Allineare il comportamento del modello alle preferenze umane soggettive, all'utilità o al tono di conversazione. |
| Ottimizzazione del reinforcement learning (RLFT) | Genera tracce di ragionamento e risposte dei candidati (livello di pensiero MINIMAL o HIGH) e massimizza i punteggi di un massimo di 16 funzioni di ricompensa ponderate |
Da decine a poche centinaia di prompt con metadati references |
Ragionamento multi-step, regole di dominio complesse, attività verificabili (come la generazione di codice o SQL) e ottimizzazione dei modelli di pensiero senza compromettere la qualità del ragionamento. |
Fine-tuning supervisionato
Il fine-tuning supervisionato migliora le prestazioni del modello insegnandogli una nuova abilità. I dati che contengono centinaia di esempi etichettati vengono utilizzati per insegnare al modello a imitare un comportamento o un'attività target. Ogni esempio etichettato mostra l'output che vuoi che il modello generi durante l'inferenza.
Quando esegui un job di fine-tuning supervisionato, il modello apprende parametri aggiuntivi che lo aiutano a codificare le informazioni necessarie per eseguire l'attività target o apprendere il comportamento previsto. Questi parametri vengono utilizzati durante l'inferenza. L'output del job di ottimizzazione è un nuovo modello che combina i parametri appena appresi con il modello originale.
Il fine-tuning supervisionato di un modello di testo è una buona opzione quando l'output del modello non è complesso ed è relativamente facile da definire. Il fine-tuning supervisionato è consigliato per la classificazione, l'analisi del sentiment, l'estrazione delle entità, la sintesi di contenuti non complessi e la scrittura di query specifiche per il dominio.
Modelli che supportano il fine-tuning supervisionato
I seguenti modelli Gemini supportano l'ottimizzazione supervisionata:
Fai clic per espandere i modelli supportati
Per ulteriori informazioni sull'utilizzo del fine-tuning supervisionato con ogni tipo di dati, consulta le seguenti pagine: Ottimizza i tipi di dati di testo, immagine, audio, video e documento.
Ottimizzazione delle preferenze
L'ottimizzazione delle preferenze di Agent Platform si basa sul fine-tuning supervisionato, consentendoti di ottimizzare i modelli Gemini con i dati di feedback umano.
L'ottimizzazione delle preferenze consente al modello di apprendere dalle preferenze soggettive degli utenti, che sono difficili da definire utilizzando solo etichette specifiche e il fine-tuning supervisionato.
Modelli che supportano l'ottimizzazione delle preferenze
I seguenti modelli Gemini supportano l'ottimizzazione delle preferenze:
Fai clic per espandere i modelli supportati
Per ulteriori informazioni sull'ottimizzazione delle preferenze, consulta Informazioni sull'ottimizzazione delle preferenze per i modelli Gemini.
Ottimizzazione del reinforcement learning
L'ottimizzazione del reinforcement learning (RLFT) adatta i modelli Gemini tramite l'esplorazione per tentativi ed errori guidata da funzioni di ricompensa programmatiche o basate su modelli. Durante l'addestramento, il modello campiona più risposte candidate e tracce di ragionamento (livello di pensiero MINIMAL o HIGH) per ogni prompt, le valuta utilizzando la configurazione della ricompensa su una scala [-1, 1] e aggiorna un adattatore LoRA efficiente in termini di parametri per massimizzare la ricompensa.
A differenza del fine-tuning supervisionato, che omette i token di ragionamento intermedi durante l'addestramento, il fine-tuning con l'apprendimento per rinforzo ottimizza direttamente il ragionamento multi-step e generalizza bene con set di dati più piccoli (spesso da decine a poche centinaia di prompt). Puoi valutare gli output utilizzando una singola funzione di reward o una combinazione ponderata di un massimo di 16 funzioni di reward in quattro tipi di scorer:
- Corrispondenza di stringhe: confronta gli output del modello con i campi dei dati di fatto nel dizionario
referencesdel set di dati (corrispondenza esatta di stringhe o JSON, con estrazione facoltativa di espressioni regolari). - Valutatore automatico basato su Gemini: utilizza una griglia di valutazione operata da LLM per restituire un punteggio numerico o un giudizio strutturato.
- Esecuzione di codice: esegue una funzione Python
evaluate(example, response)personalizzata in un ambiente sandbox gestito. - Cloud Run: invia le risposte candidate a un endpoint HTTP personalizzato ospitato su Cloud Run per la verifica specifica del dominio.
Modelli che supportano l'ottimizzazione del reinforcement learning
I seguenti modelli Gemini supportano l'ottimizzazione del reinforcement learning:
Fai clic per espandere i modelli supportati
Per saperne di più sull'ottimizzazione del reinforcement learning, consulta Informazioni sull'ottimizzazione del reinforcement learning.
Checkpoint di ottimizzazione
I checkpoint di ottimizzazione ti consentono di salvare i progressi dell'ottimizzazione, confrontare le prestazioni dei checkpoint e scegliere quello con il rendimento migliore, per epoca per il fine-tuning supervisionato o per intervallo di passaggi (checkpointInterval) per il fine-tuning dell'apprendimento per rinforzo.
Modelli che supportano i checkpoint di ottimizzazione
I seguenti modelli Gemini supportano i checkpoint di ottimizzazione:
Fai clic per espandere i modelli supportati
Per saperne di più sui checkpoint di ottimizzazione, consulta Utilizza i checkpoint nell'ottimizzazione di Gemini e Stato, metriche e monitoraggio dei job per l'ottimizzazione dell'apprendimento per rinforzo.
Ottimizzazione continua
L'ottimizzazione continua consente di continuare l'ottimizzazione di un modello o di un checkpoint del modello già ottimizzato. Puoi eseguire ulteriori epoche di fine-tuning supervisionato su un modello ottimizzato (SFT -> SFT), applicare il fine-tuning dell'apprendimento per rinforzo su un checkpoint di fine-tuning supervisionato per combinare una formattazione rigorosa con un ragionamento avanzato (SFT -> RLFT) o continuare l'addestramento da un checkpoint di apprendimento per rinforzo precedente (RLFT -> RLFT).
Modelli che supportano l'ottimizzazione continua
I seguenti modelli Gemini supportano l'ottimizzazione continua:
Fai clic per espandere i modelli supportati
Per ulteriori informazioni sulla messa a punto continua, vedere Informazioni sulla messa a punto continua per i modelli Gemini e Messa a punto continua con la messa a punto fine dell'apprendimento per rinforzo.
Passaggi successivi
- Scopri di più sul fine-tuning supervisionato.
- Scopri di più sull'ottimizzazione delle preferenze.
- Scopri di più sull'ottimizzazione del reinforcement learning.
- Per iniziare l'ottimizzazione, consulta Ottimizza i modelli Gemini utilizzando il fine-tuning supervisionato o Crea un job di fine-tuning con l'apprendimento per rinforzo.
- Per informazioni sui costi di ottimizzazione, consulta Prezzi.