Informazioni sull'ottimizzazione delle preferenze per i modelli Gemini

L'ottimizzazione delle preferenze di Gemini Enterprise Agent Platform ti consente di ottimizzare i modelli Gemini con i dati di feedback umano.

L'ottimizzazione delle preferenze consente al modello di apprendere dalle preferenze soggettive degli utenti, che sono difficili da definire utilizzando etichette specifiche o solo il fine-tuning supervisionato.

Il set di dati di input per l'ottimizzazione delle preferenze contiene esempi costituiti da un prompt e da una coppia di risposte che indicano quale è preferita e quale non lo è. Il modello impara a generare risposte preferite con una probabilità più alta e risposte non preferite con una probabilità più bassa.

Per scoprire come preparare il set di dati, consulta Prepara i dati di ottimizzazione delle preferenze per i modelli Gemini.

Modelli supportati

I seguenti modelli Gemini supportano l'ottimizzazione delle preferenze:

Fai clic per espandere i modelli supportati

Limitazioni

Specifica Valore
Modalità Testo
Dimensioni del file del set di dati di addestramento 1 GB
Numero massimo di token di input e output per esempio di addestramento 131.072
Numero massimo di token di input e output per la pubblicazione Come il modello Gemini di base
Numero massimo di esempi di addestramento in un set di dati di addestramento 10 milioni di esempi di addestramento di solo testo
Dimensione massima del set di dati di convalida 5000 esempi o il 30% del numero di esempi di addestramento se sono presenti più di 1000 esempi di convalida
Dimensioni adattatore I valori supportati sono 1, 2, 4, 8 e 16

Best practice

Prima di applicare l'algoritmo di ottimizzazione delle preferenze al tuo modello, ti consigliamo vivamente di procedere come segue:

  1. Ottimizza il modello utilizzando il fine-tuning supervisionato sui dati delle risposte preferite. In questo modo, il modello impara a generare le risposte preferite durante l'inferenza.
  2. Continua l'ottimizzazione dal checkpoint prodotto nel passaggio 1 utilizzando l'ottimizzazione delle preferenze. In questo modo, il modello impara ad aumentare il divario di probabilità tra le risposte preferite e quelle non preferite.

Per creare il set di dati di fine-tuning supervisionato, utilizza le coppie di prompt e risposte accettate nel set di dati di preferenze come prompt e target per il set di dati di fine-tuning supervisionato. In genere, una o due epoche di fine-tuning supervisionato dovrebbero essere sufficienti, anche se questo può variare in base alle dimensioni del set di dati e all'allineamento iniziale del set di dati di addestramento con il modello Gemini.

Per ottimizzare il modello utilizzando il fine-tuning supervisionato, segui i passaggi descritti in Ottimizza i modelli Gemini utilizzando il fine-tuning supervisionato.

Quota

La quota viene applicata al numero di job di ottimizzazione simultanei. Ogni progetto include una quota predefinita per eseguire almeno un job di ottimizzazione. Si tratta di una quota globale, condivisa tra tutte le regioni disponibili e i modelli supportati. Se vuoi eseguire più job contemporaneamente, devi richiedere una quota aggiuntiva per Global concurrent tuning jobs.

Prezzi

I prezzi per l'ottimizzazione delle preferenze di Gemini sono disponibili qui: Prezzi di Gemini Enterprise Agent Platform.

Ai fini dei prezzi, il numero di token per ogni esempio di ottimizzazione viene calcolato moltiplicando per 2 il numero di token nel prompt e aggiungendo il numero di token di completamento.

Passaggi successivi