Ogni chiamata inviata a un modello include valori parametro che controllano il modo in cui il modello genera una risposta. Il modello può generare risultati diversi a seconda dei valori parametro. Sperimenta con diversi valori parametro per ottenere i valori migliori per l'attività. I parametri disponibili per i vari modelli possono variare. I parametri più comuni sono i seguenti:
- Numero massimo di token di output
- Temperatura
- Top-P
- Top-K
- Seed
Numero massimo di token di output
Il numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.
Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione della risposta, che si verifica quando vengono applicati topP
e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature basse sono ideali per prompt che richiedono risposte meno aperte o creative, mentre
le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0
indica che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte a un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura. Se il modello entra in una generazione infinita, aumentare la
temperatura ad almeno 0.1 può portare a risultati migliori.
1.0 è il
valore iniziale consigliato per la temperatura.
I modelli Gemini supportano un valore di temperatura compreso tra 0,0 e 2,0. I modelli hanno una temperatura predefinita di 1.0.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati
dal più probabile al meno probabile finché la somma delle loro probabilità
non corrisponde al valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di top-P è 0.5, il modello seleziona A o B come token successivo utilizzando la temperatura ed esclude C come candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Top-K
Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K pari a
1 indica che il token successivo selezionato è il più probabile tra tutti i
token nel vocabolario del modello (chiamato anche decodifica greedy). Un top-K pari a
3 indica, invece, che il token successivo viene selezionato tra i tre token più
probabili (utilizzando la temperatura).
Per ogni fase di selezione dei token, vengono campionati i token Top-K con le probabilità più alte. Quindi i token vengono ulteriormente filtrati in base a top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Seed
Quando il seed è impostato su un valore specifico, il modello fa del suo meglio per fornire la stessa risposta per le richieste ripetute. L'output deterministico non è garantito. Inoltre, la modifica del modello o delle impostazioni dei parametri, ad esempio la temperatura, può causare variazioni nella risposta anche se utilizzi lo stesso valore seed. Per impostazione predefinita, viene utilizzato un valore di inizializzazione casuale.
Questa è una funzionalità in anteprima.
Passaggi successivi
- Esplora esempi di prompt nella galleria dei prompt.
- Scopri come ottimizzare i prompt per l'utilizzo con i modelli Google utilizzando lo strumento di ottimizzazione dei prompt di Vertex AI (anteprima).