Sperimenta con i valori dei parametri

Ogni richiesta inviata a un modello contiene valori parametro che influenzano il processo con cui il modello genera una risposta. A seconda dei valori parametro, il modello può generare risultati diversi. Sperimenta con diversi valori parametro per ottenere i valori migliori per l'attività. I parametri disponibili per i diversi modelli possono variare. I parametri più comuni sono i seguenti:

  • Numero massimo di token di output
  • Temperatura
  • Top-P
  • Top-K
  • Seed

Numero massimo di token di output

Numero massimo di token che possono essere generati nella risposta. Un token è composto da circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.

Specifica un valore inferiore per le risposte più brevi e un valore superiore per le risposte potenzialmente più lunghe.

Temperatura

La temperatura viene utilizzata per il campionamento durante la generazione di risposte, che si verifica quando vengono applicati topP e topK. La temperatura controlla il grado di casualità nella selezione dei token. Le temperature più basse sono ideali per prompt che richiedono risposte meno aperte o creative, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0 indica che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte a un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione.

Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura. Se il modello entra in una generazione infinita, l'aumento della temperatura ad almeno 0.1 può portare a risultati migliori.

1.0 è il valore iniziale consigliato per la temperatura.

I modelli Gemini supportano un valore di temperatura compreso tra 0.0 e 2.0. I modelli hanno una temperatura predefinita di 1.0.

Top-P

Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati dal più probabile al meno probabile finché la somma delle loro probabilità non corrisponde al valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di Top-P è 0.5, il modello seleziona A o B come token successivo utilizzando la temperatura ed esclude C come candidato.

Specifica un valore inferiore per le risposte meno casuali e un valore superiore per le risposte più casuali.

Top-K

Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K pari a 1 indica che il token successivo selezionato è il più probabile tra tutti i token nel vocabolario del modello (chiamato anche decodifica greedy). Un top-K pari a 3 indica, invece, che il token successivo viene selezionato tra i tre token più probabili (utilizzando la temperatura).

Per ogni fase di selezione dei token, vengono campionati i token top-K con le probabilità più alte. Quindi i token vengono ulteriormente filtrati in base a top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.

Specifica un valore inferiore per le risposte meno casuali e un valore superiore per le risposte più casuali.

Seed

Quando il seed è impostato su un valore specifico, il modello si impegna al massimo per fornire la stessa risposta per le richieste ripetute. L'output deterministico non è garantito. Inoltre, la modifica del modello o delle impostazioni dei parametri, ad esempio la temperatura, può causare variazioni nella risposta anche se utilizzi lo stesso valore seed. Per impostazione predefinita, viene utilizzato un valore seed casuale.

Questa è una funzionalità in anteprima.

Passaggi successivi