Questa pagina mostra i parametri di campionamento facoltativi che puoi impostare in una richiesta a un modello. I parametri disponibili per ogni modello possono variare. Per saperne di più, consulta la documentazione di riferimento.
Parametri di campionamento dei token
I parametri in questa sezione influenzano il modo in cui il modello seleziona il token successivo dal suo vocabolario. Regolando questi parametri, puoi controllare la casualità e la diversità del testo generato.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati a partire da quello più probabile fino a quello meno probabile, finché la somma delle loro probabilità non corrisponde al valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di
0,3, 0,2 e 0,1 e il valore di Top-P è 0.5, il modello
seleziona A o B come token successivo utilizzando la temperatura ed esclude C come
candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Per saperne di più, consultatopP.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione di risposte, che si verifica quando vengono applicati topP e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature basse sono ideali per prompt che richiedono risposte meno aperte o creative, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Con una temperatura pari a 0, vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte a un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura. Se il modello entra in una generazione infinita, l'aumento della
temperatura ad almeno 0.1 può portare a risultati migliori.
1.0 è il
valore iniziale consigliato per la temperatura.
Le temperature più basse portano a risultati prevedibili (ma non completamente deterministici)
risultati. Per saperne di più, consulta temperature.
Parametri di interruzione
I parametri in questa sezione ti consentono di controllare con precisione la lunghezza e il contenuto dell'output generato dal modello definendo le condizioni in cui il processo di generazione deve essere interrotto.
Numero massimo di token di output
Imposta maxOutputTokens per limitare il numero di token
generati nella risposta. Un token equivale a circa quattro caratteri, quindi 100 token corrispondono a circa 60-80 parole. Imposta un valore basso per limitare la lunghezza della risposta.
Sequenze di interruzioni
Definisci le stringhe in stopSequences per indicare al modello di interrompere
la generazione di testo se nella risposta viene rilevata una delle stringhe. Se una stringa viene visualizzata più volte nella risposta, la risposta viene troncata nel punto in cui viene rilevata la stringa per la prima volta. Le stringhe fanno distinzione tra maiuscole e minuscole.
Parametri di penalizzazione dei token
I parametri in questa sezione ti consentono di controllare la probabilità che i token vengano generati in base alla loro frequenza e presenza nell'output.
Penalità di frequenza
I valori positivi penalizzano i token che appaiono ripetutamente nel testo generato, riducendo la probabilità di ripetere i contenuti. Il valore minimo è -2.0. Il valore massimo è fino a
incluso, ma non oltre 2.0.
Per saperne di più, consulta frequencyPenalty.
Penalità di presenza
I valori positivi penalizzano i token che sono già presenti nel testo generato, aumentando la probabilità di generare contenuti più diversificati. Il valore minimo è -2.0. Il valore massimo è fino a 2.0 incluso.
Per saperne di più, consulta presencePenalty.
Parametri avanzati
Utilizza questi parametri per restituire ulteriori informazioni sui token nella risposta o per controllare la variabilità della risposta.
Seed
Quando il seed è impostato su un valore specifico, il modello fa del suo meglio per fornire la stessa risposta per le richieste ripetute. L'output deterministico non è garantito.
Inoltre, la modifica del modello o delle impostazioni dei parametri, ad esempio la temperatura, può causare variazioni nella risposta anche se utilizzi lo stesso valore seed. Per impostazione predefinita, viene utilizzato un valore seed casuale.
Per saperne di più, consulta seed.
Esempio
Ecco un esempio che utilizza i parametri per ottimizzare la risposta di un modello.
Python
Installa
pip install --upgrade google-genai
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Scopri come installare o aggiornare Go.
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Node.js
Installa
npm install @google/genai
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Java
Scopri come installare o aggiornare Java.
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Passaggi successivi
- Scopri le best practice per l'AI responsabile e i filtri di sicurezza di Agent Platform.
- Scopri le istruzioni di sistema per la sicurezza.
- Scopri di più sul monitoraggio degli abusi.
- Scopri di più sull'AI responsabile.