Questa pagina mostra i parametri di campionamento facoltativi che puoi impostare in una richiesta a un modello. I parametri disponibili per ogni modello possono variare. Per saperne di più, consulta la documentazione di riferimento.
Parametri di campionamento dei token
I parametri in questa sezione influiscono sul modo in cui il modello seleziona il token successivo dal suo vocabolario. Modificando questi parametri, puoi controllare la casualità e la diversità del testo generato.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati
dal più probabile al meno probabile finché la somma delle loro probabilità
non corrisponde al valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di top-P è 0.5, il modello seleziona A o B come token successivo utilizzando la temperatura ed esclude C come candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Per saperne di più, consultatopP.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione di risposte, che si verifica quando vengono applicati topP
e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature basse sono ideali per prompt che richiedono risposte meno aperte o creative, mentre
le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0
indica che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte a un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura. Se il modello entra in una generazione infinita, aumentare la
temperatura ad almeno 0.1 potrebbe portare a risultati migliori.
1.0 è il
valore iniziale consigliato per la temperatura.
Le temperature più basse portano a risultati prevedibili (ma non completamente deterministici). Per saperne di più, consulta temperature.
Parametri di interruzione
I parametri in questa sezione ti consentono di controllare con precisione la lunghezza e il contenuto dell'output generato dal modello definendo le condizioni in cui il processo di generazione deve interrompersi.
Numero massimo di token di output
Imposta maxOutputTokens per limitare il numero di token
generati nella risposta. Un token equivale a circa quattro caratteri, quindi 100 token corrispondono a circa 60-80 parole. Imposta un valore basso per limitare la lunghezza
della risposta.
Sequenze di interruzioni
Definisci le stringhe in stopSequences per indicare al modello di interrompere la generazione di testo se una delle stringhe viene rilevata nella risposta. Se una
stringa viene visualizzata più volte nella risposta, la risposta viene troncata
nel punto in cui viene rilevata la stringa per la prima volta. Le stringhe sono sensibili alle maiuscole.
Parametri di penalizzazione dei token
I parametri in questa sezione consentono di controllare la probabilità che i token vengano generati in base alla loro frequenza e presenza nell'output.
Penalità per frequenza
I valori positivi penalizzano i token che compaiono ripetutamente nel testo generato, diminuendo la probabilità di ripetere i contenuti. Il valore minimo è -2.0. Il valore massimo è fino a 2.0, ma non incluso.
Per saperne di più, consulta frequencyPenalty.
Penale per presenza
I valori positivi penalizzano i token già presenti nel testo generato, aumentando la probabilità di generare contenuti più diversi. Il valore minimo è -2.0. Il valore
massimo è fino a 2.0, escluso.
Per saperne di più, consulta presencePenalty.
Parametri avanzati
Utilizza questi parametri per restituire maggiori informazioni sui token nella risposta o per controllare la variabilità della risposta.
Seed
Quando il seed è impostato su un valore specifico, il modello fa del suo meglio per fornire la stessa risposta per le richieste ripetute. L'output deterministico non è garantito.
Inoltre, la modifica del modello o delle impostazioni dei parametri, ad esempio la temperatura, può causare variazioni nella risposta anche se utilizzi lo stesso valore seed. Per
impostazione predefinita, viene utilizzato un valore di inizializzazione casuale.
Per saperne di più, consulta seed.
Esempio
Ecco un esempio che utilizza i parametri per ottimizzare la risposta di un modello.
Python
Installa
pip install --upgrade google-genai
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Scopri come installare o aggiornare Go.
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Node.js
Installa
npm install @google/genai
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Java
Scopri come installare o aggiornare Java.
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Passaggi successivi
- Scopri di più sulle best practice per l'AI responsabile e sui filtri di sicurezza di Vertex AI.
- Scopri di più sulle istruzioni di sistema per la sicurezza.
- Scopri di più sul monitoraggio degli abusi.
- Scopri di più sull'AI responsabile.