En esta página, se muestran los parámetros de muestreo opcionales que puedes configurar en una solicitud a un modelo. Los parámetros disponibles para cada modelo pueden variar. Para obtener más información, consulta la documentación de referencia.
Parámetros de muestreo de tokens
Los parámetros de esta sección influyen en la forma en que el modelo selecciona el siguiente token de su vocabulario. Si ajustas estos parámetros, puedes controlar la aleatoriedad y la diversidad del texto generado.
Top-P
Top-P cambia la manera en la que el modelo selecciona los tokens para el resultado. Los tokens se seleccionan del más probable al menos probable hasta que la suma de sus probabilidades sea igual al valor de Top-P. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0.3, 0.2 y 0.1, y el valor P superior es 0.5, el modelo elegirá A o B como el siguiente token mediante la temperatura y excluirá a C como candidato.
Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.
Para obtener más información, consultatopP.
Temperatura
La temperatura se usa para las muestras durante la generación de respuesta, que se genera cuando se aplican topP y topK. La temperatura controla el grado de aleatorización en la selección de tokens.
Las temperaturas más bajas son buenas para los mensajes que requieren una respuesta menos abierta o de creativa, mientras que
las temperaturas más altas pueden generar resultados más diversos o creativos. Una temperatura de 0
significa que siempre se seleccionan los tokens de probabilidad más alta. En este caso, las respuestas para un mensaje determinado
son, en su mayoría, deterministas, pero es posible que haya una pequeña cantidad de variación.
Si el modelo muestra una respuesta demasiado genérica, demasiado corta o el modelo proporciona una respuesta de resguardo, intenta aumentar la temperatura. Si el modelo ingresa a la generación infinita, aumentar la temperatura a al menos 0.1 puede generar mejores resultados.
1.0 es el valor inicial recomendado para la temperatura.
Las temperaturas más bajas generan resultados predecibles (pero no completamente deterministas)
resultados. Para obtener más información, consulta temperature.
Parámetros de detención
Los parámetros de esta sección te permiten controlar con precisión la longitud y el contenido del resultado generado del modelo mediante la definición de condiciones en las que se debe detener el proceso de generación.
Cantidad máxima de tokens de salida
Configura maxOutputTokens para limitar la cantidad de tokens
generados en la respuesta. Un token tiene aproximadamente cuatro caracteres, por lo que 100 tokens corresponden a casi 60 u 80 palabras. Establece un valor bajo para limitar la longitud de la respuesta.
Secuencias de detención
Define cadenas en stopSequences para indicarle al modelo que deje de
generar texto si se encuentra una de las cadenas en la respuesta. Si una cadena aparece varias veces en la respuesta, la respuesta se trunca en el lugar en que se encontró por primera vez. Las cadenas distinguen entre mayúsculas y minúsculas.
Parámetros de penalización de tokens
Los parámetros de esta sección te permiten controlar la probabilidad de que se generen tokens en función de su frecuencia y presencia en el resultado.
Penalización de frecuencia
Los valores positivos penalizan los tokens que aparecen repetidamente en el texto generado, lo que disminuye la probabilidad de repetir contenido. El valor mínimo es -2.0. El valor máximo es hasta 2.0, no inclusive.
Para obtener más información, consulta frequencyPenalty en la
GenerationConfig documentación.
Penalización de presencia
Los valores positivos penalizan los tokens que ya aparecen en el texto generado, lo que aumenta la probabilidad de generar contenido más diverso. El valor mínimo es -2.0. El valor máximo es hasta 2.0, no inclusive.
Para obtener más información, consulta presencePenalty en la
GenerationConfig documentación.
Parámetros avanzados
Usa estos parámetros para mostrar más información sobre los tokens en la respuesta o para controlar la variabilidad de la respuesta.
Semilla
Cuando el valor semilla se fija en un valor específico, el modelo hace su mejor esfuerzo para proporcionar la misma respuesta para las solicitudes repetidas. No se garantiza un resultado determinístico.
Además, cambiar la configuración del modelo o del parámetro, como la temperatura, puede causar variaciones en la respuesta, incluso cuando usas el mismo valor semilla. Según la configuración predeterminada, se usa un valor semilla aleatorio.
Para obtener más información, consulta seed.
Ejemplo
Este es un ejemplo que usa parámetros para ajustar la respuesta de un modelo.
Python
Instalar
pip install --upgrade google-genai
Para obtener más información, consulta la documentación de referencia del SDK.
Configura las variables de entorno para usar el SDK de Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Go
Obtén información para instalar o actualizar Go.
Para obtener más información, consulta la documentación de referencia del SDK.
Configura las variables de entorno para usar el SDK de Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Node.js
Instalar
npm install @google/genai
Para obtener más información, consulta la documentación de referencia del SDK.
Configura las variables de entorno para usar el SDK de Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Java
Obtén información para instalar o actualizar Java.
Para obtener más información, consulta la documentación de referencia del SDK.
Configura las variables de entorno para usar el SDK de Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
¿Qué sigue?
- Obtén información sobre las prácticas recomendadas de IA responsable y los filtros de seguridad de la plataforma de agentes.
- Obtén información sobre las instrucciones del sistema para la seguridad.
- Obtén información sobre la supervisión de abusos.
- Obtén información sobre la IA responsable.