Esta página mostra os parâmetros de amostragem opcionais que podem ser definidos em uma solicitação para um modelo. Os parâmetros disponíveis para cada modelo podem ser diferentes. Para mais informações, consulte a documentação de referência.
Parâmetros de amostragem de token
Os parâmetros nesta seção influenciam a forma como o modelo seleciona o próximo token do vocabulário. Ao ajustar esses parâmetros, você controla a aleatoriedade e a diversidade do texto gerado.
Top-P
O Top-P muda a forma como o modelo seleciona tokens para saída. Os tokens são selecionados do mais ao menos provável até que a soma das probabilidades seja igual ao valor do top-P. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de top-P for 0.5, o modelo selecionará A ou B como token seguinte usando temperatura e exclui C como candidato.
Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias.
Para mais informações, consultetopP.
Temperatura
A temperatura é usada para amostragem durante a geração da resposta, que ocorre quando topP e topK são aplicados. A temperatura controla o grau de aleatoriedade na seleção do token.
Temperaturas mais baixas são boas para solicitações que exigem uma resposta menos aberta ou criativa, enquanto temperaturas mais altas podem levar a resultados mais diversos ou criativos. Uma temperatura de 0 significa que os tokens de maior probabilidade são sempre selecionados. Nesse caso, as respostas para uma determinada solicitação são, na maioria das vezes, deterministas, mas uma pequena variação ainda é possível.
Se o modelo retornar uma resposta muito genérica, muito curta ou se o modelo fornecer uma resposta alternativa, tente aumentar a temperatura. Se o modelo entrar em geração infinita, aumentar a temperatura para pelo menos 0.1 poderá levar a resultados melhores.
1.0 é o valor inicial recomendado para a temperatura.
Temperaturas mais baixas levam a resultados previsíveis (mas não completamente deterministas)
resultados. Para mais informações, consulte temperature.
Parâmetros de parada
Os parâmetros nesta seção permitem controlar com precisão o comprimento e o conteúdo da saída gerada do modelo, definindo condições em que o processo de geração precisa ser interrompido.
Máximo de tokens de saída
Defina maxOutputTokens para limitar o número de tokens
gerados na resposta. Um token tem cerca de quatro caracteres, então 100 tokens correspondem a cerca de 60 a 80 palavras. Defina um valor baixo para limitar o comprimento da resposta.
Sequências de paradas
Defina strings em stopSequences para instruir o modelo a parar
de gerar texto se uma das strings for encontrada na resposta. Se uma string aparecer várias vezes na resposta, ela será truncada quando for encontrada pela primeira vez. As strings diferenciam maiúsculas de minúsculas.
Parâmetros de penalização de token
Os parâmetros nesta seção permitem controlar a probabilidade de tokens serem gerados com base na frequência e presença deles na saída.
Penalidade de frequência
Valores positivos penalizam tokens que aparecem repetidamente no texto gerado, diminuindo a probabilidade de repetir conteúdo. O valor mínimo é -2.0. O valor máximo é até 2.0, mas não inclui.
Para mais informações, consulte frequencyPenalty.
Penalidade de presença
Valores positivos penalizam tokens que já aparecem no texto gerado, aumentando a probabilidade de gerar conteúdo mais diversificado. O valor mínimo é -2.0. O valor máximo é até 2.0, mas não inclui.
Para mais informações, consulte presencePenalty.
Parâmetros avançados
Use esses parâmetros para retornar mais informações sobre os tokens na resposta ou para controlar a variabilidade da resposta.
Semente
Quando a semente é fixada em um valor específico, o modelo se esforça para fornecer a mesma resposta para solicitações repetidas. A saída determinista não é garantida.
Além disso, mudar as configurações do modelo ou do parâmetro, como a temperatura, pode
causar variações na resposta, mesmo quando você usa o mesmo valor de semente. Por padrão, um valor de semente aleatório é usado.
Para mais informações, consulte seed.
Exemplo
Confira um exemplo que usa parâmetros para ajustar a resposta de um modelo.
Python
Instalar
pip install --upgrade google-genai
Para saber mais, consulte a documentação de referência do SDK.
Defina variáveis de ambiente para usar o SDK da IA generativa com a Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Saiba como instalar ou atualizar o Go.
Para saber mais, consulte a documentação de referência do SDK.
Defina variáveis de ambiente para usar o SDK da IA generativa com a Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Node.js
Instalar
npm install @google/genai
Para saber mais, consulte a documentação de referência do SDK.
Defina variáveis de ambiente para usar o SDK da IA generativa com a Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Java
Saiba como instalar ou atualizar o Java.
Para saber mais, consulte a documentação de referência do SDK.
Defina variáveis de ambiente para usar o SDK da IA generativa com a Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
A seguir
- Saiba mais sobre as práticas recomendadas de IA responsável e os filtros de segurança da plataforma de agentes.
- Saiba mais sobre as instruções do sistema para segurança.
- Saiba mais sobre o monitoramento de abuso.
- Saiba mais sobre a IA responsável.