Sobre o ajuste de preferências para modelos do Gemini

O ajuste de preferência da Gemini Enterprise Agent Platform permite ajustar seus modelos do Gemini com dados de feedback humano.

O ajuste de preferência permite que o modelo aprenda com as preferências subjetivas do usuário, que são difíceis de definir usando rótulos específicos ou apenas o ajuste supervisionado.

O conjunto de dados de entrada de ajuste de preferência contém exemplos que consistem em um comando e um par de respostas que indicam qual é a preferida e qual é a não preferida. O modelo aprende a gerar respostas preferidas com maior probabilidade e respostas não preferidas com menor probabilidade.

Para saber como preparar o conjunto de dados, consulte Preparar dados de ajuste por preferência para modelos do Gemini.

Modelos compatíveis

Os seguintes modelos do Gemini são compatíveis com o ajuste de preferência:

Clique para abrir os modelos compatíveis

Limitações

Especificação Valor
Modalidades Texto
Tamanho do arquivo do conjunto de dados de treinamento 1 GB
Máximo de tokens de entrada e saída por exemplo de treinamento 131.072
Máximo de tokens de exibição de entrada e saída Igual ao modelo do Gemini básico
Número máximo de exemplos de treinamento em um conjunto de dados de treinamento 10 milhões de exemplos de treinamento somente de texto
Tamanho máximo do conjunto de dados de validação 5.000 exemplos ou 30% do número de exemplos de treinamento se houver mais de 1.000 exemplos de validação
Tamanho do adaptador Os valores compatíveis são 1, 2, 4, 8 e 16.

Práticas recomendadas

Antes de aplicar o algoritmo de otimização de preferência ao modelo, recomendamos que você faça o seguinte:

  1. Ajuste o modelo usando o ajuste supervisionado nos dados de resposta preferidos. Isso ensina o modelo a gerar respostas preferenciais durante a inferência.
  2. Continue o ajuste do checkpoint produzido na etapa 1 usando o ajuste de preferência. Isso ensina o modelo a aumentar a diferença de probabilidade entre as respostas preferidas e as não preferidas.

Para criar o conjunto de dados de ajuste supervisionado, use os pares de comando e resposta aceita no conjunto de dados de preferência como comando e destino para o conjunto de dados de ajuste supervisionado. Normalmente, uma ou duas épocas de ajuste supervisionado são suficientes, embora isso possa mudar com base no tamanho do conjunto de dados e no alinhamento inicial do conjunto de dados de treinamento com o modelo do Gemini.

Para usar o ajuste supervisionado para ajustar o modelo, siga as etapas em Ajustar modelos do Gemini usando o ajuste supervisionado.

Cota

A cota é aplicada ao número de jobs de ajuste simultâneos. Todo projeto tem uma cota padrão para executar pelo menos um job de ajuste. Essa é uma cota global compartilhada por todas as regiões disponíveis e modelos compatíveis. Se você quiser executar mais jobs simultaneamente, solicite uma cota extra para Global concurrent tuning jobs.

Preços

Confira os preços do ajuste de preferência do Gemini aqui: Preços da Gemini Enterprise Agent Platform.

Para fins de preço, o número de tokens de cada exemplo de ajuste é calculado multiplicando o número de tokens no comando por 2 e, em seguida, adicionando o número de tokens de conclusão.

A seguir