Introdução aos ajustes

O ajuste de modelos é um processo crucial na adaptação do Gemini para executar tarefas específicas com maior precisão. O ajuste de modelos fornece um modelo com um conjunto de dados de treinamento que contém um conjunto de exemplos de tarefas downstream específicas.

Nesta página, você encontra uma visão geral do ajuste de modelos para o Gemini, uma descrição das opções disponíveis e ajuda para determinar quando cada opção de ajuste precisa ser usada.

Benefícios do ajuste de modelos

O ajuste de modelos é uma maneira eficaz de personalizar modelos grandes para suas tarefas. Essa é uma etapa fundamental para melhorar a qualidade e a eficiência do modelo. O ajuste de modelos oferece os seguintes benefícios:

  • Qualidade mais alta para suas tarefas específicas
  • Maior robustez de modelo
  • Menor latência e custo de inferência devido a comandos mais curtos

Ajuste comparado ao design de comandos

  • Comandos com modelos pré-treinados do Gemini: o comando é a arte de criar instruções eficazes para orientar modelos de IA, como o Gemini, na geração das saídas que você quer. Isso envolve criar comandos que transmitam claramente a tarefa, o formato desejado e qualquer contexto relevante. Você pode usar os recursos do Gemini com uma configuração mínima. É mais adequado para:
    • Dados rotulados limitados: se você tiver uma pequena quantidade de dados rotulados ou não puder pagar por um processo de ajuste longo.
    • Prototipagem rápida: quando você precisa testar rapidamente um conceito ou ter um desempenho de referência sem um grande investimento em ajuste fino.
  • Ajuste personalizado dos modelos do Gemini: para resultados mais personalizados, o Gemini permite ajustar os modelos com seus conjuntos de dados específicos. Para criar um modelo de IA que se destaque no seu domínio específico, considere o ajuste fino. Isso envolve treinar novamente o modelo base no seu próprio conjunto de dados rotulado, adaptando os pesos dele à sua tarefa e aos seus dados. Você pode adaptar o Gemini aos seus casos de uso. O ajuste fino é mais eficaz quando:
    • Você tem dados rotulados: um conjunto de dados considerável para treinamento (pense em 100 exemplos ou mais), o que permite que o modelo aprenda profundamente as especificidades da tarefa.
    • Tarefas complexas ou exclusivas: para cenários em que estratégias avançadas de comandos não são suficientes e um modelo personalizado para seus dados é essencial.

Comece com comandos para encontrar o ideal. Em seguida, passe para o ajuste fino (se necessário) para melhorar ainda mais o desempenho ou corrigir erros recorrentes. Embora adicionar mais exemplos possa ser benéfico, é importante avaliar onde o modelo comete erros antes de adicionar mais dados. Dados de alta qualidade e bem rotulados são cruciais para um bom desempenho e são melhores do que a quantidade. Além disso, os dados usados para o ajuste precisam refletir a distribuição, o formato e o contexto do comando que o modelo encontra na produção.

O ajuste oferece os seguintes benefícios em relação ao design de comandos:

  • Permite uma personalização profunda no modelo e resulta em melhor desempenho em tarefas específicas.
  • Alinhar o modelo com sintaxe, instruções e regras semânticas específicas do domínio personalizadas.
  • Oferece resultados mais consistentes e confiáveis.
  • Capaz de processar mais exemplos de uma só vez.
  • Economize na inferência removendo exemplos de few-shot e instruções longas nos comandos

Abordagens de ajuste

O ajuste com eficiência de parâmetros e o ajuste fino completo são duas abordagens para personalizar modelos grandes. Ambos os métodos têm vantagens e implicações em termos de qualidade do modelo e eficiência de recursos.

O ajuste da eficiência dos parâmetros

O ajuste da eficiência de parâmetros, também chamado de ajuste do adaptador, permite a adaptação eficiente de modelos grandes para tarefas ou domínios específicos. O ajuste eficiente de parâmetros atualiza um subconjunto relativamente pequeno de parâmetros do modelo durante o processo de ajuste.

Para entender como a Gemini Enterprise Agent Platform oferece suporte ao ajuste e à disponibilização de adaptadores, confira mais detalhes neste artigo: Adaptação de modelos de fundação grandes.

Ajuste fino completo

O ajuste fino completo atualiza todos os parâmetros do modelo, o que o torna adequado para adaptá-lo a tarefas altamente complexas, com o potencial de alcançar maior qualidade. No entanto, o ajuste fino completo exige recursos computacionais mais altos para ajuste e disponibilização, levando a custos gerais mais altos.

O ajuste da eficiência dos parâmetros em comparação com o ajuste fino completo

O ajuste com eficiência de parâmetros é mais econômico em comparação com o ajuste fino completo. Ele usa recursos computacionais significativamente menores para treinamento. Ele adapta o modelo mais rapidamente com um conjunto de dados menor. A flexibilidade do ajuste de eficiência de parâmetros oferece uma solução para o aprendizado de várias tarefas sem a necessidade de um retreinamento extensivo.

Métodos de ajuste com suporte

A Agent Platform oferece suporte ao ajuste supervisionado, ao ajuste de preferência e ao ajuste de aprendizado por reforço para personalizar modelos de fundação. Também é possível usar checkpoints de ajuste fino e ajuste contínuo em execuções do treinamento.

A tabela a seguir compara os principais métodos de ajuste:

Método de ajuste Como funciona Tamanho típico do conjunto de dados Mais adequado para
Ajuste supervisionado (SFT) Treina em demonstrações de entrada e saída rotuladas Centenas a milhares de exemplos rotulados Formatação de saída estrita, classificação, análise de sentimento, extração de entidades e estilo ou tom específico do domínio.
Ajuste de preferências Otimiza as preferências por pares (respostas escolhidas x rejeitadas) Centenas a milhares de pares de preferências Alinhar o comportamento do modelo com preferências humanas subjetivas, utilidade ou tom de conversa.
Ajuste de aprendizado por reforço (RLFT) Gera traços de raciocínio e respostas candidatos (nível de pensamento MINIMAL ou HIGH) e maximiza as pontuações de até 16 funções de recompensa ponderadas Dezenas a algumas centenas de comandos com metadados references Raciocínio em várias etapas, regras de domínio complexas, tarefas verificáveis (como geração de código ou SQL) e otimização de modelos de pensamento sem prejudicar a qualidade do raciocínio.

Ajuste supervisionado

O ajuste supervisionado melhora o desempenho do modelo ensinando uma nova habilidade. Dados que contêm centenas de exemplos rotulados são usados para ensinar o modelo a imitar um comportamento ou tarefa desejado. Cada exemplo rotulado demonstra o que você quer que o modelo produza durante a inferência.

Ao executar um job de ajuste supervisionado, o modelo aprende outros parâmetros que o ajudam a codificar as informações necessárias para executar a tarefa desejada ou aprender o comportamento esperado. Esses parâmetros são usados durante a inferência. A saída do job de ajuste é um novo modelo que combina os parâmetros recém-aprendidos com o modelo original.

O ajuste supervisionado de um modelo de texto é uma boa opção quando a saída do modelo não é complexa e é relativamente fácil de definir. O ajuste supervisionado é recomendado para classificação, análise de sentimento, extração de entidade, resumo de conteúdo que não é complexo e gravação de consultas específicas do domínio.

Modelos com suporte para ajuste supervisionado

Os seguintes modelos do Gemini são compatíveis com ajuste supervisionado:

Clique para abrir os modelos compatíveis

Para mais informações sobre como usar o ajuste supervisionado com cada tipo de dado, consulte as seguintes páginas: Ajustar tipos de dados de texto, imagem, áudio, vídeo e documento.

Ajuste de preferências

O ajuste de preferência da plataforma de agentes se baseia no ajuste supervisionado, permitindo que você ajuste seus modelos do Gemini com dados de feedback humano.

O ajuste de preferência permite que o modelo aprenda com as preferências subjetivas do usuário, que são difíceis de definir usando rótulos específicos e ajuste supervisionado.

Modelos compatíveis com o ajuste de preferências

Os seguintes modelos do Gemini são compatíveis com o ajuste de preferência:

Clique para abrir os modelos compatíveis

Para mais informações sobre o ajuste de preferência, consulte Sobre o ajuste de preferência para modelos do Gemini.

Ajuste do aprendizado por reforço

O ajuste de detalhes do aprendizado por reforço (RLFT, na sigla em inglês) adapta os modelos do Gemini por meio de exploração de tentativa e erro guiada por funções de recompensa programáticas ou baseadas em modelos. Durante o treinamento, o modelo faz amostras de várias respostas candidatas e rastreamentos de raciocínio (nível de pensamento MINIMAL ou HIGH) para cada comando, os avalia usando sua configuração de recompensa em uma escala de [-1, 1] e atualiza um adaptador LoRA eficiente em parâmetros para maximizar a recompensa.

Ao contrário do ajuste supervisionado, que omite tokens de raciocínio intermediários durante o treinamento, o ajuste de aprendizado por reforço otimiza diretamente o raciocínio em várias etapas e generaliza bem com conjuntos de dados menores (geralmente de dezenas a algumas centenas de comandos). É possível avaliar as saídas usando uma única função de recompensa ou uma composição ponderada de até 16 funções de recompensa em quatro tipos de pontuadores:

  • Correspondência de string: compara as saídas do modelo com os campos de informações empíricas no dicionário references do conjunto de dados (correspondência exata de string ou JSON, com extração opcional de expressão regular).
  • Avaliador automático baseado no Gemini: usa uma rubrica de LLM como juiz para retornar uma pontuação numérica ou um veredito estruturado.
  • Execução de código: executa uma função personalizada do Python evaluate(example, response) em um ambiente de sandbox gerenciado.
  • Cloud Run: envia respostas de candidatos a um endpoint HTTP personalizado hospedado no Cloud Run para verificação específica do domínio.

Modelos que aceitam o ajuste fino de aprendizado por reforço

Os seguintes modelos do Gemini são compatíveis com o ajuste fino de aprendizado por reforço:

Clique para abrir os modelos compatíveis

Para mais informações sobre o ajuste de aprendizado por reforço, consulte Sobre o ajuste de aprendizado por reforço.

Checkpoints de ajuste fino

Os checkpoints de ajuste fino permitem salvar o progresso do ajuste, comparar o desempenho dos checkpoints e escolher o checkpoint com melhor desempenho, seja por época para ajuste supervisionado ou por intervalo de etapas (checkpointInterval) para ajuste de aprendizado por reforço.

Modelos compatíveis com checkpoints de ajuste fino

Os seguintes modelos do Gemini são compatíveis com checkpoints de ajuste fino:

Clique para abrir os modelos compatíveis

Para mais informações sobre checkpoints de ajuste fino, consulte Usar checkpoints no ajuste do Gemini e Status, métricas e monitoramento de jobs para ajuste fino de aprendizado por reforço.

Ajuste contínuo

Com o ajuste contínuo, é possível continuar ajustando um modelo ou checkpoint de modelo já ajustado. É possível executar outras épocas de ajuste supervisionado em um modelo ajustado (SFT -> SFT), aplicar o ajuste de aprendizado por reforço sobre um checkpoint de ajuste fino supervisionado para combinar formatação estrita com raciocínio aprimorado (SFT -> RLFT) ou continuar o treinamento de um checkpoint de aprendizado por reforço anterior (RLFT -> RLFT).

Modelos compatíveis com o ajuste contínuo

Os seguintes modelos do Gemini são compatíveis com o ajuste contínuo:

Clique para abrir os modelos compatíveis

Para mais informações sobre o ajuste contínuo, consulte Sobre o ajuste contínuo para modelos do Gemini e Ajuste contínuo com ajuste fino de aprendizado por reforço.

A seguir