A IA generativa geralmente depende de modelos de aprendizado de máquina (ML) em grande escala que são pré-treinados em grandes quantidades de dados. Eles são chamados de modelos de fundação e servem como base para várias tarefas. Há várias maneiras de personalizar modelos de fundação usando a IA generativa na Gemini Enterprise Agent Platform:
Ajuste: o ajuste envolve fornecer um modelo com um conjunto de dados de treinamento de exemplos específicos relevantes para a tarefa downstream escolhida.
- Ajuste supervisionado: Essa técnica usa exemplos rotulados para ajustar um modelo. Cada exemplo demonstra a saída escolhida para uma determinada entrada durante a inferência. O ajuste supervisionado é eficaz para tarefas em que a saída esperada não é muito complexa e pode ser claramente definida, como classificação, análise de sentimento, extração de entidade, resumo de conteúdo menos complexo e geração de consultas específicas do domínio. É possível ajustar os tipos de dados texto, imagem, áudio e documento usando o aprendizado supervisionado.
- Aprendizado por reforço com ajuste de feedback humano (RLHF): esse método é adequado quando a saída do modelo selecionado é mais complexa. O ajuste de RLHF funciona bem para objetivos que não são facilmente diferenciados pelo ajuste supervisionado, como responder a perguntas, resumir conteúdo complexo e gerar conteúdo criativo.
Destilação: a destilação geralmente envolve o treinamento de um modelo "estudante" menor para imitar o comportamento de um modelo "professor" maior e mais capaz.
Treinamento de modelo de adaptador: envolve o treinamento de modelos de adaptador menores (ou camadas) que funcionam em conjunto com um modelo de fundação para melhorar a performance em tarefas especializadas. Os parâmetros do modelo de fundação original geralmente são mantidos congelados, e apenas os pesos do adaptador são atualizados durante o treinamento.
Embasamento: embora não seja um método de treinamento, o embasamento é um aspecto essencial para garantir a confiabilidade das saídas de IA generativa. O embasamento envolve conectar a saída do modelo a fontes de informações verificáveis, reduzindo a probabilidade de conteúdo inventado. Isso geralmente envolve fornecer ao modelo acesso a fontes de dados específicas durante a inferência.