La IA generativa suele depender de modelos de aprendizaje automático (AA) a gran escala que se entrenan previamente con grandes cantidades de datos. Estos se denominan modelos de base y sirven como base para varias tareas. Hay muchas formas de personalizar los modelos de base con Agent Platform:
Ajuste: El ajuste implica proporcionar un modelo con un conjunto de datos de entrenamiento de ejemplos específicos relevantes para la tarea descendente elegida.
- Ajuste supervisado: Esta técnica usa ejemplos etiquetados para ajustar un modelo. Cada ejemplo demuestra el resultado elegido para una entrada determinada durante la inferencia. El ajuste supervisado es eficaz para tareas en las que el resultado esperado no es demasiado complejo y se puede definir con claridad, como la clasificación, el análisis de sentimiento, la extracción de entidades, el resumen de contenido menos complejo y la generación de consultas específicas del dominio. Puedes ajustar los tipos de datos de texto, imagen, audio y documento con el aprendizaje supervisado.
- Ajuste de aprendizaje por refuerzo con retroalimentación humana (RLHF): Este método es adecuado cuando el resultado del modelo seleccionado es más complejo. El ajuste de RLHF funciona bien para objetivos que no se diferencian fácilmente a través del ajuste supervisado, como la búsqueda de respuestas, el resumen de contenido complejo y la generación de contenido creativo.
Síntesis: La síntesis suele implicar entrenar un modelo "estudiante" más pequeño para que imite el comportamiento de un modelo "profesor" más grande y capaz.
Entrenamiento de modelos de adaptador: Esto implica entrenar modelos de adaptadores (o capas) más pequeños que funcionan en conjunto con un modelo de base para mejorar el rendimiento en tareas especializadas. Los parámetros del modelo de base original suelen mantenerse inmovilizados, y solo se actualizan los pesos del adaptador durante el entrenamiento.
Fundamentación: Si bien no es un método de entrenamiento, la fundamentación es un aspecto fundamental para garantizar la confiabilidad de los resultados de la IA generativa. La fundamentación implica conectar el resultado del modelo con fuentes de información verificables, lo que reduce la probabilidad de contenido inventado. Esto suele implicar proporcionar al modelo acceso a fuentes de datos específicas durante la inferencia.