La IA generativa suele depender de modelos de aprendizaje automático (AA) a gran escala que se entrenan previamente con grandes cantidades de datos. Estos se conocen como modelos de base y sirven como base para diversas tareas. Hay muchas formas de personalizar los modelos de base con la IA generativa en Gemini Enterprise Agent Platform:
Ajuste: El ajuste implica proporcionar un modelo con un conjunto de datos de entrenamiento de ejemplos específicos pertinentes para la tarea descendente elegida.
- Ajuste supervisado: Esta técnica usa ejemplos etiquetados para ajustar un modelo. Cada ejemplo demuestra el resultado elegido para una entrada determinada durante la inferencia. El ajuste supervisado es eficaz para tareas en las que el resultado esperado no es demasiado complejo y se puede definir con claridad, como la clasificación, el análisis de sentimiento, la extracción de entidades, el resumen de contenido menos complejo y la generación de consultas específicas del dominio. Puedes ajustar los tipos de datos de texto, imagen, audio y documento con el aprendizaje supervisado.
- Ajuste del aprendizaje por refuerzo con retroalimentación humana (RLHF): Este método es adecuado cuando el resultado del modelo seleccionado es más complejo. El ajuste del RLHF funciona bien para objetivos que no se diferencian fácilmente a través del ajuste supervisado, como la búsqueda de respuestas, el resumen de contenido complejo y la generación de contenido creativo.
Destilación: La destilación suele implicar el entrenamiento de un modelo "estudiante" más pequeño para imitar el comportamiento de un modelo "profesor" más grande y capaz.
Entrenamiento de modelos de adaptador: Consiste en entrenar modelos (o capas) de adaptador más pequeños que funcionan en conjunto con un modelo de base para mejorar el rendimiento en tareas especializadas. Los parámetros del modelo de base original suelen mantenerse congelados, y solo se actualizan los pesos del adaptador durante el entrenamiento.
Fundamentación: Si bien no es un método de entrenamiento, la fundamentación es un aspecto fundamental para garantizar la confiabilidad de los resultados de la IA generativa. La fundamentación implica conectar los resultados del modelo con fuentes de información verificables, lo que reduce la probabilidad de que se invente contenido. A menudo, esto implica proporcionar al modelo acceso a fuentes de datos específicas durante la inferencia.