La IA generativa suele basarse en modelos de aprendizaje automático (ML) a gran escala que se preentrenan con grandes cantidades de datos. Se denominan modelos fundacionales y sirven de base para diversas tareas. Hay muchas formas de personalizar modelos fundacionales con Generative AI en Vertex AI:
Afinamiento: el afinamiento consiste en proporcionar a un modelo un conjunto de datos de entrenamiento con ejemplos específicos relevantes para la tarea posterior elegida.
- Ajuste supervisado: Esta técnica usa ejemplos etiquetados para afinar un modelo. En cada ejemplo se muestra la salida elegida para una entrada determinada durante la inferencia. El ajuste supervisado es eficaz en tareas en las que el resultado esperado no es demasiado complejo y se puede definir claramente, como la clasificación, el análisis de sentimiento, la extracción de entidades, la creación de resúmenes de contenido menos complejo y la generación de consultas específicas de un dominio. Puedes ajustar los tipos de datos de texto, imagen, audio y documento mediante el aprendizaje supervisado.
- Ajuste del aprendizaje por refuerzo a partir de comentarios humanos (RLHF): este método es adecuado cuando la salida del modelo seleccionado es más compleja. El ajuste con RLHF funciona bien para objetivos que no se pueden diferenciar fácilmente mediante el ajuste supervisado, como la respuesta a preguntas, la creación de resúmenes de contenido complejo y la generación de contenido creativo.
Destilación: la destilación suele implicar el entrenamiento de un modelo "alumno" más pequeño para que imite el comportamiento de un modelo "profesor" más grande y capaz.
Entrenamiento de modelos de adaptador: consiste en entrenar modelos de adaptador (o capas) más pequeños que funcionan junto con un modelo fundacional para mejorar el rendimiento en tareas especializadas. Los parámetros del modelo fundacional original suelen mantenerse sin cambios y solo se actualizan los pesos del adaptador durante el entrenamiento.
Fundamentación: aunque no es un método de entrenamiento, la fundamentación es un aspecto fundamental para asegurar la fiabilidad de los resultados de la IA generativa. La fundamentación consiste en conectar el resultado del modelo con fuentes de información verificables, lo que reduce la probabilidad de que se genere contenido inventado. Esto suele implicar proporcionar al modelo acceso a fuentes de datos específicas durante la inferencia.