Introducción al ajuste.

El ajuste de modelos es un proceso fundamental para adaptar Gemini para que realice tareas específicas con mayor precisión y exactitud. El ajuste del modelo proporciona un modelo con un conjunto de datos de entrenamiento que contiene un conjunto de ejemplos de tareas descendentes específicas.

En esta página, se proporciona una descripción general del ajuste de modelos para Gemini, se describen las opciones de ajuste disponibles para Gemini y se ofrece ayuda para determinar cuándo se debería usar cada opción de ajuste.

Beneficios del ajuste de modelos

El ajuste de modelos es una forma eficaz de personalizar modelos grandes para tus tareas. Es un paso clave para mejorar la calidad y la eficiencia del modelo. El ajuste de modelos proporciona los siguientes beneficios:

  • Mayor calidad para tus tareas específicas
  • Mayor solidez del modelo
  • Menor latencia de inferencia y costo debido a instrucciones más cortas

Ajuste en comparación con el diseño de instrucciones

  • Instrucciones con modelos de Gemini previamente entrenados: La creación de instrucciones es el arte de elaborar instrucciones eficaces para guiar a los modelos de IA como Gemini en la generación de los resultados que deseas. Implica diseñar instrucciones que transmitan claramente la tarea, el formato que deseas y cualquier contexto relevante. Puedes usar las funciones de Gemini con una configuración mínima. Esto es ideal para lo siguiente:
    • Datos etiquetados limitados: Si tienes una pequeña cantidad de datos etiquetados o no puedes permitirte un proceso de ajuste prolongado.
    • Prototipado rápido: Cuando necesitas probar un concepto rápidamente, o bien obtener un rendimiento de referencia sin una gran inversión en el ajuste.
  • Ajuste personalizado de los modelos de Gemini: Para obtener resultados más personalizados, Gemini te permite ajustar sus modelos en tus conjuntos de datos específicos. Para crear un modelo de IA que se destaque en tu dominio específico, considera ajustarlo. Esto implica volver a entrenar el modelo base con tu propio conjunto de datos etiquetados y adaptar sus pesos a tu tarea y datos. Puedes adaptar Gemini a tus casos de uso. El ajuste es más eficaz en los siguientes casos:
    • Tienes datos etiquetados: Un conjunto de datos de gran tamaño para entrenar (piensa en 100 ejemplos o más), que permite que el modelo aprenda en profundidad los detalles de tu tarea.
    • Tareas complejas o únicas: Para situaciones en las que las estrategias de instrucciones avanzadas no son suficientes y un modelo adaptado a tus datos es esencial.

Comienza con instrucciones para encontrar la instrucción óptima. Luego, continúa con el ajuste (si es necesario) para mejorar aún más el rendimiento o corregir los errores recurrentes. Si bien agregar más ejemplos puede ser beneficioso, es importante evaluar dónde el modelo comete errores antes de agregar más datos. Los datos bien etiquetados y de alta calidad son fundamentales para obtener un buen rendimiento, y esto es más importante que tener una gran cantidad de datos. Además, los datos que usas para el ajuste deben reflejar la distribución, el formato y el contexto de las instrucciones que el modelo encuentra en la producción.

El ajuste proporciona los siguientes beneficios sobre el diseño de instrucciones:

  • Permite una personalización profunda del modelo y genera un mejor rendimiento en tareas específicas.
  • Alinear el modelo con sintaxis, instrucciones y reglas semánticas específicas del dominio personalizadas
  • Ofrece resultados más coherentes y confiables.
  • Capaz de manejar más ejemplos a la vez.
  • Ahorra costos en la inferencia quitando ejemplos e instrucciones largas en las instrucciones

Enfoques de ajuste

El ajuste eficiente de parámetros y el ajuste completo son dos enfoques para la personalización de modelos grandes. Ambos métodos tienen sus ventajas e implicaciones en términos de calidad del modelo y eficiencia de los recursos.

El ajuste eficiente de parámetros

El ajuste eficiente de parámetros, también llamado ajuste del adaptador, permite una adaptación eficiente de grandes modelos a tus tareas o dominios específicos. El ajuste eficiente de parámetros actualiza un subconjunto relativamente pequeño de parámetros del modelo durante el proceso de ajuste.

Para comprender cómo Gemini Enterprise Agent Platform admite el ajuste y la entrega del adaptador, puedes encontrar más detalles en este informe, Adaptación de modelos de base grandes.

Ajuste completo

El ajuste completo actualiza todos los parámetros del modelo, lo que lo hace adecuado para adaptar el modelo a tareas muy complejas, con el potencial de lograr una mayor calidad. Sin embargo, el ajuste completo requiere recursos de procesamiento más altos para el ajuste y la entrega, lo que genera costos generales más altos.

Comparación entre el ajuste eficiente de parámetros y el ajuste completo

El ajuste eficiente de los parámetros es más eficiente en cuanto a recursos y rentable en comparación con el ajuste completo. Usa muchos menos recursos de procesamiento para entrenarse. Puede adaptar el modelo más rápido con un conjunto de datos más pequeño. La flexibilidad del ajuste eficiente de los parámetros ofrece una solución para el aprendizaje multitarea sin la necesidad de un reentrenamiento extenso.

Métodos de ajuste compatibles

Agent Platform admite el ajuste supervisado, el ajuste de preferencias y el ajuste de aprendizaje por refuerzo para personalizar los modelos de base. También puedes usar puntos de control en el ajuste y ajuste continuo en las ejecuciones de entrenamiento.

En la siguiente tabla, se comparan los métodos de ajuste principales:

Método de ajuste Cómo funciona Tamaño habitual del conjunto de datos Más adecuado para
Ajuste supervisado (SFT) Se entrena con demostraciones de entrada y salida etiquetadas. De cientos a miles de ejemplos etiquetados Formato de salida estricto, clasificación, análisis de sentimiento, extracción de entidades y estilo o tono específicos del dominio.
Ajuste de preferencias Optimiza las preferencias por pares (respuestas elegidas frente a las rechazadas) De cientos a miles de pares de preferencias Alinear el comportamiento del modelo con las preferencias humanas subjetivas, la utilidad o el tono conversacional.
Ajuste de aprendizaje por refuerzo (RLFT) Genera trazas de razonamiento y respuestas de candidatos (nivel de pensamiento MINIMAL o HIGH) y maximiza las puntuaciones de hasta 16 funciones de recompensa ponderadas De decenas a unos cientos de instrucciones con metadatos de references Razonamiento de varios pasos, reglas de dominio complejas, tareas verificables (como la generación de código o SQL) y optimización de modelos de pensamiento sin degradar la calidad del razonamiento.

Ajuste supervisado

El ajuste supervisado mejora el rendimiento del modelo, ya que le enseña una habilidad nueva. Los datos que contienen cientos de ejemplos etiquetados se usan para enseñarle al modelo a imitar un comportamiento o una tarea objetivo. Cada ejemplo etiquetado demuestra lo que deseas que el modelo genere durante la inferencia.

Cuando ejecutas un trabajo de ajuste supervisado, el modelo aprende parámetros adicionales que lo ayudan a codificar la información necesaria para realizar la tarea objetivo o aprender el comportamiento esperado. Estos parámetros se usan durante la inferencia. El resultado del trabajo de ajuste es un modelo nuevo que combina los parámetros recién aprendidos con el modelo original.

El ajuste supervisado de un modelo de texto es una buena opción cuando el resultado de tu modelo no es complejo y es relativamente fácil de definir. Se recomienda el ajuste supervisado para la clasificación, el análisis de sentimiento, la extracción de entidades, el resumen del contenido que no es complejo y la escritura de consultas específicas del dominio.

Modelos que admiten el ajuste supervisado

Los siguientes modelos de base de Gemini admiten la optimización supervisada:

Haz clic para expandir los modelos compatibles

Para obtener más información sobre el uso del ajuste supervisado con cada tipo de datos, consulta las siguientes páginas: Ajusta los tipos de datos de texto, imagen, audio, video y documento.

Ajuste de preferencias

El ajuste de preferencias de Agent Platform se basa en el ajuste supervisado, ya que te permite ajustar tus modelos de Gemini con datos de comentarios humanos.

El ajuste de preferencias permite que el modelo aprenda de las preferencias subjetivas de los usuarios que son difíciles de definir con etiquetas específicas y solo con el ajuste supervisado.

Modelos que admiten el ajuste de preferencias

Los siguientes modelos de Gemini admiten el ajuste de preferencias:

Haz clic para expandir los modelos compatibles

Para obtener más información sobre el ajuste de preferencias, consulta Acerca del ajuste de preferencias para los modelos de Gemini.

Ajuste del aprendizaje por refuerzo

El ajuste de aprendizaje por refuerzo (RLFT) adapta los modelos de Gemini a través de la exploración de prueba y error guiada por funciones de recompensa programáticas o basadas en modelos. Durante el entrenamiento, el modelo toma muestras de varias respuestas candidatas y trazas de razonamiento (nivel de pensamiento MINIMAL o HIGH) para cada instrucción, las evalúa con tu configuración de recompensa en una escala de [-1, 1] y actualiza un adaptador de LoRA con eficiencia de parámetros para maximizar la recompensa.

A diferencia del ajuste supervisado, que omite los tokens de razonamiento intermedios durante el entrenamiento, el ajuste por aprendizaje por refuerzo optimiza directamente el razonamiento de varios pasos y se generaliza bien con conjuntos de datos más pequeños (a menudo, de decenas a unos pocos cientos de instrucciones). Puedes evaluar los resultados con una sola función de recompensa o una combinación ponderada de hasta 16 funciones de recompensa en cuatro tipos de puntuadores:

  • Coincidencia de cadenas: Compara los resultados del modelo con los campos de verdad fundamental en el diccionario references del conjunto de datos (coincidencia exacta de cadenas o JSON, con extracción opcional de expresiones regulares).
  • Evaluador automático basado en Gemini: Usa una rúbrica de LLM como juez para devolver una puntuación numérica o un veredicto estructurado.
  • Ejecución de código: Ejecuta una función de Python evaluate(example, response) personalizada en un entorno de zona de pruebas administrado.
  • Cloud Run: Envía respuestas candidatas a un extremo HTTP personalizado alojado en Cloud Run para la verificación específica del dominio.

Modelos que admiten el ajuste del aprendizaje por refuerzo

Los siguientes modelos de Gemini admiten el ajuste de aprendizaje por refuerzo:

Haz clic para expandir los modelos compatibles

Para obtener más información sobre el ajuste de aprendizaje por refuerzo, consulta Acerca del ajuste de aprendizaje por refuerzo.

Puntos de control en el ajuste

Los puntos de control en el ajuste te permiten guardar el progreso del ajuste, comparar el rendimiento de los puntos de control y elegir el punto de control con el mejor rendimiento, ya sea por época para el ajuste supervisado o por intervalo de pasos (checkpointInterval) para el ajuste del aprendizaje por refuerzo.

Modelos que admiten puntos de control en el ajuste

Los siguientes modelos de Gemini admiten puntos de control en el ajuste:

Haz clic para expandir los modelos compatibles

Para obtener más información sobre los puntos de control en el ajuste, consulta Usa puntos de control en el ajuste de Gemini y Estado del trabajo, métricas y supervisión para el ajuste fino del aprendizaje por refuerzo.

Ajuste continuo

El ajuste continuo te permite seguir ajustando un modelo o un punto de control del modelo que ya se ajustó. Puedes ejecutar ciclos de entrenamiento adicionales de ajuste supervisado en un modelo ajustado (SFT -> SFT), aplicar el ajuste de aprendizaje por refuerzo sobre un punto de control de ajuste supervisado para combinar el formato estricto con el razonamiento mejorado (SFT -> RLFT) o continuar el entrenamiento desde un punto de control de aprendizaje por refuerzo anterior (RLFT -> RLFT).

Modelos que admiten el ajuste continuo

Los siguientes modelos de Gemini admiten el ajuste continuo:

Haz clic para expandir los modelos compatibles

Para obtener más información sobre el ajuste continuo, consulta Acerca del ajuste continuo para los modelos de Gemini y Ajuste continuo con ajuste fino de aprendizaje por refuerzo.

¿Qué sigue?