Guía de inicio rápido: Ajuste de modelos con aprendizaje por refuerzo usando la consola de Google Cloud

En esta página, se explica el flujo de trabajo de extremo a extremo para el ajuste con aprendizaje por refuerzo de los modelos de Gemini en la consola de Google Cloud : cómo crear un trabajo de ajuste, verificar su estado, recuperar el extremo del modelo ajustado y ejecutar la inferencia en él. Para completar estas tareas con la API de Agent Platform, consulta la guía de inicio rápido de la API.

Antes de comenzar, consulta Acerca del ajuste de modelos con aprendizaje por refuerzo para obtener una descripción general de la función, los modelos compatibles y las regiones admitidas.

Crea un trabajo de ajuste del aprendizaje por refuerzo

Para crear un trabajo de ajuste con aprendizaje por refuerzo con la Google Cloud consola, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Modelos > Ajuste.

    Ir a Ajuste

  2. Haz clic en Crear modelo ajustado.

  3. En la sección Detalles del modelo, configura lo siguiente:

    1. En Método de ajuste, selecciona Ajuste con aprendizaje por refuerzo.
    2. En el campo Nombre del modelo ajustado, ingresa un nombre para el modelo ajustado (por ejemplo, my-rl-tuned-model).
    3. En Modelo de base, selecciona Ajustar un modelo de base.
    4. En la lista desplegable Modelo base, selecciona el modelo que deseas ajustar (por ejemplo, gemini-3.5-flash).
    5. En la lista desplegable Región, selecciona la región en la que se ejecuta el trabajo de ajuste (por ejemplo, us-central1 (Iowa)). El modelo ajustado resultante se entrega desde el extremo multirregional us. Para obtener la lista completa de las regiones admitidas para la optimización y la publicación, consulta la sección Modelos y regiones admitidos.
    6. Opcional: Expande Opciones avanzadas para personalizar los hiperparámetros:
      • Cantidad de épocas: Es la cantidad de épocas de entrenamiento (por ejemplo, 15).
      • Multiplicador de la tasa de aprendizaje: Es el multiplicador para ajustar la tasa de aprendizaje (por ejemplo, 1.0).
      • Tamaño del adaptador: Es el tamaño del adaptador para el ajuste eficiente de parámetros (por ejemplo, 16).
      • Muestras por instrucción: Es la cantidad de respuestas candidatas que genera el modelo por instrucción durante el entrenamiento (por ejemplo, 16).
      • Nivel de pensamiento: Es el nivel de pensamiento de los modelos de razonamiento (por ejemplo, HIGH).
      • Tamaño del lote: Es la cantidad de ejemplos de entrenamiento por lote (por ejemplo, 32).
      • Intervalo de puntos de control: Es la frecuencia en pasos con la que se guardan los puntos de control intermedios (por ejemplo, 5).
      • Máx. de tokens de salida: Es la cantidad máxima de tokens de salida que se generan por muestra (por ejemplo, 32768).
      • Intervalo de evaluación: Es la frecuencia en pasos con la que se ejecuta la evaluación en el conjunto de datos de validación (por ejemplo, 5).
    7. Haz clic en Continuar.

  4. En la sección Configuración de la recompensa, configura una o más funciones de recompensa para calificar las respuestas del modelo durante el entrenamiento:

    1. En el campo Nombre de la recompensa, ingresa un nombre único para la función de recompensa (por ejemplo, my_reward_function_name). Las métricas emitidas en la vista de supervisión tienen este nombre como prefijo.
    2. En la lista desplegable Tipo de recompensa, selecciona el tipo de evaluador:
      • Recompensa por coincidencia de cadena: Evalúa el texto generado en comparación con las referencias usando coincidencias exactas o expresiones regulares.
      • Recompensa basada en LLM: Usa un modelo de Gemini como calificador automático para puntuar las respuestas según una instrucción de evaluación.
      • Recompensa basada en funciones de Python: Ejecuta código de Python personalizado en un entorno de pruebas seguro para evaluar las respuestas.
      • Recompensa completamente personalizable a través de Cloud Run: Llama a un extremo HTTP externo alojado en Cloud Run para evaluar las respuestas.

    3. Configura los parámetros del tipo de recompensa seleccionado. Por ejemplo, para una recompensa de Cloud Run, se vería de la siguiente manera:

      • En el campo URI de Cloud Run, ingresa el URI de HTTPS de tu servicio implementado (por ejemplo, https://my.cloud.run.uri).
      • En el campo Tipo de análisis, selecciona IDENTITY.

      Como alternativa, para una recompensa por coincidencia de cadena, haz lo siguiente:

      • En el campo Tipo de análisis, selecciona REGEX_EXTRACT o IDENTITY. Si seleccionas REGEX_EXTRACT, ingresa la expresión regular en Expresión de extracción de regex (por ejemplo, \text{(.*)}).
      • En el campo Recompensa por respuesta incorrecta, ingresa la penalización por una respuesta incorrecta (por ejemplo, -1).
      • En el campo Recompensa por respuesta correcta, ingresa la puntuación para una respuesta correcta (por ejemplo, 1).
      • En Tipo de expresión de concordancia de cadena, selecciona Concordancia de cadena o Concordancia de JSON.
      • En la lista desplegable Operación de coincidencia, selecciona la lógica de coincidencia (por ejemplo, Coincidencia exacta).
      • En el campo Expresión, ingresa la expresión de referencia (por ejemplo, references.reference).

    4. En el campo Peso de la recompensa, ingresa el peso relativo de esta función de recompensa (por ejemplo, 1).

    5. Haz clic en Listo.

    6. Opcional: Para definir una recompensa compuesta, haz clic en + Agregar otra recompensa y configura funciones de recompensa adicionales. Puedes agregar hasta 16 funciones de recompensa y asignar pesos relativos a cada una.

    7. Haz clic en Continuar.

  5. En la sección Probar recompensa (opcional), valida la configuración de la recompensa antes de iniciar el trabajo de ajuste:

    1. En el campo Ejemplo de entrenamiento, ingresa un objeto JSON de ejemplo que contenga contents y references.
    2. En el campo Sample model response, ingresa una respuesta candidata o haz clic en Generate from Training Example para generar una respuesta de muestra con el modelo base.
    3. Haz clic en Probar.
    4. Verifica que la evaluación se realice correctamente y comprueba la puntuación calculada. Si usas recompensas compuestas, haz clic en Ver información de recompensas individuales para inspeccionar el desglose de la puntuación por recompensa.
    5. Haz clic en Continuar.

  6. En Conjunto de datos de ajuste, especifica los archivos del conjunto de datos almacenados en Cloud Storage:

    1. En el campo Conjunto de datos de entrenamiento, ingresa el URI de Cloud Storage de tu archivo JSONL del conjunto de datos de entrenamiento (por ejemplo, gs://path/to/my/training_dataset.jsonl).
    2. En el campo Conjunto de datos de validación, ingresa el URI de Cloud Storage de tu archivo JSONL del conjunto de datos de validación (por ejemplo, gs://path/to/my/eval_dataset.jsonl).
    3. Haz clic en Iniciar ajuste.

Verifica el estado del trabajo de ajuste del aprendizaje por refuerzo

Después de hacer clic en Iniciar ajuste, la consola te redireccionará a la página Modelos > Ajuste. En la tabla de trabajos de ajuste, se muestra el trabajo recién creado cerca de la parte superior de la lista con los siguientes detalles:

  • Nombre del modelo: Es el nombre visible que especificaste para el modelo ajustado.
  • Estado: Es el estado actual del trabajo de ajuste (como Pendiente, En ejecución o Completado).
  • Método: Reinforcement Learning.
  • Modelo base: Es el modelo base o previamente ajustado.
  • Región: Es la ubicación en la que se ejecuta el trabajo de ajuste.

Haz clic en el nombre del modelo para abrir la página de detalles del trabajo de ajuste. En la página, se proporcionan las siguientes pestañas:

  • Monitor: Muestra el progreso del ajuste y gráficos de métricas interactivos:
    • Progreso del ajuste: Muestra si el trabajo está en ejecución o se completó.
    • Gráficos combinados: Cuando se proporciona un conjunto de datos de validación, las curvas de entrenamiento y validación (como /train_mean_reward y /eval_mean_reward) se grafican juntas en los mismos gráficos.
    • Grupos de gráficos contraíbles: Los gráficos de métricas se organizan en grupos, incluidas las métricas generales de ajuste (recompensa media, longitud de tokens de generación, longitud de tokens de razonamiento, latencia de muestreo y latencia de recompensa) y las métricas por recompensa con el prefijo ${reward_name}.
    • Anotaciones de puntos de control: Los puntos de control intermedios guardados durante el ajuste se anotan directamente en los gráficos a lo largo de la línea de tiempo del entrenamiento.
    • Barra de filtros: Usa la barra de filtros para buscar métricas por nombre o filtrar por categoría (Show Category). Cuando se aplica un filtro, la barra permanece fija en la parte superior de la vista.
    • Tabla de puntos de control: Enumera los puntos de control intermedios guardados con números de pasos y valores de métricas. Usa el selector de columnas para elegir qué columnas mostrar.
  • Conjunto de datos: Muestra los detalles del conjunto de datos, las conversaciones de muestra y los valores de referencia.
  • Detalles: Resume la configuración del trabajo, incluido el modelo base, el método de ajuste, los hiperparámetros y las configuraciones de recompensa. Haz clic en Ver detalles en la tarjeta de configuración de una recompensa para ver los valores de los parámetros no predeterminados.

Para obtener la lista completa de las métricas emitidas y cómo interpretarlas, consulta la página Métricas y supervisión.

Tiempo de entrenamiento

El tiempo de entrenamiento se ve afectado por los siguientes factores:

Según tu configuración, un trabajo de ajuste de aprendizaje por refuerzo de Gemini puede ejecutarse durante horas o días.

Obtén el extremo del modelo ajustado

Una vez que el trabajo de ajuste alcanza el estado Succeeded, el punto de control del modelo se implementa en un extremo. Puedes ver y administrar el modelo ajustado implementado directamente en la consola deGoogle Cloud :

  1. En el encabezado de la página de detalles del trabajo de ajuste, haz clic en Ver detalles del modelo. Se abrirá la página Registro de modelos con los detalles del modelo ajustado.
  2. En la página de detalles del modelo, busca la pestaña Implementar y probar para ver la ruta de acceso al recurso del extremo implementado (en el formato projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. Como alternativa, en la pestaña Monitor de la página de detalles del trabajo de ajuste, busca la tabla Checkpoints para inspeccionar los puntos de control intermedios. Puedes implementar y evaluar puntos de control individuales de forma independiente.

Si el trabajo de ajuste se ejecutó en us-central1, el modelo ajustado se entrega desde el extremo multirregional us.

Ejecuta la inferencia en el modelo ajustado

Para probar y ejecutar la inferencia en el modelo ajustado directamente en la consola deGoogle Cloud , haz lo siguiente:

  1. En el encabezado de la página de detalles del trabajo de ajuste, haz clic en Probar.

    Agent Studio se abrirá con el modelo ajustado preseleccionado.

  2. En el campo de instrucción, ingresa una instrucción de entrada (por ejemplo, "Why is the sky blue?" o una pregunta de tu dominio objetivo).

  3. Haz clic en Ejecutar (o Enviar) para generar una respuesta.

  4. Revisa el resultado generado para evaluar qué tan bien se adhiere el modelo al estilo de razonamiento, el formato y los objetivos de recompensa deseados.

¿Qué sigue?