Guía de inicio rápido: Ajuste de aprendizaje por refuerzo con la consola de Google Cloud

En esta página, se explica el flujo de trabajo de extremo a extremo para el ajuste por aprendizaje por refuerzo de los modelos de Gemini en la consola de Google Cloud : crear un trabajo de ajuste, verificar su estado, recuperar el extremo del modelo ajustado y ejecutar la inferencia en él. Para completar estas tareas con la API de Agent Platform, consulta la guía de inicio rápido de la API.

Antes de comenzar, consulta Acerca del ajuste de aprendizaje por refuerzo para obtener una descripción general de la función, los modelos y las regiones admitidas.

Crea un trabajo de ajuste de aprendizaje por refuerzo

Para crear un trabajo de ajuste de aprendizaje por refuerzo con la consola de Google Cloud , sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Modelos > Ajuste.

    Ir a Ajuste

  2. Haz clic en Crear modelo ajustado.

  3. En la sección Detalles del modelo, configura lo siguiente:

    1. En Método de ajuste, selecciona Ajuste del aprendizaje por refuerzo.
    2. En el campo Nombre del modelo ajustado, ingresa un nombre para el modelo ajustado (por ejemplo, my-rl-tuned-model).
    3. En Modelo base, selecciona Ajustar un modelo de base.
    4. En la lista desplegable Modelo base, selecciona el modelo que deseas ajustar (por ejemplo, gemini-3.5-flash).
    5. En la lista desplegable Región, selecciona la región en la que se ejecuta el trabajo de ajuste (por ejemplo, us-central1 (Iowa)). El modelo ajustado resultante se entrega desde el extremo multirregional us. Para obtener la lista completa de las regiones de ajuste y entrega compatibles, consulta la sección Modelos y regiones compatibles.
    6. Opcional: Expande Opciones avanzadas para personalizar los hiperparámetros:
      • Cantidad de ciclos de entrenamiento: Es la cantidad de ciclos de entrenamiento (por ejemplo, 15).
      • Multiplicador de la tasa de aprendizaje: Es el multiplicador para escalar la tasa de aprendizaje (por ejemplo, 1.0).
      • Tamaño del adaptador: Es el tamaño del adaptador para el ajuste eficiente de parámetros (por ejemplo, 16).
      • Muestras por instrucción: Es la cantidad de respuestas candidatas que genera el modelo por instrucción durante el entrenamiento (por ejemplo, 16).
      • Nivel de razonamiento: Es el nivel de razonamiento de los modelos de razonamiento (por ejemplo, HIGH).
      • Tamaño del lote: Es la cantidad de ejemplos de entrenamiento por lote (por ejemplo, 32).
      • Intervalo de puntos de control: Es la frecuencia en pasos en la que se guardan los puntos de control intermedios (por ejemplo, 5).
      • Cantidad máxima de tokens de salida: Es la cantidad máxima de tokens de salida que se generan por muestra (por ejemplo, 32768).
      • Intervalo de evaluación: Es la frecuencia en pasos en la que se ejecuta la evaluación en el conjunto de datos de validación (por ejemplo, 5).
    7. Haz clic en Continuar.

  4. En la sección Configuración de recompensas, configura una o más funciones de recompensa para calificar las respuestas del modelo durante el entrenamiento:

    1. En el campo Nombre de la recompensa, ingresa un nombre único para la función de recompensa (por ejemplo, my_reward_function_name). Las métricas emitidas en la vista de supervisión tienen este nombre como prefijo.
    2. En la lista desplegable Tipo de recompensa, selecciona el tipo de puntuador:
      • Recompensa por coincidencia de cadena: Evalúa el texto generado en comparación con las referencias con coincidencias exactas o expresiones regulares.
      • Recompensa basada en LLM: Usa un modelo de Gemini como calificador automático para puntuar las respuestas según una instrucción de evaluación.
      • Recompensa basada en funciones de Python: Ejecuta código de Python personalizado en una zona de pruebas segura para evaluar las respuestas.
      • Recompensa completamente personalizable a través de Cloud Run: Llama a un extremo HTTP externo alojado en Cloud Run para evaluar las respuestas.

    3. Establece la configuración del tipo de recompensa que seleccionaste. Por ejemplo, para una recompensa de Cloud Run:

      • En el campo URI de Cloud Run, ingresa el URI de HTTPS de tu servicio implementado (por ejemplo, https://my.cloud.run.uri).
      • En el campo Tipo de análisis, selecciona IDENTITY.

      Como alternativa, para una recompensa por coincidencia de cadena, haz lo siguiente:

      • En el campo Tipo de análisis, selecciona REGEX_EXTRACT o IDENTITY. Si seleccionas REGEX_EXTRACT, ingresa la expresión regular en Expresión de extracción de regex (por ejemplo, \text{(.*)}).
      • En el campo Recompensa por respuesta incorrecta, ingresa la penalización por una respuesta incorrecta (por ejemplo, -1).
      • En el campo Recompensa por respuesta correcta, ingresa la puntuación de una respuesta correcta (por ejemplo, 1).
      • En Tipo de expresión de coincidencia de cadena, selecciona Coincidencia de cadena o Coincidencia de JSON.
      • En la lista desplegable Operación de coincidencia, selecciona la lógica de coincidencia (por ejemplo, Coincidencia exacta).
      • En el campo Expresión, ingresa la expresión de referencia (por ejemplo, references.reference).

    4. En el campo Peso de la recompensa, ingresa el peso relativo de esta función de recompensa (por ejemplo, 1).

    5. Haz clic en Listo.

    6. Opcional: Para definir una recompensa compuesta, haz clic en + Agregar otra recompensa y configura funciones de recompensa adicionales. Puedes agregar hasta 16 funciones de recompensa y asignar pesos relativos a cada una.

    7. Haz clic en Continuar.

  5. En la sección Recompensa de prueba (opcional), valida la configuración de la recompensa antes de iniciar el trabajo de ajuste:

    1. En el campo Ejemplo de entrenamiento, ingresa un objeto JSON de ejemplo que contenga contents y references.
    2. En el campo Respuesta de muestra del modelo, ingresa una respuesta candidata o haz clic en Generar a partir del ejemplo de entrenamiento para generar una respuesta de muestra con el modelo base.
    3. Haz clic en Probar.
    4. Verifica el estado de la prueba (Correcto, Correcto parcial si falla una subtarea individual en una recompensa compuesta o Error: Subtarea) y comprueba la puntuación calculada. Haz clic en See individual reward information (o See información de depuración cuando una subtarea informa un error) para abrir el panel lateral y, luego, inspeccionar las puntuaciones por recompensa, los mensajes de error y los registros de depuración.
    5. Haz clic en Continuar.

  6. En Conjunto de datos de ajuste, especifica los archivos de tu conjunto de datos almacenados en Cloud Storage:

    1. En el campo Conjunto de datos de entrenamiento, ingresa el URI de Cloud Storage del archivo JSONL del conjunto de datos de entrenamiento (por ejemplo, gs://path/to/my/training_dataset.jsonl).
    2. En el campo Conjunto de datos de validación, ingresa el URI de Cloud Storage del archivo JSONL de tu conjunto de datos de validación (por ejemplo, gs://path/to/my/eval_dataset.jsonl).
    3. Haz clic en Iniciar ajuste.

Verifica el estado del trabajo de ajuste de aprendizaje por refuerzo

Después de hacer clic en Iniciar ajuste, la consola te redireccionará a la página Modelos > Ajuste. En la tabla de trabajos de ajuste, se muestra el trabajo que acabas de crear cerca de la parte superior de la lista con los siguientes detalles:

  • Nombre del modelo: Es el nombre visible que especificaste para el modelo ajustado.
  • Estado: Es el estado actual del trabajo de ajuste (como Pendiente, En ejecución o Correcto).
  • Método: Reinforcement Learning.
  • Modelo base: Es el modelo de base o ajustado previamente.
  • Región: Es la ubicación en la que se ejecuta el trabajo de ajuste.

Haz clic en el nombre del modelo para abrir la página de detalles del trabajo de ajuste. En la página, se proporcionan las siguientes pestañas:

  • Supervisar: Muestra el progreso del ajuste y los gráficos de métricas interactivos:
    • Progreso del ajuste: Muestra si el trabajo se está ejecutando o si se completó.
    • Gráficos combinados: Cuando se proporciona un conjunto de datos de validación, las curvas de entrenamiento y validación (como /train_mean_reward y /eval_mean_reward) se trazan juntas en los mismos gráficos.
    • Grupos de gráficos contraíbles: Los gráficos de métricas se organizan en grupos, incluidas las métricas de ajuste general (recompensa promedio, longitud del token de generación, longitud del token de razonamiento, latencia de muestreo y latencia de recompensa) y las métricas por recompensa con el prefijo ${reward_name}.
    • Anotaciones de puntos de control: Los puntos de control intermedios guardados durante el ajuste se anotan directamente en los gráficos a lo largo de la línea de tiempo del entrenamiento.
    • Barra de filtros: Usa la barra de filtros para buscar métricas por nombre o filtrar por categoría (Show Category). Cuando se aplica un filtro, la barra de filtros permanece fija en la parte superior de la vista.
    • Tabla de puntos de control: Enumera los puntos de control intermedios guardados con números de pasos y valores de métricas. Usa el selector de columnas para elegir cuáles quieres mostrar.
  • Conjunto de datos: Muestra los detalles del conjunto de datos, las conversaciones de muestra y los valores de referencia.
  • Detalles: Resume la configuración del trabajo, incluido el modelo base, el método de ajuste, los hiperparámetros y la configuración de recompensas. Haz clic en Ver detalles en una tarjeta de configuración de recompensas para ver los valores de los parámetros que no son predeterminados.

Para obtener la lista completa de las métricas emitidas y cómo interpretarlas, consulta la página Métricas y supervisión.

Tiempo de entrenamiento

El tiempo de entrenamiento se ve afectado por los siguientes factores:

Según tu configuración, un trabajo de ajuste de aprendizaje por refuerzo de Gemini puede ejecutarse durante horas o días.

Obtén el extremo del modelo ajustado

Después de que el trabajo de ajuste alcance el estado Correcto, el punto de control del modelo se implementará en un extremo. Puedes ver y administrar el modelo ajustado implementado directamente en la consola deGoogle Cloud :

  1. En el encabezado de la página de detalles del trabajo de ajuste, haz clic en Ver detalles del modelo. Se abrirá la página Model Registry con los detalles del modelo ajustado.
  2. En la página de detalles del modelo, busca la pestaña Implementar y probar para ver la ruta de acceso del recurso del extremo implementado (en el formato projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. Como alternativa, en la pestaña Supervisar de la página de detalles del trabajo de ajuste, busca la tabla Puntos de control para inspeccionar los puntos de control intermedios. Puedes implementar y evaluar puntos de control individuales de forma independiente.

Si el trabajo de ajuste se ejecutó en us-central1, el modelo ajustado se entrega desde el extremo multirregional us.

Ejecuta la inferencia en el modelo ajustado

Para probar y ejecutar la inferencia en el modelo ajustado directamente en la consola deGoogle Cloud , haz lo siguiente:

  1. En el encabezado de la página de detalles del trabajo de ajuste, haz clic en Probar.

    Agent Studio se abrirá con tu modelo ajustado preseleccionado.

  2. En el campo de instrucción, ingresa una instrucción de entrada (por ejemplo, "Why is the sky blue?" o una pregunta de tu dominio de destino).

  3. Haz clic en Ejecutar (o Enviar) para generar una respuesta.

  4. Revisa el resultado generado para evaluar qué tan bien se adhiere el modelo a tu estilo de razonamiento, formato y objetivos de recompensa objetivo.

¿Qué sigue?