Ajuste continuo para el ajuste del aprendizaje por refuerzo

El ajuste continuo te permite seguir ajustando un modelo o un punto de control de modelo ya ajustado agregando más ciclos de entrenamiento o ejemplos de entrenamiento. Usar un modelo o un punto de control ya ajustado como modelo base permite experimentar con el ajuste de forma más eficiente.

Puedes usar el ajuste continuo para los siguientes fines:

  • Ajustar con más datos si un modelo ajustado existente tiene un subajuste
  • Para mejorar el rendimiento o mantener el modelo actualizado con datos nuevos.
  • Para personalizar aún más un modelo ajustado existente

Patrones de ajuste continuo compatibles

Se admiten los siguientes patrones de ajuste continuo:

  • Ajuste supervisado → Ajuste del aprendizaje por refuerzo
  • Ajuste del aprendizaje por refuerzo → Ajuste del aprendizaje por refuerzo

Configura el ajuste continuo

Puedes configurar un trabajo de ajuste continuo en la consola de Google Cloud o con la API de REST.

Console

Para configurar un trabajo de ajuste continuo en la consola de Google Cloud , haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Modelos > Ajuste.

    Ir a Ajuste

  2. Haz clic en Crear modelo ajustado.
  3. En Método de ajuste, selecciona Ajuste del aprendizaje por refuerzo.
  4. En la sección Modelo base, selecciona Ajustar un modelo preajustado.
  5. Haz clic en Seleccionar modelo, elige el modelo ajustado con anterioridad y selecciona una versión o un punto de control para continuar con el ajuste.
  6. Continúa con los pasos restantes para configurar tus funciones de recompensa, el conjunto de datos de entrenamiento y los hiperparámetros. Para obtener más información, consulta la guía de inicio rápido de la consola deGoogle Cloud .

REST

Para configurar un trabajo de ajuste continuo de manera programática, incluye un bloque preTunedModel en el cuerpo de la solicitud que apunte al modelo ajustado anteriormente (y, de manera opcional, a un punto de control específico). El resto de la solicitud sigue el mismo esquema que un trabajo nuevo de ajuste de aprendizaje por refuerzo.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Reemplaza lo siguiente:

  • DESCRIPTION: Es una descripción del trabajo de ajuste. Es opcional.
  • TUNED_MODEL_DISPLAY_NAME: Es el nombre visible del modelo ajustado.
  • TRAINING_DATASET: Es el URI de Cloud Storage del archivo JSONL del conjunto de datos de entrenamiento.
  • VALIDATION_DATASET: Es el URI de Cloud Storage del archivo JSONL del conjunto de datos de validación. Es opcional.
  • HYPERPARAMETERS: Es la configuración de hiperparámetros para el trabajo de ajuste continuo. Para obtener más información, consulta la página Hiperparámetros.
  • REWARD_CONFIG: Es la configuración de la recompensa. Para obtener más detalles, consulta la página Funciones de recompensa.
  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • LOCATION_ID: Es el ID de ubicación.
  • PRETUNED_MODEL_ID: Es el ID del modelo ajustado con anterioridad desde el que se continuará.
  • CHECKPOINT_ID: Es el ID de un punto de control específico del modelo ajustado con anterioridad. Opcional. Si se omite, se usa el último punto de control del modelo ajustado previamente.

¿Qué sigue?