Guía de inicio rápido: Ajuste del aprendizaje por refuerzo con la API

En esta página, se explica el flujo de trabajo de extremo a extremo para el ajuste de modelos de Gemini con aprendizaje por refuerzo a través de la API de Agent Platform: crear un trabajo de ajuste, verificar su estado, recuperar el extremo del modelo ajustado y ejecutar la inferencia en él. Para completar estas tareas en la consola de Google Cloud , consulta la guía de inicio rápido de la consola deGoogle Cloud .

Antes de comenzar, consulta Acerca del ajuste de modelos con aprendizaje por refuerzo para obtener una descripción general de la función, los modelos compatibles y las regiones admitidas.

Crea un trabajo de ajuste del aprendizaje por refuerzo

Para crear un trabajo de ajuste del aprendizaje por refuerzo, envía una solicitud POST al extremo tuningJobs.create. Para ver el esquema de solicitud completo y todos los campos configurables, consulta la página Trabajo de ajuste de aprendizaje por refuerzo.

En los ejemplos de esta página, se usa us-central1 como la región de ajuste. El modelo ajustado resultante se entrega desde el extremo multirregional us. Para obtener la lista completa de regiones admitidas para el ajuste y la entrega, consulta la sección Modelos y regiones admitidos.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/tuningJobs" \
  -d \
  $'{
    "tunedModelDisplayName": "dai-image-test",
    "baseModel": "gemini-3.5-flash",
    "reinforcementTuningSpec": {
      "trainingDatasetUri": "gs://path/to/my/training_dataset.jsonl",
      "validationDatasetUri": "gs://path/to/my/eval_dataset.jsonl",
      "hyperParameters": {
        "epochCount":15,
        "learningRateMultiplier":1.0,
        "samplesPerPrompt":16,
        "adapterSize":"ADAPTER_SIZE_SIXTEEN",
        "maxOutputTokens":32768,
        "batchSize":32,
        "evaluateInterval":5,
        "checkpointInterval":5,
        "thinkingLevel":"HIGH"
      },
      "singleRewardConfig": {
        "rewardName": "my_reward_function_name",
        "parseResponseConfig": {"parseType":"IDENTITY"},
        "cloudRunRewardScorer": {
          "cloudRunUri":"https://my.cloud.run.uri"
        }
      }
    }
  }'

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .

Verifica el estado del trabajo de ajuste del aprendizaje por refuerzo

Puedes supervisar el progreso, el rendimiento y la calidad de un trabajo de ajuste con aprendizaje por refuerzo en ejecución en la consola de Google Cloud en la páginaModelos > Ajuste. Cada trabajo de ajuste tiene una vista de supervisión dedicada que muestra el estado del ajuste subyacente con gráficos de las recompensas de entrenamiento y evaluación, la longitud de la generación y otras métricas de ajuste. Para obtener la lista completa de las métricas emitidas y cómo interpretarlas, consulta la página Métricas y supervisión.

Tiempo de entrenamiento

El tiempo de entrenamiento se ve afectado por los siguientes factores:

  • Tamaño del conjunto de datos de entrenamiento y validación. Para obtener más información, consulta la página Conjunto de datos de ajuste.
  • Hiperparámetros, incluidos samplesPerPrompt, el tamaño del lote, el recuento de épocas y el multiplicador de la tasa de aprendizaje Para obtener más información, consulta la página Hiperparámetros.

Según tu configuración, un trabajo de ajuste de aprendizaje por refuerzo de Gemini puede ejecutarse durante horas o días.

Obtén el extremo del modelo ajustado

Después de que el trabajo de ajuste alcance JOB_STATE_SUCCEEDED, recupera el extremo del modelo ajustado implementado con una solicitud tuningJobs.get y lee el campo tunedModel.endpoint de la respuesta.

curl -X GET \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/tuningJobs/TUNING_JOB_ID"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • TUNING_JOB_ID: Es el ID del trabajo de ajuste.

Ejemplo de respuesta (abreviada):

{
  "name": "projects/{PROJECT_ID}/locations/us-central1/tuningJobs/{TUNING_JOB_ID}",
  "tunedModelDisplayName": "my-rl-tuned-model",
  "state": "JOB_STATE_SUCCEEDED",
  "tunedModel": {
    "model": "projects/{PROJECT_ID}/locations/us-central1/models/{MODEL_ID}",
    "endpoint": "projects/{PROJECT_ID}/locations/us/endpoints/{ENDPOINT_ID}"
  },
  "reinforcementTuningSpec": { ... }
}

Una vez que el trabajo de ajuste se completa correctamente, se muestra endpoint del último punto de control en la respuesta.

Ejecuta la inferencia en el extremo del modelo ajustado

El modelo ajustado entrega predicciones a través de la API de generateContent estándar en el extremo devuelto. Si el trabajo de ajuste se ejecutó en us-central1, el modelo ajustado se publicará desde el extremo de la multirregión us.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  "https://aiplatform.us.rep.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us/endpoints/ENDPOINT_ID:generateContent" \
  -d \
  $'{
    "contents": [
      {
        "role": "user",
        "parts": [
          { "text": "Why is the sky blue?" }
        ]
      }
    ]
  }'

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • ENDPOINT_ID: Es el ID del extremo que se devolvió en el campo tunedModel.endpoint de la respuesta GetTuningJob.

¿Qué sigue?