Guía de inicio rápido: Ajuste de aprendizaje por refuerzo con la API

En esta página, se explica el flujo de trabajo de extremo a extremo para el ajuste por aprendizaje por refuerzo de los modelos de Gemini con la API de Agent Platform: crear un trabajo de ajuste, verificar su estado, recuperar el extremo del modelo ajustado y ejecutar la inferencia en él. Para completar estas tareas en la consola de Google Cloud , consulta la guía de inicio rápido de la consola deGoogle Cloud .

Antes de comenzar, consulta Acerca del ajuste de aprendizaje por refuerzo para obtener una descripción general de la función, los modelos y las regiones admitidas.

Crea un trabajo de ajuste de aprendizaje por refuerzo

Para crear un trabajo de ajuste de aprendizaje por refuerzo, envía una solicitud POST al extremo tuningJobs.create. Para ver el esquema de solicitud completo y todos los campos configurables, consulta la página Trabajo de ajuste de aprendizaje por refuerzo.

En los ejemplos de esta página, se usa us-central1 como la región de ajuste. El modelo ajustado resultante se entrega desde el extremo multirregional us. Para obtener la lista completa de las regiones de ajuste y entrega compatibles, consulta la sección Modelos y regiones compatibles.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/tuningJobs" \
  -d \
  $'{
    "tunedModelDisplayName": "dai-image-test",
    "baseModel": "gemini-3.5-flash",
    "reinforcementTuningSpec": {
      "trainingDatasetUri": "gs://path/to/my/training_dataset.jsonl",
      "validationDatasetUri": "gs://path/to/my/eval_dataset.jsonl",
      "hyperParameters": {
        "epochCount":15,
        "learningRateMultiplier":1.0,
        "samplesPerPrompt":16,
        "adapterSize":"ADAPTER_SIZE_SIXTEEN",
        "maxOutputTokens":32768,
        "batchSize":32,
        "evaluateInterval":5,
        "checkpointInterval":5,
        "thinkingLevel":"HIGH"
      },
      "singleRewardConfig": {
        "rewardName": "my_reward_function_name",
        "parseResponseConfig": {"parseType":"IDENTITY"},
        "cloudRunRewardScorer": {
          "cloudRunUri":"https://my.cloud.run.uri"
        }
      }
    }
  }'

Reemplaza lo siguiente:

  • <var>PROJECT_ID</var>: Es el ID del proyecto de Google Cloud .

Verifica el estado del trabajo de ajuste de aprendizaje por refuerzo

Puedes supervisar el progreso, el rendimiento y la calidad de un trabajo de ajuste de aprendizaje por refuerzo en ejecución en la consola de Google Cloud en la página Modelos > Ajuste. Cada trabajo de ajuste tiene una vista de supervisión dedicada que muestra el estado de ajuste subyacente con gráficos para las recompensas de entrenamiento y evaluación, la longitud de generación y otras métricas de ajuste. Para obtener la lista completa de las métricas emitidas y cómo interpretarlas, consulta la página Métricas y supervisión.

Tiempo de entrenamiento

El tiempo de entrenamiento se ve afectado por los siguientes factores:

  • Tamaño del conjunto de datos de entrenamiento y validación. Para obtener más detalles, consulta la página Conjunto de datos de ajuste.
  • Hiperparámetros, incluidos samplesPerPrompt, el tamaño del lote, el recuento de ciclos de entrenamiento y el multiplicador de la tasa de aprendizaje. Para obtener más información, consulta la página Hiperparámetros.

Según tu configuración, un trabajo de ajuste de aprendizaje por refuerzo de Gemini puede ejecutarse durante horas o días.

Obtén el extremo del modelo ajustado

Después de que el trabajo de ajuste alcance el estado JOB_STATE_SUCCEEDED, recupera el extremo del modelo ajustado implementado emitiendo una solicitud tuningJobs.get y leyendo el campo tunedModel.endpoint de la respuesta.

curl -X GET \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/tuningJobs/TUNING_JOB_ID"

Reemplaza lo siguiente:

  • <var>PROJECT_ID</var>: Es el ID del proyecto de Google Cloud .
  • <var>TUNING_JOB_ID</var>: Es el ID del trabajo de ajuste.

Respuesta de ejemplo (abreviada):

{
  "name": "projects/{PROJECT_ID}/locations/us-central1/tuningJobs/{TUNING_JOB_ID}",
  "tunedModelDisplayName": "my-rl-tuned-model",
  "state": "JOB_STATE_SUCCEEDED",
  "tunedModel": {
    "model": "projects/{PROJECT_ID}/locations/us-central1/models/{MODEL_ID}",
    "endpoint": "projects/{PROJECT_ID}/locations/us/endpoints/{ENDPOINT_ID}"
  },
  "reinforcementTuningSpec": { ... }
}

Una vez que el trabajo de ajuste se complete correctamente, se mostrará endpoint del último punto de control en la respuesta.

Ejecuta la inferencia en el extremo del modelo ajustado

El modelo ajustado entrega predicciones a través de la API de generateContent estándar en el extremo que se muestra. Si el trabajo de ajuste se ejecutó en us-central1, el modelo ajustado se entrega desde el extremo multirregional us.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  "https://aiplatform.us.rep.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us/endpoints/ENDPOINT_ID:generateContent" \
  -d \
  $'{
    "contents": [
      {
        "role": "user",
        "parts": [
          { "text": "Why is the sky blue?" }
        ]
      }
    ]
  }'

Reemplaza lo siguiente:

  • <var>PROJECT_ID</var>: Es el ID del proyecto de Google Cloud .
  • <var>ENDPOINT_ID</var>: Es el ID del extremo que se muestra en el campo tunedModel.endpoint de la respuesta de GetTuningJob.

¿Qué sigue?