Ajuste contínuo para ajuste do aprendizado por reforço

O ajuste contínuo permite que você continue ajustando um modelo ou checkpoint de modelo já ajustado, adicionando mais períodos ou exemplos de treinamento. Usar um modelo ou checkpoint já ajustado como modelo de base permite uma experimentação de ajuste mais eficiente.

É possível usar o ajuste contínuo para as seguintes finalidades:

  • Ajustar com mais dados se um modelo ajustado atual estiver com subajuste.
  • Para melhorar o desempenho ou manter o modelo atualizado com novos dados.
  • Para personalizar ainda mais um modelo ajustado.

Padrões de ajuste contínuo compatíveis

Os seguintes padrões de ajuste contínuo são compatíveis:

  • Ajuste supervisionado → Ajuste do aprendizado por reforço
  • Ajuste do aprendizado por reforço → Ajuste do aprendizado por reforço

Configurar o ajuste contínuo

É possível configurar um job de ajuste contínuo no console do Google Cloud ou usando a API REST.

Console

Para configurar um job de ajuste contínuo no console do Google Cloud :

  1. No console do Google Cloud , acesse a página Modelos > Ajuste.

    Acesse Ajuste.

  2. Clique em Criar modelo ajustado.
  3. Em Método de ajuste, selecione Ajuste fino de aprendizado por reforço.
  4. Na seção Modelo base, selecione Ajustar um modelo pré-ajustado.
  5. Clique em Selecionar modelo, escolha o modelo ajustado anteriormente e selecione uma versão ou um checkpoint para continuar o ajuste.
  6. Siga as etapas restantes para configurar as funções de recompensa, o conjunto de dados de treinamento e os hiperparâmetros. Para mais informações, consulte o guia de início rápido do console doGoogle Cloud .

REST

Para configurar um job de ajuste contínuo de forma programática, inclua um bloco preTunedModel no corpo da solicitação que aponte para o modelo ajustado anteriormente (e, opcionalmente, um checkpoint específico). O restante da solicitação segue o mesmo esquema de um novo job de ajuste de aprendizado por reforço.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Substitua:

  • DESCRIPTION: uma descrição do job de ajuste. Opcional.
  • TUNED_MODEL_DISPLAY_NAME: nome de exibição do modelo ajustado.
  • TRAINING_DATASET: URI do Cloud Storage do arquivo JSONL do conjunto de dados de treinamento.
  • VALIDATION_DATASET: URI do Cloud Storage do arquivo JSONL do conjunto de dados de validação. Opcional.
  • HYPERPARAMETERS: configuração de hiperparâmetro para o job de ajuste contínuo. Para mais detalhes, consulte a página Hiperparâmetros.
  • REWARD_CONFIG: configuração de recompensas. Para mais detalhes, consulte a página Funções de recompensa.
  • PROJECT_ID: o ID do projeto do Google Cloud .
  • LOCATION_ID: o ID do local.
  • PRETUNED_MODEL_ID: o ID do modelo ajustado anteriormente para continuar.
  • CHECKPOINT_ID: o ID de um checkpoint específico do modelo ajustado anteriormente. Opcional. Se omitido, o checkpoint mais recente do modelo pré-ajustado será usado.

A seguir