Guia de início rápido: ajuste de aprendizado por reforço usando o console do Google Cloud

Nesta página, mostramos o fluxo de trabalho completo para o ajuste fino de aprendizado por reforço de modelos do Gemini no console do Google Cloud : criar um job de ajuste, verificar o status dele, recuperar o endpoint do modelo ajustado e executar a inferência nele. Para concluir essas tarefas usando a API Agent Platform, consulte o guia de início rápido da API.

Antes de começar, consulte Sobre o ajuste fino de aprendizado por reforço para uma visão geral do recurso, dos modelos e das regiões com disponibilidade.

Criar um job de ajuste de aprendizado por reforço

Para criar um job de ajuste de aprendizado por reforço usando o console do Google Cloud , siga estas etapas:

  1. No console do Google Cloud , acesse a página Modelos > Ajuste.

    Acesse Ajuste.

  2. Clique em Criar modelo ajustado.

  3. Na seção Detalhes do modelo, configure o seguinte:

    1. Em Método de ajuste, selecione Ajuste de aprendizado por reforço.
    2. No campo Nome do modelo ajustado, insira um nome para o modelo ajustado (por exemplo, my-rl-tuned-model).
    3. Em Modelo base, selecione Ajustar um modelo de fundação.
    4. Na lista suspensa Modelo base, selecione o modelo a ser ajustado (por exemplo, gemini-3.5-flash).
    5. Na lista suspensa Região, selecione a região em que o job de ajuste é executado (por exemplo, us-central1 (Iowa)). O modelo ajustado resultante é disponibilizado no endpoint multirregional us. Para ver a lista completa de regiões de ajuste e disponibilização, consulte a seção Modelos e regiões compatíveis.
    6. Opcional: abra as Opções avançadas para personalizar os hiperparâmetros:
      • Número de períodos: o número de períodos de treinamento (por exemplo, 15).
      • Multiplicador da taxa de aprendizado: o multiplicador para dimensionar a taxa de aprendizado (por exemplo, 1.0).
      • Tamanho do adaptador: o tamanho do adaptador para ajuste com eficiência de parâmetros (por exemplo, 16).
      • Amostras por comando: o número de respostas candidatas que o modelo gera por comando durante o treinamento (por exemplo, 16).
      • Nível de raciocínio: o nível de raciocínio para modelos de raciocínio (por exemplo, HIGH).
      • Tamanho do lote: o número de exemplos de treinamento por lote (por exemplo, 32).
      • Intervalo de checkpoint: a frequência em etapas em que os checkpoints intermediários são salvos (por exemplo, 5).
      • Máximo de tokens de saída: o número máximo de tokens de saída gerados por amostra (por exemplo, 32768).
      • Intervalo de avaliação: a frequência em etapas em que a avaliação é executada no conjunto de dados de validação (por exemplo, 5).
    7. Clique em Continuar.

  4. Na seção Configuração de recompensa, configure uma ou mais funções de recompensa para pontuar as respostas do modelo durante o treinamento:

    1. No campo Nome da recompensa, insira um nome exclusivo para a função de recompensa (por exemplo, my_reward_function_name). As métricas emitidas na visualização de monitoramento são prefixadas com esse nome.
    2. Na lista suspensa Tipo de recompensa, selecione o tipo de pontuador:
      • Recompensa de correspondência de string: avalia o texto gerado em relação às referências usando correspondência exata ou expressões regulares.
      • Recompensa baseada em LLM: usa um modelo do Gemini como um avaliador automático para pontuar respostas com base em um comando de avaliação.
      • Recompensa baseada em função Python: executa código Python personalizado em um sandbox seguro para avaliar as respostas.
      • Recompensa totalmente personalizável via Cloud Run: chama um endpoint HTTP externo hospedado no Cloud Run para avaliar as respostas.

    3. Defina as configurações para o tipo de recompensa selecionado. Por exemplo, para uma recompensa do Cloud Run:

      • No campo URI do Cloud Run, insira o URI HTTPS do serviço implantado (por exemplo, https://my.cloud.run.uri).
      • No campo Tipo de análise, selecione IDENTITY.

      Como alternativa, para uma recompensa de correspondência de strings:

      • No campo Tipo de análise, selecione REGEX_EXTRACT ou IDENTITY. Se você selecionar REGEX_EXTRACT, insira a expressão regular em Expressão de extração de regex (por exemplo, \text{(.*)}).
      • No campo Recompensa por resposta errada, insira a penalidade para uma resposta incorreta (por exemplo, -1).
      • No campo Recompensa por resposta correta, insira a pontuação para uma resposta correta (por exemplo, 1).
      • Em Tipo de expressão de correspondência de string, selecione Correspondência de string ou Correspondência JSON.
      • Na lista suspensa Operação de correspondência, selecione a lógica de correspondência (por exemplo, Correspondência exata).
      • No campo Expressão, insira a expressão de referência (por exemplo, references.reference).

    4. No campo Peso da recompensa, insira o peso relativo para essa função de recompensa (por exemplo, 1).

    5. Clique em Concluído.

    6. Opcional: para definir uma recompensa composta, clique em + Adicionar outra recompensa e configure outras funções de recompensa. É possível adicionar até 16 funções de recompensa e atribuir pesos relativos a cada uma.

    7. Clique em Continuar.

  5. Na seção Recompensa de teste (opcional), valide a configuração da recompensa antes de iniciar o job de ajuste:

    1. No campo Exemplo de treinamento, insira um objeto JSON de amostra que contenha contents e references.
    2. No campo Exemplo de resposta do modelo, insira uma resposta candidata ou clique em Gerar com base no exemplo de treinamento para gerar um exemplo de resposta usando o modelo de base.
    3. Clique em Testar.
    4. Verifique o status do teste (Sucesso, Sucesso parcial se uma subtarefa individual em uma recompensa composta falhar ou Erro: subtarefa) e confira a pontuação calculada. Clique em Ver informações de recompensa individual (ou Ver informações de depuração quando uma subtarefa relatar um erro) para abrir o painel lateral e inspecionar as pontuações por recompensa, as mensagens de erro e os registros de depuração.
    5. Clique em Continuar.

  6. Em Conjunto de dados de ajuste, especifique os arquivos do conjunto de dados armazenados no Cloud Storage:

    1. No campo Conjunto de dados de treinamento, insira o URI do Cloud Storage do arquivo JSONL do conjunto de dados de treinamento (por exemplo, gs://path/to/my/training_dataset.jsonl).
    2. No campo Conjunto de dados de validação, insira o URI do Cloud Storage do arquivo JSONL do conjunto de dados de validação (por exemplo, gs://path/to/my/eval_dataset.jsonl).
    3. Clique em Iniciar ajuste.

Verificar o status do job de ajuste de aprendizado por reforço

Depois de clicar em Iniciar ajuste, o console redireciona para a página Modelos > Ajuste. A tabela de jobs de ajuste mostra o job recém-criado perto do topo da lista com os seguintes detalhes:

  • Nome do modelo: o nome de exibição que você especificou para o modelo ajustado.
  • Status: o estado atual do job de ajuste (como Pendente, Em execução ou Concluído).
  • Método: Reinforcement Learning.
  • Modelo base: o modelo de fundação ou pré-ajustado.
  • Região: o local em que o job de ajuste está em execução.

Clique no nome do modelo para abrir a página de detalhes do job de ajuste. A página oferece as seguintes guias:

  • Monitor: mostra o progresso do ajuste e gráficos de métricas interativos:
    • Progresso do ajuste: mostra se o job está em execução ou foi concluído.
    • Gráficos combinados: quando um conjunto de dados de validação é fornecido, as curvas de treinamento e validação (como /train_mean_reward e /eval_mean_reward) são plotadas juntas nos mesmos gráficos.
    • Grupos de gráficos recolhíveis: os gráficos de métricas são organizados em grupos, incluindo métricas gerais de ajuste (recompensa média, tamanho do token de geração, tamanho do token de raciocínio, latência de amostragem e latência de recompensa) e métricas por recompensa com o prefixo ${reward_name}.
    • Anotações de checkpoint: os checkpoints intermediários salvos durante o ajuste são anotados diretamente nos gráficos ao longo da linha do tempo de treinamento.
    • Barra de filtro: use a barra de filtro para pesquisar métricas por nome ou filtrar por categoria (Show Category). Quando filtrada, a barra de filtro permanece fixa na parte de cima da visualização.
    • Tabela de checkpoints: lista os checkpoints intermediários salvos com números de etapas e valores de métricas. Use o seletor de colunas para escolher quais colunas serão exibidas.
  • Conjunto de dados: mostra detalhes do conjunto de dados, conversas de exemplo e valores de referência.
  • Detalhes: resume a configuração do job, incluindo o modelo de base, o método de ajuste, os hiperparâmetros e as configurações de recompensa. Clique em Ver detalhes em um card de configuração de recompensa para conferir valores de parâmetro não padrão.

Para ver a lista completa de métricas emitidas e como interpretá-las, consulte a página Métricas e monitoramento.

Tempo de treinamento

O tempo de treinamento é afetado pelos seguintes fatores:

Dependendo da configuração, um job de ajuste de aprendizado por reforço do Gemini pode ser executado por horas ou dias.

Receber o endpoint do modelo ajustado

Depois que o job de ajuste alcançar Concluído, o checkpoint do modelo será implantado em um endpoint. É possível visualizar e gerenciar o modelo ajustado implantado diretamente no console doGoogle Cloud :

  1. No cabeçalho da página de detalhes do job de ajuste, clique em Ver detalhes do modelo. A página Model Registry é aberta com detalhes do modelo ajustado.
  2. Na página de detalhes do modelo, encontre a guia Implantar e testar para conferir o caminho do recurso do endpoint implantado (no formato projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. Como alternativa, na guia Monitorar da página de detalhes do job de ajuste, localize a tabela Checkpoints para inspecionar os checkpoints intermediários. É possível implantar e avaliar checkpoints individuais de forma independente.

Se o job de ajuste foi executado em us-central1, o modelo ajustado é disponibilizado no endpoint multirregional us.

Executar inferência no modelo ajustado

Para testar e executar a inferência no modelo ajustado diretamente no console doGoogle Cloud , faça o seguinte:

  1. No cabeçalho da página de detalhes do job de ajuste, clique em Testar.

    O Agent Studio é aberto com o modelo ajustado pré-selecionado.

  2. No campo de comando, insira um comando de entrada (por exemplo, "Why is the sky blue?" ou uma pergunta do seu domínio de destino).

  3. Clique em Executar (ou Enviar) para gerar uma resposta.

  4. Analise a saída gerada para avaliar se o modelo segue o estilo de raciocínio, a formatação e os objetivos de recompensa desejados.

A seguir