Guia de início rápido: ajuste fino de aprendizado por reforço usando o console do Google Cloud

Nesta página, você vai conhecer o fluxo de trabalho de ponta a ponta para o ajuste de detalhes por aprendizado por reforço dos modelos do Gemini no console Google Cloud : criar um job de ajuste, verificar o status dele, recuperar o endpoint do modelo ajustado e executar a inferência nele. Para concluir essas tarefas usando a API Agent Platform, consulte o início rápido da API.

Antes de começar, consulte Sobre o ajuste fino do aprendizado por reforço para uma visão geral do recurso, dos modelos e das regiões compatíveis.

Criar um job de ajuste do aprendizado por reforço

Para criar um job de ajuste de aprendizado por reforço usando o console Google Cloud , siga estas etapas:

  1. No Google Cloud console, acesse a página Modelos > Ajuste.

    Acesse Ajuste.

  2. Clique em Criar modelo ajustado.

  3. Na seção Detalhes do modelo, configure o seguinte:

    1. Em Método de ajuste, selecione Ajuste detalhado de aprendizado por reforço.
    2. No campo Nome do modelo ajustado, insira um nome para o modelo ajustado (por exemplo, my-rl-tuned-model).
    3. Em Modelo base, selecione Ajustar um modelo de fundação.
    4. Na lista suspensa Modelo base, selecione o modelo que você quer ajustar (por exemplo, gemini-3.5-flash).
    5. Na lista suspensa Região, selecione a região em que o job de ajuste será executado (por exemplo, us-central1 (Iowa)). O modelo ajustado resultante será fornecido pelo endpoint multirregional us. Para conferir a lista completa de regiões de ajuste e veiculação compatíveis, consulte a seção Modelos e regiões compatíveis.
    6. Opcional: expanda Opções avançadas para personalizar os hiperparâmetros:
      • Número de épocas: o número de épocas de treinamento (por exemplo, 15).
      • Multiplicador da taxa de aprendizado: o multiplicador para ajustar a taxa de aprendizado (por exemplo, 1.0).
      • Tamanho do adaptador: o tamanho do adaptador para ajuste com eficiência de parâmetros (por exemplo, 16).
      • Amostras por comando: o número de respostas candidatas que o modelo gera por comando durante o treinamento (por exemplo, 16).
      • Nível de pensamento: o nível de pensamento para modelos de raciocínio (por exemplo, HIGH).
      • Tamanho do lote: o número de exemplos de treinamento por lote (por exemplo, 32).
      • Intervalo de checkpoint: a frequência em etapas em que os checkpoints intermediários são salvos (por exemplo, 5).
      • Token de saída máximo: o número máximo de tokens de saída gerados por amostra (por exemplo, 32768).
      • Intervalo de avaliação: a frequência em etapas em que a avaliação é executada no conjunto de dados de validação (por exemplo, 5).
    7. Clique em Continuar.

  4. Na seção Configuração de recompensa, configure uma ou mais funções de recompensa para pontuar as respostas do modelo durante o treinamento:

    1. No campo Nome da recompensa, insira um nome exclusivo para a função de recompensa (por exemplo, my_reward_function_name). As métricas emitidas na visualização de monitoramento são prefixadas com esse nome.
    2. Na lista suspensa Tipo de recompensa, selecione o tipo de pontuação:
      • Recompensa de correspondência de string: avalia o texto gerado em relação às referências usando correspondência exata ou expressões regulares.
      • Recompensa baseada em LLM: usa um modelo do Gemini como um avaliador automático para pontuar respostas com base em um comando de avaliação.
      • Recompensa baseada em função Python: executa código Python personalizado em uma sandbox segura para avaliar respostas.
      • Recompensa totalmente personalizável via Cloud Run: chama um endpoint HTTP externo hospedado no Cloud Run para avaliar respostas.

    3. Configure as definições para o tipo de recompensa selecionado. Por exemplo, para uma recompensa do Cloud Run:

      • No campo URI do Cloud Run, insira o URI HTTPS do seu serviço implantado (por exemplo, https://my.cloud.run.uri).
      • No campo Tipo de análise, selecione IDENTITY.

      Como alternativa, para uma recompensa de correspondência de string:

      • No campo Tipo de análise, selecione REGEX_EXTRACT ou IDENTITY. Se você selecionar REGEX_EXTRACT, insira a expressão regular em Expressão de extração de regex (por exemplo, \text{(.*)}).
      • No campo Recompensa por resposta errada, insira a penalidade por uma resposta incorreta (por exemplo, -1).
      • No campo Recompensa por resposta correta, insira a pontuação de uma resposta correta (por exemplo, 1).
      • Em Tipo de expressão de correspondência de string, selecione Correspondência de string ou Correspondência de JSON.
      • Na lista suspensa Operação de correspondência, selecione a lógica de correspondência (por exemplo, Correspondência exata).
      • No campo Expressão, insira a expressão de referência (por exemplo, references.reference).

    4. No campo Peso da recompensa, insira o peso relativo dessa função de recompensa (por exemplo, 1).

    5. Clique em Concluído.

    6. Opcional: para definir uma recompensa composta, clique em + Adicionar outra recompensa e configure outras funções de recompensa. É possível adicionar até 16 funções de recompensa e atribuir pesos relativos a cada uma delas.

    7. Clique em Continuar.

  5. Na seção Teste de recompensa (opcional), valide a configuração de recompensa antes de iniciar o job de ajuste:

    1. No campo Exemplo de treinamento, insira um objeto JSON de amostra que contenha contents e references.
    2. No campo Exemplo de resposta do modelo, insira uma resposta candidata ou clique em Gerar com base no exemplo de treinamento para gerar um exemplo de resposta usando o modelo de base.
    3. Clique em Testar.
    4. Verifique se a avaliação foi bem-sucedida e confira a pontuação calculada. Se você estiver usando recompensas compostas, clique em Ver informações de recompensas individuais para inspecionar o detalhamento da pontuação por recompensa.
    5. Clique em Continuar.

  6. Em Conjunto de dados de ajuste, especifique os arquivos do conjunto de dados armazenados no Cloud Storage:

    1. No campo Conjunto de dados de treinamento, insira o URI do Cloud Storage do arquivo JSONL do conjunto de dados de treinamento (por exemplo, gs://path/to/my/training_dataset.jsonl).
    2. No campo Conjunto de dados de validação, insira o URI do Cloud Storage do arquivo JSONL do conjunto de dados de validação (por exemplo, gs://path/to/my/eval_dataset.jsonl).
    3. Clique em Iniciar ajuste.

Verificar o status do job de ajuste do aprendizado por reforço

Depois de clicar em Iniciar ajuste, o console vai redirecionar você para a página Modelos > Ajuste. A tabela de jobs de ajuste mostra o job recém-criado perto da parte de cima da lista com os seguintes detalhes:

  • Nome do modelo: o nome de exibição especificado para o modelo ajustado.
  • Status: o estado atual do job de ajuste (como Pendente, Em execução ou Concluído).
  • Método: Reinforcement Learning.
  • Modelo de base: o modelo de fundação ou pré-ajustado.
  • Região: o local em que o job de ajuste está sendo executado.

Clique no nome do modelo para abrir a página de detalhes do job de ajuste. A página oferece as seguintes guias:

  • Monitor: mostra o progresso do ajuste e gráficos de métricas interativos:
    • Progresso do ajuste: mostra se o job está em execução ou foi concluído.
    • Gráficos combinados: quando um conjunto de dados de validação é fornecido, as curvas de treinamento e validação (como /train_mean_reward e /eval_mean_reward) são representadas juntas nos mesmos gráficos.
    • Grupos de gráficos recolhíveis: os gráficos de métricas são organizados em grupos, incluindo métricas gerais de ajuste (recompensa média, comprimento do token de geração, comprimento do token de raciocínio, latência de amostragem e latência de recompensa) e métricas por recompensa com o prefixo ${reward_name}.
    • Anotações de checkpoint: os checkpoints intermediários salvos durante o ajuste são anotados diretamente nos gráficos ao longo da linha do tempo de treinamento.
    • Barra de filtro: use a barra de filtro para pesquisar métricas por nome ou filtrar por categoria (Show Category). Quando filtrada, a barra de filtro permanece fixa na parte de cima da visualização.
    • Tabela de checkpoints: lista os checkpoints intermediários salvos com números de etapas e valores de métricas. Use o seletor de colunas para escolher quais colunas mostrar.
  • Conjunto de dados: mostra detalhes do conjunto de dados, exemplos de conversas e valores de referência.
  • Detalhes: resume a configuração do job, incluindo o modelo de base, o método de ajuste, os hiperparâmetros e as configurações de recompensa. Clique em Ver detalhes em um card de configuração de recompensa para conferir valores de parâmetros não padrão.

Para conferir a lista completa de métricas emitidas e como interpretá-las, consulte a página Métricas e monitoramento.

Tempo de treinamento

O tempo de treinamento é afetado pelos seguintes fatores:

Dependendo da sua configuração, um trabalho de ajuste fino de aprendizado por reforço do Gemini pode levar de horas a dias.

Receber o endpoint do modelo ajustado

Depois que o job de ajuste atingir o status Concluído, o ponto de verificação do modelo será implantado em um endpoint. É possível conferir e gerenciar o modelo ajustado implantado diretamente no console do Google Cloud :

  1. No cabeçalho da página de detalhes do job de ajuste, clique em Ver detalhes do modelo. A página Model Registry é aberta com detalhes sobre o modelo ajustado.
  2. Na página de detalhes do modelo, encontre a guia Implantar e testar para conferir o caminho do recurso do endpoint implantado (no formato projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}).
  3. Outra opção é, na guia Monitorar da página de detalhes do job de ajuste, localizar a tabela Checkpoints para inspecionar os checkpoints intermediários. É possível implantar e avaliar checkpoints individuais de forma independente.

Se o job de ajuste foi executado em us-central1, o modelo ajustado será veiculado no endpoint multirregional us.

Executar inferência no modelo ajustado

Para testar e executar a inferência no modelo ajustado diretamente no console doGoogle Cloud , faça o seguinte:

  1. No cabeçalho da página de detalhes do job de ajuste, clique em Testar.

    O Agent Studio abre com seu modelo ajustado pré-selecionado.

  2. No campo de comando, digite um comando de entrada (por exemplo, "Why is the sky blue?" ou uma pergunta do seu domínio de destino).

  3. Clique em Executar (ou Enviar) para gerar uma resposta.

  4. Analise a saída gerada para avaliar se o modelo segue o estilo de raciocínio, a formatação e os objetivos de recompensa desejados.

A seguir