O objetivo de otimização representa o único número que o AlphaEvolve maximiza durante cada geração. Antes de escrever qualquer código de avaliador, responda a estas três perguntas:
Qual valor esse número representa?
Como o sistema o calcula?
Onde a computação é executada?
O AlphaEvolve exige estritamente uma computação de destino automatizada e programática para cada solução candidata, sem intervenção humana. Essa automação torna o problema adequado para o AlphaEvolve. Se uma pessoa precisar julgar a qualidade de uma solução manualmente, o AlphaEvolve não poderá pesquisar nela.
Use as considerações a seguir para estimar a performance de uma solução candidata gerada nos diferentes objetivos de otimização e restrições de validação:
- Os objetivos de otimização podem ser calculados diretamente usando a lógica de negócios ou de produtos, sem a necessidade de medição empírica?
- Os objetivos de otimização podem ser medidos diretamente executando testes de performance e carga no código da solução gerada?
- Os objetivos de otimização podem ser estimados usando funções substitutas determinísticas estabelecidas e métodos de simulação confiáveis?
- Os objetivos de otimização podem ser estimados projetando uma função substituta personalizada (como um modelo preditivo ou outro estimador não determinístico) que exige ajuste em observações empíricas e validação em dados fora da amostra?
Etapas principais para quantificar seu destino
Siga uma abordagem estruturada para garantir que o AlphaEvolve tenha um ciclo de feedback confiável e automatizado para orientar a pesquisa. Conclua as etapas a seguir para estabelecer sua métrica, definir como ela é medida e determinar onde a execução ocorre.
1. Expresse o destino como uma única pontuação que aumenta à medida que as soluções melhoram
Configure sua métrica de otimização principal para escalonar linear ou monotonicamente com ganhos de performance reais para que o caminho de pesquisa tenha um gradiente direcional claro.
Maximização escalar: o AlphaEvolve sempre maximiza um valor escalar. Converta o que você considera importante em um único número em que quanto maior, melhor. Para minimizar a latência, o custo ou o erro, negue-o:
score = -latency_msMonotonicidade: a pontuação precisa ser monotônica, ou seja, aumentar sempre que a solução realmente melhorar. Uma pontuação que se move de forma inconsistente não dá à pesquisa nenhuma direção para subir.
Execução determinística: a pontuação é calculada no avaliador, nunca pelo LLM e nunca por uma pessoa. Calcule-o de forma determinística para que o mesmo candidato sempre receba a mesma pontuação.
Análise conjunta para metas subjetivas: se você não conseguir escrever uma fórmula de pontuação, mas puder comparar duas soluções visualmente, crie uma com análise conjunta. Gere pares de saídas candidatas, peça a um especialista no domínio para escolher a melhor em cada par, ajuste uma regressão logística nessas escolhas e use o modelo ajustado como métrica. Isso transforma o julgamento subjetivo em uma pontuação determinística e diferenciável. Não use uma rubrica LLM bruta como a pontuação ao vivo porque ela é lenta, ruidosa e rápida para recompensar hacks. Primeiro, destile-a em uma função fixa.
2. Escolha como a pontuação é calculada
A maneira como você produz o número depende do que está medindo. Escolha o método na tabela que corresponde ao seu objetivo. Quase todas as implantações reais usam um desses quatro métodos, e muitas combinam dois: um método barato para impulsionar a pesquisa e um caro para confirmar os vencedores.
| Método de medição | Use quando o destino for… | Como a pontuação é produzida | O que é necessário para executar |
|---|---|---|---|
| Cálculo direto | Uma quantidade que pode ser calculada de forma fechada na saída do candidato usando a lógica de negócios ou de produtos | O avaliador executa o candidato e aplica uma fórmula (soma, proporção, contagem, custo) | O próprio processo do controlador, sem infraestrutura extra |
| Teste de performance ou carga | O tempo de execução, a taxa de transferência ou a memória do próprio código do candidato | Execute o candidato em hardware representativo e meça-o. Primeiro, verifique a correção | O hardware de destino (GPU, TPU ou CPU); aquecimento e melhor de N para reduzir o ruído de tempo |
| Substituto / simulação determinística | Caro ou ruidoso para medir diretamente, mas um proxy confiável ou uma repetição de condições reais existe | Calcule um proxy determinístico ou repita cenários operacionais fixos e semeados | Qualquer ambiente; totalmente reproduzível com sementes fixas |
| Validação fora da amostra | A qualidade de um modelo ou pipeline de dados que o candidato produz | Treine/ajuste o candidato e, em seguida, pontue-o em dados retidos ou recém-gerados | Sua pilha de treinamento/avaliação; uma divisão estrita de treinamento x validação; revalide os vencedores no conjunto retido |
Para mais informações, consulte o anúncio do AlphaEvolve no Google Cloud blog.
Se nenhum deles puder produzir um número automaticamente, o problema ainda não estará pronto para o AlphaEvolve. A tarefa principal é construir um substituto ou simulação que possa.
3. Processar várias metas e restrições
Os objetivos reais geralmente misturam várias preocupações. Use uma das duas maneiras a seguir para processá-los:
Mistura escalar (mais simples, recomendada para começar): redimensione cada métrica para um intervalo comparável, negue qualquer uma que você minimize e adicione-as: score = w1*A - w2*L - w3*M.
Prefira somas aditivas a proporções como A/(L⋅M), que são numericamente instáveis.
Retorne um dicionário de pontuações nomeadas: permita que o AlphaEvolve as otimize em conjunto. O avaliador pode retornar várias métricas nomeadas em vez de um número:
```JSON
{
"scores": [
{"metric": "accuracy", "score": 0.95},
{"metric": "latency_ms", "score": -120.0}
]
}
```
Quanto maior, melhor para cada um, então negue tudo o que você minimizar. Isso aciona uma pesquisa multi-objetivo genuína, não apenas relatórios: o banco de dados da população mantém o melhor programa por métrica (MAP-Elites), mantém uma fronteira de Pareto nas métricas e amostra pais de forma diversificada nas diferentes métricas. Ele também pode extrair pais diretamente da fronteira de Pareto quando essa amostragem está ativada. Uma única pontuação de manchete ainda impulsiona a subida de montanha relatada, mas cada métrica retornada molda a pesquisa.
Mantenha de 3 a 5 métricas: com muitas métricas, a dominância de Pareto se degenera. Quase todos os programas não são dominados em algo e a pesquisa se perde. Agregue ou descarte métricas além desse limite.
Isolar a correção e a viabilidade: mantenha a correção como um portão rígido, não como parte da função de recompensa. Um candidato errado ou inviável recebe uma pontuação de falha, independentemente da rapidez ou do custo. Essa é a principal defesa contra o agente que joga sua métrica.
Otimização de restrições: mantenha um objetivo como uma restrição e otimize o outro, aplicando uma penalidade quando a restrição for violada. A execução desse fluxo de trabalho em vários níveis de restrição traça a frente de Pareto.
4. Decida onde o avaliador é executado
O AlphaEvolve nunca executa seu avaliador diretamente. Ele propõe programas candidatos e recebe pontuações. Você hospeda e executa o código que calcula a pontuação. O ambiente é totalmente sua escolha, e um candidato que não pode ser executado Google Cloud não é um bloqueador. Você executa o avaliador onde o objetivo pode ser medido e envia a pontuação de volta.
Para garantir uma implantação eficiente e segura, alinhe sua infraestrutura de computação com sua estratégia de medição específica, respeitando os limites de execução universais. Use as diretrizes a seguir para selecionar seu ambiente de execução e entender os limites operacionais principais que se aplicam a todas as configurações.
Corresponder o ambiente de execução ao método de medição
Cálculo direto ou substituto: o próprio processo do controlador ou um único contêiner do Cloud Run.
Teste de performance ou carga: o hardware de destino, como um nó de GPU ou TPU no GKE, seu próprio hardware local ou personalizado ou uma ferramenta de terceiros ou ISV (por exemplo, um simulador de EDA ou Verilog).
Validação fora da amostra ou jobs pesados: sua pilha de treinamento distribuída no Cloud Run ou no GKE ou descarregada para Google Cloud lote usando o Cluster Toolkit para grandes cargas de trabalho de HPC ou acelerador.
Dois limites se aplicam independentemente do ambiente
Procure manter cada avaliação em aproximadamente 10 minutos ou menos para que o loop evolutivo continue se movendo. Para objetivos caros, use uma cascata de avaliação, uma verificação em cada candidato, executando a avaliação completa apenas para os promissores.
Você é o proprietário da rede, da segurança e dos controles de acesso do avaliador. O AlphaEvolve não implanta nem gerencia o avaliador, no local Google Cloud ou em qualquer outro lugar.
Depois de decidir sobre a métrica, como calculá-la e onde ela é executada, consulte os padrões de implementação do avaliador para saber como estruturar o avaliador.