Esta página apresenta a solução de HPC AlphaEvolve, que permite executar experimentos de otimização de código escalonáveis e em contêineres em Google Cloud.
O AlphaEvolve depende de um loop evolutivo iterativo: ele gera código candidato, mede a adequação do código e envia os resultados de volta para a API AlphaEvolve para orientar as próximas iterações. A solução de HPC AlphaEvolve implanta uma infraestrutura distribuída usando o Cluster Toolkit, o Batch e o Pub/Sub. Ela trata cada avaliação de candidato como um job isolado e efêmero que é executado em máquinas virtuais (VMs) em contêineres e com muitos recursos.
Quando usar a solução de HPC AlphaEvolve
Em vez de executar avaliações localmente ou em instâncias do Cloud Run, use a solução de HPC AlphaEvolve se a carga de trabalho não se ajustar aos ambientes padrão:
As avaliações demoram muito:os problemas de código são complexos e demoram muito para serem executados localmente ou excedem os limites de recursos e de execução de instâncias individuais do Cloud Run.
Você precisa de hardware especializado:as avaliações exigem aceleradores de hardware (como GPUs ou TPUs) ou famílias de máquinas HPC otimizadas para computação (como instâncias H3).
Você precisa de paralelismo em grande escala:você quer criar e avaliar várias realizações candidatas simultaneamente em ambientes isolados.
Você quer infraestrutura como código (IaC) : você quer uma configuração repetível e automatizada que simplifique a implantação e a remoção de clusters de alto recurso para economizar esforço e custo.
O que a solução de HPC AlphaEvolve oferece
A solução de HPC AlphaEvolve oferece um fluxo completo para a configuração, implantação e execução da infraestrutura necessária para problemas de otimização do AlphaEvolve:
Implantação da infraestrutura de base: use o Cluster Toolkit para implantar a infraestrutura de base necessária para executar otimizações. Nessa etapa, as APIs necessárias são ativadas, as contas de serviço são configuradas e um tópico do Pub/Sub e um ambiente de execução do Colab Enterprise são provisionados. Essa infraestrutura de base pode ser reutilizada para vários problemas de otimização.
Configuração do ambiente de software: configure e implante o ambiente de software para o problema de otimização específico.
Execução de experimentos: a inicialização, a interrupção e a análise de um experimento são feitas em um notebook Jupyter em execução no Colab Enterprise conectado ao ambiente de execução personalizado do Colab Enterprise.
Como o AlphaEvolve funciona
Depois de configurar e implantar a solução, o processo de otimização do AlphaEvolve é executado da seguinte maneira:
Geração: o controlador invoca a API AlphaEvolve (com tecnologia do Gemini) para propor candidatos de código com base em uma métrica de destino e execuções bem-sucedidas anteriores.
Avaliação: os candidatos são avaliados quanto à correção e performance em paralelo como jobs do Batch.
Armazenamento: os arquivos candidatos gerados, as revisões de código-fonte e as métricas de teste numéricas são arquivados em um bucket seguro do Cloud Storage. Como a solução de HPC AlphaEvolve armazena artefatos experimentais no bucket do Cloud Storage, é possível remover a infraestrutura quando ela não estiver em uso.
Feedback: os resultados e os registros de insights são enviados de volta para a API AlphaEvolve, permitindo que ela aprenda com sucessos e falhas e amostre de forma inteligente um código melhor na próxima geração.
A solução de HPC AlphaEvolve implanta os recursos conforme descrito
no diagrama de arquitetura a seguir.
Implantar a solução de HPC AlphaEvolve
Para implantar a infraestrutura de base, criar as imagens de contêiner e executar os experimentos de otimização, faça o seguinte:
- Acesse o repositório do GitHub da solução de HPC AlphaEvolve e siga as instruções.