MetaVul: um framework que otimiza automaticamente agentes de IA para detectar vulnerabilidades
MetaVul automatiza a melhoria do “harness” — o código de scaffolding que estrutura como um agente de IA raciocina e decide — usado na detecção de vulnerabilidades, em vez de depender de ajustes manuais fixos. Em testes, os harnesses otimizados aumentaram a acurácia de detecção pareada (função vulnerável vs. corrigida) em até 23 a 26 pontos percentuais, e parte do ganho obtido com um modelo se transferiu para outros modelos nunca usados na otimização.
A capacidade dos LLMs subjacentes a agentes de detecção de vulnerabilidades melhorou bastante nos últimos anos, mas o desempenho prático desses agentes continua limitado pelo harness — o scaffolding de raciocínio estruturado que decide como o agente examina o código, o que ele considera evidência de uma falha e como formata o veredito final. Esse harness costuma ser escrito manualmente e fica congelado, o que faz com que melhorias observadas em um dataset ou modelo não se repitam necessariamente em outro.
O MetaVul ataca esse problema tratando o próprio harness como algo a ser otimizado: partindo de um scaffold inicial de raciocínio estruturado, um loop de otimização baseado em workflow refina iterativamente o harness usando como sinal de feedback pares de funções vulneráveis e suas versões corrigidas, preservando o formato de raciocínio e veredito. A cada iteração, o sistema busca na própria história de harnesses testados — com acesso a trajetórias, logs e métricas anteriores — e retorna um conjunto de harnesses Pareto-ótimos, em vez de uma única solução fixa.
Os ganhos reportados — até 23,3 pontos percentuais no conjunto de validação e até 25,8 pontos no conjunto totalmente oculto — e a transferência de 14,7 pontos para modelos não usados na otimização sugerem que parte considerável do desempenho de um agente de detecção de vulnerabilidades vem do desenho do scaffolding, e não só da capacidade bruta do modelo por trás dele.
Isso é relevante tanto para quem defende quanto para quem ataca: harnesses de detecção melhores aceleram a triagem de vulnerabilidades em auditorias e revisões de código em larga escala, mas a mesma técnica de descoberta automática de harness, sendo dual-use por natureza, poderia em princípio ser adaptada para acelerar a busca por bugs exploráveis do lado ofensivo — o resultado é promissor para defesa automatizada, mas o conjunto de validação (202 e 430 pares de função) ainda está longe da complexidade de uma base de código real em produção.