Ulysses usa agentes de IA para gerar e verificar exploits web reais de ponta a ponta
Pesquisadores apresentam Ulysses, um harness de segurança multi-agente que não apenas gera exploits candidatos para vulnerabilidades web usando LLMs, mas também os verifica de forma independente observando efeitos concretos de execução, produzindo o que chamam de "Provas de Exploitabilidade". No benchmark WebExploitGym, com 25 aplicações reais em 5 linguagens e 7 frameworks, o sistema confirmou exploits verificados para 10 dos 25 avisos de segurança testados e descobriu 4 vulnerabilidades inéditas, nunca reportadas antes.
O problema central que o Ulysses ataca é bem conhecido por quem já tentou usar LLMs para pentest automatizado: um modelo de linguagem consegue gerar hipóteses plausíveis de exploração com relativa facilidade, mas tem dificuldade real em verificar de forma confiável se o exploit que ele mesmo gerou efetivamente funciona. Um LLM pode "alucinar" sucesso, interpretar mal uma resposta de erro como confirmação de exploração, ou simplesmente não ter mecanismos para observar efeitos colaterais reais no sistema-alvo. Ulysses resolve isso dividindo o trabalho entre múltiplos agentes especializados que operam de forma iterativa: um ciclo de exploração de hipóteses de ataque seguido por uma etapa de validação que exige evidência de efeito observado de forma independente, não apenas a opinião do próprio agente gerador sobre se o ataque funcionou.
O conceito central de "Proof of Exploitability" (PoE) é o que diferencia esse trabalho de ferramentas anteriores de geração de exploit por IA: em vez de produzir apenas um relatório textual afirmando que uma vulnerabilidade existe, o sistema produz uma prova executável e replicável, cujo sucesso é confirmado por efeitos observáveis e independentes — por exemplo, uma alteração de estado no servidor-alvo que só ocorreria se o exploit realmente tivesse funcionado. Essa arquitetura de verificação cruzada é o que permite ao Ulysses reportar resultados com confiança quantificável, em vez de depender da autoavaliação do próprio modelo gerador.
Os números do benchmark WebExploitGym — construído especificamente para este estudo com 25 instâncias reais exploráveis cobrindo 5 linguagens e 7 frameworks — mostram tanto o potencial quanto os limites atuais da abordagem: o sistema conseguiu produzir provas verificadas para 10 dos 25 avisos conhecidos (40%), e, mais notavelmente, descobriu 4 novas provas de exploitabilidade que nunca haviam sido relatadas, mesmo em aplicações que já haviam sido auditadas o suficiente para gerar os 25 avisos originais do benchmark.
Esse tipo de sistema se encaixa numa tendência de "agentic security research" que preocupa e interessa simultaneamente defensores e ofensores: a mesma capacidade que permite a uma equipe de segurança automatizar a descoberta e confirmação de vulnerabilidades em seus próprios sistemas antes de um atacante é, em essência, idêntica à capacidade que um atacante mal-intencionado precisaria para automatizar a descoberta de exploits contra sistemas de terceiros em escala. A publicação de frameworks como Ulysses — incluindo a descoberta de 4 vulnerabilidades inéditas em software real — acelera a maturidade dessa categoria de ferramentas de forma dual-use, reforçando a importância de equipes de segurança adotarem esse tipo de automação defensivamente antes que ela se torne padrão do lado ofensivo.