Estudo com 24 configurações de modelo e harness mostra que nenhuma combinação sozinha cobre todas as vulnerabilidades encontradas por IA
Pesquisadores testaram 24 combinações de modelos de LLM e harnesses de agente contra uma base de código em produção com vulnerabilidades ainda não públicas, confirmando 265 causas-raiz de segurança distintas. Nenhuma configuração isolada cobriu todos os achados, e 14,3% das vulnerabilidades só foram encontradas por exatamente um modelo, enquanto contexto de engenharia (como grafos de chamada derivados do CodeQL) beneficiou muito mais modelos menores do que o modelo de fronteira.
O estudo, de Ganni Galea Curmi e Ben Wilde (aceito na conferência CAMLIS 2026), ataca uma pergunta prática para quem está adotando IA na descoberta de vulnerabilidades: o quanto o harness — o arcabouço de engenharia que envolve o modelo, incluindo prompts, ferramentas e contexto fornecido — importa, e será que esse efeito é igual para todos os modelos? Para responder, os autores combinaram triagem estática, investigação por LLM, autorrevalidação pelo próprio modelo, mapeamento de causa-raiz, revisão independente de código-fonte e confirmação isolada por prova de conceito, aplicando esse pipeline completo a uma base de código real em produção cujas vulnerabilidades eram desconhecidas publicamente no momento da varredura.
Os resultados numéricos são o ponto mais relevante: entre 265 causas-raiz de segurança confirmadas, mesmo a melhor combinação de duas execuções cobriu apenas 60,4% delas, e 14,3% dos achados só foram detectados por exatamente um modelo específico — ou seja, nenhuma configuração única, nem mesmo as mais robustas, encontra tudo. Em um experimento complementar com quatro modelos, passar de um prompt minimalista para um prompt mais elaborado, acrescido de um grafo de chamadas derivado do CodeQL, elevou o rendimento ponderado por criticidade entre 20% e 86% para modelos de porte pequeno e médio, contra apenas 2% de ganho para o modelo de fronteira — uma diferença que os autores isolam ainda mais, mostrando que o prompt engenheirado por si só já melhora todos os modelos, enquanto o contexto adicional do CodeQL só ajuda o modelo mais fraco do grupo.
Um achado secundário, mas relevante para quem decide orçamento de segurança, é que modelos de fronteira apresentam taxas baixas de falso-positivo, mas não necessariamente o maior rendimento absoluto de vulnerabilidades reais — e modelos mais baratos, com o contexto de engenharia certo, conseguem desempenho comparável a uma fração do custo. Isso desafia a suposição comum de que “modelo mais caro e mais capaz” é sempre a escolha certa para descoberta automatizada de vulnerabilidades, e sugere que o investimento em engenharia de contexto (harness) pode ser mais rentável do que simplesmente trocar de modelo.
Na prática, a conclusão central — que nenhuma configuração isolada cobre todas as vulnerabilidades e que combinar múltiplas configurações amplia a cobertura — tem implicação direta para quem está avaliando ferramentas de SAST/DAST baseadas em LLM: avaliar um único modelo ou harness contra uma base de referência pode subestimar seriamente a superfície de risco real, já que mais de um em cada sete bugs confirmados neste estudo só apareceu em uma única configuração testada. Isso sugere que programas de segurança que dependem de IA para descoberta de vulnerabilidades em produção se beneficiam de diversidade de modelos e harnesses operando em paralelo, em vez de uma aposta única.