Pesquisador mapeia 13 pontos onde harnesses de descoberta de vulnerabilidades por IA descartam achados sem aviso
Gadi Evron mapeou 13 pontos de engenharia em que harnesses de descoberta de vulnerabilidades baseados em LLM podem descartar silenciosamente código ou achados reais, independentemente da capacidade do modelo subjacente. Ao examinar doze harnesses de código aberto, incluindo dois mantidos pelo próprio autor, ele mostrou que seis deles descartaram um mesmo arquivo de teste antes que o modelo chegasse a analisá-lo, cinco sem qualquer aviso de que isso havia ocorrido.
O artigo de Gadi Evron desloca o foco da discussão sobre confiabilidade de ferramentas de descoberta de vulnerabilidades por IA: em vez de perguntar se o modelo é bom o suficiente para encontrar uma falha, o autor pergunta se o harness — o código de engenharia que seleciona, filtra, armazena e funde achados em volta do modelo — chega a dar ao modelo a chance de ver aquele código em primeiro lugar. A tese central é que falsos negativos em ferramentas desse tipo frequentemente não têm origem na capacidade do modelo, mas em decisões de engenharia (e erros) tomadas antes ou depois da inferência, e que o relatório final geralmente não indica que esse descarte aconteceu.
Para demonstrar isso de forma concreta, o autor usou dois harnesses que mantém — OpenAnt (da Knostic) e raptor — e examinou outros dez harnesses de código aberto, mapeando 13 pontos distintos onde esse tipo de perda estrutural pode ocorrer, organizados em uma taxonomia. O teste mais contundente usou o próprio código-fonte de cada harness como caso de teste: seis dos doze harnesses examinados descartaram um único arquivo específico antes que seu modelo chegasse a processá-lo, e cinco desses seis fizeram isso sem qualquer indicação no relatório final de que uma parte do código havia sido omitida da análise — ou seja, o relatório aparenta cobertura completa quando não houve.
O artigo vai além de apontar bugs de engenharia: ele argumenta que, como essas regras de seleção e filtragem são conhecidas (ou descobríveis) por quem controla o código sendo analisado, um atacante pode deliberadamente formatar ou estruturar uma vulnerabilidade para que ela caia num dos 13 pontos de descarte do harness, escondendo-a de propósito — uma técnica que o autor relaciona explicitamente ao trabalho clássico de Ptacek e Newsham sobre evasão de detecção de intrusão, agora aplicado ao contexto de harnesses de IA para segurança. O trabalho também cobre vereditos manipuláveis por conteúdo e injeção de prompt como vetores adicionais de evasão nesse mesmo espaço de problema.
Na prática, essa pesquisa tem implicação direta para qualquer equipe de segurança que avalia ferramentas de SAST/DAST baseadas em LLM apenas pela taxa de detecção reportada em benchmarks: um harness pode anunciar boa cobertura mesmo tendo descartado, silenciosamente, partes inteiras da base de código antes de qualquer modelo analisá-la. O autor propõe princípios de design e testes específicos para harnesses que relatam com precisão o que de fato foi analisado — um requisito básico de integridade que, segundo o próprio estudo, falta hoje na maioria das implementações examinadas, inclusive nas duas mantidas por ele mesmo.