Benchmark CASE-Bench mostra que contexto de repositório prioriza funcionalidade sobre segurança no código gerado por IA
Um novo benchmark, o CASE-Bench, usa 145 tarefas derivadas de CVEs reais em 51 repositórios para medir como o contexto de repositório que agentes de codificação constroem automaticamente afeta a segurança — não apenas a correção funcional — do código que LLMs geram. Os autores mostram que o contexto hoje é otimizado quase exclusivamente para funcionalidade, e que isso tem um custo real: métodos de contexto que aumentam bastante a taxa de acerto funcional mal aumentam a taxa de código seguro, enquanto remover uma salvaguarda do contexto ou inserir um único exemplo de código inseguro já basta para piorar a segurança do código gerado.
Assistentes e agentes de codificação baseados em LLM não geram código a partir do pedido do usuário isoladamente — eles primeiro constroem um 'contexto de repositório', reunindo trechos de código, arquivos relacionados e convenções do projeto para informar a geração. Para código sensível à segurança, esse contexto é decisivo: ele determina se o modelo 'vê' as salvaguardas que o próprio projeto já implementa (como uma checagem de autorização existente) ou se vê, em vez disso, um trecho de código inseguro que termina sendo imitado. O problema identificado pelos autores é que a construção desse contexto é projetada quase exclusivamente visando corretude funcional, e os benchmarks de segurança de código existentes tratam o contexto como algo fixo, de modo que o efeito do contexto sobre a segurança nunca tinha sido medido de forma controlada.
Para isolar esse efeito, os autores construíram o CASE-Bench: 145 tarefas de nível de repositório derivadas de CVEs reais em 51 projetos, cada uma rodando em um container Docker, com testes funcionais e um exploit de prova de conceito validado nas duas direções (confirma-se tanto que o exploit funciona na versão vulnerável quanto que falha na versão corrigida). Usando esse benchmark, compararam 13 métodos diferentes de construção de contexto e 6 controles em 6 LLMs distintos, chegando a editar elementos isolados do contexto, como remover deliberadamente uma salvaguarda, para medir o efeito causal específico de cada peça de contexto.
Os números expõem a assimetria: contexto otimizado para funcionalidade eleva a taxa de acerto funcional em até 8,2 pontos percentuais, mas a taxa de código seguro sobe no máximo 3,7 pp — o ganho de funcionalidade não se traduz proporcionalmente em segurança. Pior, o efeito é facilmente revertido na direção errada: retirar do contexto uma salvaguarda que o próprio repositório já possuía reduz a taxa de código seguro em até 8,1 pp, e inserir um único exemplo de código inseguro no contexto já basta para aumentar em 6,3 pp a geração de código 'correto mas explorável'. Agregando tudo, os agentes de codificação só chegam a observar a salvaguarda de segurança relevante em 27% a 36% das trajetórias analisadas, o que ajuda a explicar por que times que usam agentes de codificação em repositórios reais continuam introduzindo vulnerabilidades mesmo quando o projeto já tem o padrão de mitigação certo documentado em algum lugar do próprio código — o agente simplesmente não está olhando para o lugar certo.