Benchmark CASE-Bench mostra que contexto de repositório prioriza funcionalidade sobre segurança no código gerado por IA
Um novo benchmark, o CASE-Bench, usa 145 tarefas derivadas de CVEs reais em 51 repositórios para medir como o contexto de repositório que agentes de codificação constroem automaticamente afeta a segurança — não apenas a correção funcional — do código que LLMs geram. Os autores mostram que o contexto hoje é otimizado quase exclusivamente para funcionalidade, e que isso tem um custo real: métodos de contexto que aumentam bastante a taxa de acerto funcional mal aumentam a taxa de código seguro, enquanto remover uma salvaguarda do contexto ou inserir um único exemplo de código inseguro já basta para piorar a segurança do código gerado.
Fonte ↗