Pesquisa mostra que a escolha do grader de IA pode distorcer em até 25x a taxa de sucesso de jailbreak reportada

Praticamente todo artigo sobre jailbreak reporta uma taxa de sucesso de ataque como se fosse uma propriedade objetiva do modelo-alvo testado. Este trabalho desafia essa premissa isolando uma variável que normalmente passa despercebida: em vez de mudar o modelo, os prompts ou as respostas, os autores mantêm todos esses elementos fixos e trocam apenas o grader, o modelo de IA responsável por ler a resposta e decidir se ela constitui compliance, ou seja, se o pedido nocivo foi atendido, recusa, ou evasão, uma categoria intermediária, nem recusa clara nem atendimento claro.

O achado central é o que os autores chamam de colapso de classe: três graders densos de 8 a 9 bilhões de parâmetros, vindos de três famílias de modelos diferentes, reclassificam sistematicamente respostas que deveriam cair na classe compliance para a classe vizinha evasão. Um dos três graders avaliados chega a nunca atribuir o rótulo de compliance em 900 respostas julgadas, um resultado extremo que por si só já denuncia o problema sem precisar de rótulos humanos de referência, bastando observar a distribuição de contagens por classe que cada grader produz.

A consequência prática desse colapso é uma variação enorme na métrica final: a taxa de compliance reportada para o mesmo conjunto fixo de respostas difere por um fator de 22 a 25 dependendo apenas de qual grader foi escolhido para medir, e a taxa de não recusa varia entre 18 e 23 pontos percentuais. Quando os três graders problemáticos são removidos da comparação, essa variação cai drasticamente, para um fator de 1,7 a 2,8 na taxa de compliance, mostrando que o colapso de classe, e não uma discordância de julgamento normal e esperada entre avaliadores, é responsável pela maior parte da inconsistência observada entre estudos de jailbreak publicados.

Isso importa na prática porque toda a literatura de segurança de alinhamento de LLMs, comparações entre técnicas de ataque, entre defesas, entre modelos, depende dessa métrica para afirmar que uma abordagem é melhor que outra. Se o grader escolhido pode, isoladamente, inflar ou colapsar a taxa reportada por mais de 20 vezes, comparações entre artigos que usam graders diferentes perdem grande parte do seu valor. A proposta dos autores, reportar não só a taxa agregada, mas também as contagens por classe e a identidade nomeada do grader usado, é uma correção de baixo custo e sem necessidade de anotação humana adicional, que os autores argumentam deveria se tornar padrão mínimo de transparência nesse tipo de avaliação.