Pesquisa mostra que a escolha do grader de IA pode distorcer em até 25x a taxa de sucesso de jailbreak reportada
Mantendo fixos o modelo-alvo, os prompts e as respostas, os autores variam apenas o grader de IA usado para julgar se um jailbreak teve sucesso e mostram que três graders de 8 a 9 bilhões de parâmetros colapsam sistematicamente respostas que deveriam ser classificadas como 'compliance' na classe vizinha de 'evasão', um deles nunca atribuiu o rótulo de compliance em 900 respostas avaliadas. Esse colapso de classe faz a taxa de sucesso de jailbreak reportada variar por um fator de 22 a 25 dependendo apenas de qual grader foi usado para medir o mesmo conjunto de respostas.
Fonte ↗