PrivacyEvalClaw usa um agente deliberativo para julgar com mais confiabilidade se um jailbreak vazou dados pessoais
O artigo mostra que diferentes avaliadores automáticos, entre guard models e LLM-as-judge, discordam significativamente ao julgar se uma resposta de jailbreak revelou informação pessoal, especialmente em casos de divulgação indireta, parcial ou disfarçada. Para resolver isso, os autores propõem o PrivacyEvalClaw, um agente que trata avaliadores e ferramentas de análise como instrumentos que ele mesmo escolhe acionar, investigando casos ambíguos antes de emitir um veredito final auditável.
Fonte ↗