PrivacyEvalClaw usa um agente deliberativo para julgar com mais confiabilidade se um jailbreak vazou dados pessoais

Red teaming de privacidade em LLMs depende de alguém, ou algo, julgar se uma resposta obtida via jailbreak de fato revelou dados pessoais de alguém. Esse julgamento parece simples em casos óbvios, mas fica genuinamente difícil quando a divulgação é indireta — o modelo não cita o dado diretamente, mas fornece pistas suficientes para inferi-lo —, parcial, ou deliberadamente obfuscada. O artigo documenta empiricamente que avaliadores automáticos usados hoje para essa tarefa discordam entre si justamente nesses casos difíceis, o que é um problema sério porque esses avaliadores alimentam as métricas de "quão seguro" um modelo é considerado.

Em vez de pedir um julgamento único e isolado a um avaliador, o PrivacyEvalClaw opera como um agente deliberativo sem necessidade de treinamento adicional, que trata avaliadores de privacidade e módulos de análise auxiliares como ferramentas que ele próprio decide acionar: reúne evidência de forma adaptativa, investiga ativamente as divulgações mais ambíguas, por exemplo buscando confirmar se uma inferência indireta é realmente sustentada pelo texto, e reconcilia sinais conflitantes entre diferentes avaliadores antes de produzir o veredito final.

Em avaliações pareadas de trajetórias completas, com LLM-as-judge comparando processo e resultado final e não apenas a resposta isolada, o PrivacyEvalClaw venceu os baselines concorrentes tanto em qualidade do resultado quanto do processo de avaliação, e produz um rastro de raciocínio explícito que torna a avaliação auditável, em vez de uma caixa-preta que apenas devolve "vazou" ou "não vazou". Isso é relevante porque toda a indústria de red teaming de IA depende da confiabilidade desses avaliadores automáticos: se o avaliador erra sistematicamente em casos ambíguos, equipes de segurança podem estar subestimando ou sobrestimando o risco real de privacidade de um modelo sem perceber.