Quem verifica os verificadores? Pesquisa mostra que votação por maioria entre LLMs falha sistematicamente contra evidência manipulada
O artigo prova formalmente que qualquer protocolo que decida apenas pela saída de múltiplos avaliadores LLM independentes, exigindo sempre um veredito, nunca consegue rejeitar afirmações inválidas nem aceitar válidas com probabilidade garantida — porque avaliadores do mesmo modelo tendem a falhar juntos e páginas web recuperadas podem manipular quem as lê. A solução proposta, Astral, reduz o sucesso de ataque de 54,7-77,8% (votação por maioria) para 21,5-53,1%, ao custo de deixar entre 16% e 62% dos casos sem veredito automático.
Fonte ↗