Quem verifica os verificadores? Pesquisa mostra que votação por maioria entre LLMs falha sistematicamente contra evidência manipulada
O artigo prova formalmente que qualquer protocolo que decida apenas pela saída de múltiplos avaliadores LLM independentes, exigindo sempre um veredito, nunca consegue rejeitar afirmações inválidas nem aceitar válidas com probabilidade garantida — porque avaliadores do mesmo modelo tendem a falhar juntos e páginas web recuperadas podem manipular quem as lê. A solução proposta, Astral, reduz o sucesso de ataque de 54,7-77,8% (votação por maioria) para 21,5-53,1%, ao custo de deixar entre 16% e 62% dos casos sem veredito automático.
À medida que LLMs passam a decidir se uma evidência da web sustenta ou não uma afirmação — por exemplo, em sistemas de verificação de fatos automatizada ou agentes que precisam confiar em conteúdo recuperado da internet —, a prática comum é usar vários avaliadores LLM e decidir por votação, presumindo que os erros de cada avaliador são independentes e inofensivos. O artigo começa com uma prova formal incômoda: mesmo para avaliadores verdadeiramente independentes, qualquer protocolo que decida só a partir das saídas deles e seja obrigado a sempre produzir um veredito nunca consegue garantir, com probabilidade positiva, nem rejeitar afirmações inválidas nem aceitar as válidas. Ou seja, o problema não é só prático — é estrutural ao desenho de votar e sempre decidir.
Na prática, a situação é pior: na web aberta, a própria página recuperada pode conter conteúdo desenhado para manipular o avaliador que a lê (uma forma de prompt injection via conteúdo de terceiros), e avaliadores derivados do mesmo modelo-base tendem a cometer o mesmo tipo de erro simultaneamente — quebrando a suposição de independência que justifica votação por maioria em primeiro lugar. Para resolver isso, os autores propõem o Astral, um protocolo inspirado em tolerância a falhas bizantinas: todos os avaliadores são fixados a um único snapshot já comprometido (commitado) da evidência web, de forma que não possam divergir sobre qual versão da página estão avaliando. Um veredito só é aceito quando pelo menos 2f+1 avaliadores (sendo f o número tolerado de avaliadores defeituosos ou comprometidos) atestam o mesmo veredito acima de um limiar de confiança, e nenhum desafio assinado contrário permanece sem resposta.
Em cinco benchmarks públicos, com dois de sete avaliadores atuando como adversários, o Astral reduziu o sucesso do ataque para a faixa de 21,5% a 53,1%, contra 54,7% a 77,8% obtidos por votação majoritária simples — uma melhora substancial, mas longe de eliminar o problema. O preço dessa robustez é cobertura: sem ataque ativo, apenas entre 16,0% e 61,7% das afirmações recebem um veredito binário automaticamente; o restante fica marcado como disputado e precisa de auditoria adicional, presumivelmente humana.
O trabalho é relevante para qualquer sistema que use LLM como juiz sobre conteúdo não confiável — moderação automatizada, verificação de fatos, triagem de evidência em pipelines de segurança — porque mostra, com prova e com números, que a prática comum de rodar o mesmo julgamento várias vezes e votar dá uma falsa sensação de robustez quando o adversário pode influenciar o material lido pelos próprios juízes. Trocar robustez por cobertura (aceitar que uma fração dos casos fique sem veredito automático) é apresentado como o preço necessário para ter garantias reais contra esse tipo de manipulação, não como um efeito colateral indesejado.