Estudo encontra ataque que deixa todos os monitores de aprovação de IA vulneráveis a falha correlacionada

O trabalho ataca um pressuposto comum em arquiteturas de segurança que usam múltiplos agentes de IA como camada de verificação antes de uma ação consequente — como pagar uma fatura, enviar uma mensagem ou alterar código: a suposição de que combinar vereditos de vários monitores independentes aumenta a segurança por diversificação. O autor mostra que essa suposição falha quando os monitores compartilham uma origem comum de risco, seja o mesmo modelo base, seja a mesma fonte de evidência potencialmente manipulada por um atacante — um fenômeno emprestado da literatura de sistemas distribuídos sobre “conjuntos de falha correlacionada”, aqui aplicado a conjuntos de monitores de IA que podem falhar juntos.

Tecnicamente, o estudo testou doze monitores pequenos de código aberto sob dois protocolos pré-registrados, e, fora do pré-registro, também avaliou três modelos de fronteira fechados (Claude Opus 5.5, GPT-6 Astra e Gemini 4 Argon) e o DeepSeek-V3.2 aberto, todos atuando como aprovadores de pagamento. Um achado central é a assimetria entre os dois tipos de erro: enganar um monitor para aprovar uma fraude dependia apenas de uma fonte de evidência manipulada, e esse engano só se propagava aos leitores daquela fonte específica; já enganar um monitor para bloquear um pagamento correto exigia resistência a instruções plantadas nos próprios dados sob análise — e aqui os modelos pequenos e o DeepSeek obedeceram a essas instruções maliciosas embutidas, enquanto os três modelos fechados as ignoraram em quase todos os casos testados.

O resultado mais contundente, porém, veio de um teste de pior caso pré-registrado: um único ataque conseguiu forçar todos os aprovadores a convergir para a mesma fonte de evidência contaminada, de modo que nenhuma regra de agregação testada sobre os doze monitores — nem contagem de votos, nem contagem de fontes distintas — sobreviveu a esse cenário específico. Isso demonstra que, mesmo com modelos distintos e regras de combinação cuidadosamente desenhadas, a independência estatística assumida entre “votos” de diferentes LLMs pode ser ilusória quando o atacante controla a fonte de dados compartilhada por todos eles.

Na prática, o remédio proposto pelo autor é revelador: adicionar um motor de regras determinístico, que por definição não pode ser persuadido por texto malicioso, restaurou a condição de segurança e utilidade nos ataques medidos — uma contagem baseada em número de fontes distintas de evidência, em vez de número de votos de monitores, também reduziu bloqueios indevidos de 7,4% para 0,9% mantendo o mesmo nível de segurança. A lição para quem está desenhando arquiteturas de “IA aprovando IA” em fluxos financeiros ou de execução de código é que modelos de linguagem, por mais capazes que sejam individualmente, não substituem verificação determinística quando o adversário controla a entrada compartilhada por todos os verificadores.