Quando um detector mente: agentes de IA que triam alertas de segurança colapsam diante de ferramentas corrompidas

Centros de operação de segurança modernos combinam vários detectores — assinaturas, modelos de anomalia, classificadores de machine learning — e cada vez mais usam um agente LLM para consolidar os veredictos individuais em uma decisão final de triagem. Esse desenho tem uma premissa implícita e raramente testada: que as ferramentas de entrada são confiáveis. O trabalho pergunta o que acontece quando essa premissa falha — quando o próprio dado de telemetria que alimenta o agente está errado ou foi manipulado.

Usando o dataset CIC-IDS2017 corrigido e quatro detectores heterogêneos, os autores corrompem rótulos e níveis de confiança sob diferentes condições controladas — quantos dos quatro detectores estão comprometidos, por quanto tempo a corrupção persiste, e com que grau de confiança falsa as saídas erradas são apresentadas. Em modelos open-weight de 3B a 14B parâmetros, o resultado é claramente frágil: um detector corrompido já é suficiente para derrubar a acurácia de investigadores LLM não verificados para a faixa de 0,50 a 0,72, e três detectores corrompidos levam essa acurácia a 0,13 ou menos — pior ainda, a simples divergência honesta entre detectores já faz os investigadores se absterem de decidir em até 63% dos fluxos analisados.

O CAV ataca o problema deslocando a confiança das ferramentas individuais para um mecanismo de verificação: um voto de peso igual que ignora a confiança declarada por cada detector, um “portão” que identifica quando há conflito de evidência entre eles, e uma verificação independente por vizinho mais próximo, acionada apenas para os casos mais ambíguos — o que representa apenas 0,4% do tráfego limpo, mantendo o custo computacional baixo. Com o prompt congelado antes dos testes, essa combinação restaura acurácia de 0,84 a 0,88 mesmo com três de quatro detectores corrompidos.

Na prática, o colapso para 0,13 é um número de impacto direto para qualquer operação de segurança que já delega parte da triagem a um agente de IA: significa que um atacante capaz de manipular a maioria das ferramentas de telemetria upstream — comprometendo um agente de EDR, falsificando logs ou envenenando um dos detectores do pipeline — pode efetivamente cegar o agente de triagem sem nunca atacar o LLM diretamente. Os próprios autores, porém, são honestos sobre o limite da solução: se o canal de verificação independente do CAV também ficar ruidoso ou for corrompido, o sistema herda esse erro, permanecendo melhor que a linha de base quando dois ou mais detectores estão comprometidos, mas perdendo para uma abordagem mais simples de adicionar mais um “votante” quando no máximo um detector está comprometido — não existe bala de prata, apenas um ponto de equilíbrio que precisa ser calibrado ao ambiente real.