Empilhar defesas de LLM não soma proteção como se pensava, mostra estudo sobre correlação de falhas

É comum na prática de segurança de LLM empilhar múltiplas camadas de defesa — um filtro de entrada, um classificador, um LLM-juiz, controles de acesso, monitoramento — na expectativa de que, mesmo que uma camada falhe, outra pegue o que passou. Matematicamente, esse ganho de 'ensemble' só se realiza sob uma condição raramente medida na literatura de segurança de LLM: as camadas precisam falhar em entradas diferentes umas das outras. Se todas tendem a falhar nas mesmas entradas, empilhar não reduz o risco de forma multiplicativa, só aumenta custo e fricção.

Os autores propõem duas ferramentas para tornar essa análise concreta. O Adversary Access-Tier Model (AATM) classifica o poder de um adversário do nível A0 (só acesso ao sistema) até A4 (influência sobre os dados de treinamento), e um modelo de custo separa defesas em cinco classes de overhead de inferência — sendo que duas dessas classes exigem treinar pesos ou ler ativações internas, o que também tiera o defensor de forma análoga ao adversário. A partir daí, dá para derivar formalmente como uma pilha deveria se comportar: cobertura satura dentro de um tier, custo cresce por classe, falsos positivos se acumulam como união, e o sucesso residual do ataque só cai multiplicativamente sob independência entre camadas.

O experimento central mediu justamente essa independência, rodando um único adversário adaptativo contra uma pilha real de sete camadas. Em todos os quinze pares de camadas mensuráveis, a correlação de falha foi positiva (φ entre 0,30 e 0,75), e o sucesso conjunto residual do ataque superou a previsão multiplicativa ingênua em até 0,172 — ou seja, a pilha protege bem menos do que a soma das partes sugeriria. Estratificando por dificuldade do comportamento alvo, boa parte dessa associação desaparece, indicando que a dependência é majoritariamente de causa comum (todas as camadas compartilham o mesmo modelo subjacente que estão protegendo), não um artefato da amostragem — e essa dependência sobreviveu a inferência por permutação, rótulos de juiz por maioria de votos e limiares calibrados externamente.

O efeito colateral mais imediato para quem opera esses sistemas: a mesma pilha de sete camadas recusa quatro em cada cinco prompts benignos, e seu desempenho de segurança fica estatisticamente indistinguível do de sua camada mais forte isolada — ou seja, o custo de fricção para usuários legítimos sobe muito sem um ganho de segurança proporcional. Como a dependência é arquitetural (as camadas correlacionam porque todas envolvem o mesmo modelo que estão tentando proteger), os autores apontam que aumentar a diversidade do conjunto de camadas não resolve o problema sozinho — a composição de uma pilha de defesas precisa ser medida ponta a ponta, não assumida a partir da diversidade nominal dos componentes.