'Lavagem de autorizacao endogena': memoria de agentes de IA pode criar permissoes falsas sem nenhum ataque externo
Pesquisadores descrevem e medem a 'lavagem de autorizacao endogena' (endogenous authorization laundering), uma falha em que a propria memoria persistente de um agente de IA registra incorretamente permissoes que nunca foram concedidas, levando o agente a agir como se estivesse autorizado. No benchmark EAL-Bench, modelos atuando como 'escritores' de memoria geraram autoridade falsa em ate 50,2% das solicitacoes indevidas, e modelos atuando como 'executores' agiram sobre essa autoridade falsa em 98,6% dos casos.
Agentes de IA de longa duracao dependem de memoria persistente para manter estado entre sessoes de interacao -- isso inclui nao apenas fatos sobre o usuario, mas tambem o proprio historico de concessoes, restricoes e revogacoes de permissao. O artigo identifica um modo de falha ate entao pouco caracterizado: quando esse processo de escrita e consolidacao de memoria erra, o agente pode passar a acreditar, com base em seus proprios registros, que uma acao foi autorizada quando na verdade nunca foi. Os autores chamam isso de 'lavagem de autorizacao endogena' porque nao ha nenhum atacante externo manipulando o sistema -- a falsa autoridade nasce internamente, a partir de erros normais de escrita ou resumo de memoria, e sua origem se perde ('lava-se') no processo.
Para medir o fenomeno de forma sistematica, os autores criam o EAL-Bench, que avalia com que fidelidade a memoria persistente preserva o estado real de autorizacao ao longo de atualizacoes incrementais, e se os erros que surgem nesse processo se propagam ate acoes efetivamente executadas sem autorizacao legitima. O benchmark testa cinco LLMs no papel de 'escritores' de memoria e dois LLMs no papel de 'executores' de acoes, em tres dominios distintos: compras corporativas (procurement), seguranca cibernetica e financas.
Os numeros sao alarmantes: sob atualizacoes incrementais de memoria, os modelos escritores criaram autoridade falsa para ate 50,2% das solicitacoes que deveriam ter sido negadas. E mais grave ainda, uma vez que essa falsa autoridade ja esta registrada na memoria, os modelos executores agiram sobre ela em 98,6% dos casos -- ou seja, praticamente sem checagem adicional, o executor confia cegamente no que a memoria diz, mesmo quando esse registro nao reflete o historico real de eventos de autorizacao.
Os autores testam duas mitigacoes: exigir que toda permissao armazenada seja rastreavel a um evento de origem valido, e usar 'event sourcing' com escopo limitado para rastrear mudancas de permissao ao longo do tempo. Ambas reduzem substancialmente o problema, mas tambem aumentam a rejeicao de acoes legitimas, expondo um tradeoff real entre seguranca e utilidade. O resultado pratico e um alerta importante para quem projeta agentes com memoria persistente e capacidade de agir com privilegios elevados (compras, infraestrutura, dados financeiros): a memoria nao e apenas um componente de desempenho, mas efetivamente parte da politica de autorizacao do agente, e deve ser tratada com o mesmo rigor de auditoria que se aplicaria a um sistema de controle de acesso tradicional.