Benchmark MemForm revela vulnerabilidade generalizada de agentes de IA a envenenamento de memória de longo prazo
O MemForm é um benchmark diagnóstico que isola cinco interfaces distintas pelas quais a memória persistente de um agente de IA pode ser manipulada por um adversário — conteúdo, evidência, escopo, seleção e ordem de consolidação. Testes em seis LLMs mostram suscetibilidade ampla em todas as cinco interfaces, e revelam que até mesmo experiências legítimas e bem-sucedidas podem produzir comportamento indesejado dependendo apenas da ordem em que são consolidadas na memória.
Agentes de IA com memória de longo prazo guardam registros de interações passadas para melhorar seu desempenho ao longo do tempo, mas essa própria capacidade cria uma superfície de ataque: se um adversário conseguir influenciar o que é gravado, como é gravado, ou em que ordem é consolidado, ele pode moldar o comportamento futuro do agente sem nunca precisar atacar o modelo em si. Trabalhos anteriores já catalogavam ataques de envenenamento de memória por canal (como a informação maliciosa entra) ou por estágio do ciclo de vida, mas não haviam caracterizado sistematicamente as interfaces específicas pelas quais a formação da memória acontece.
O MemForm formaliza esse problema definindo cinco interfaces de formação de memória: envenenamento de conteúdo (o que é gravado), de evidência (os dados de suporte que justificam a gravação), de escopo (os limites do que conta como relevante), de seleção (quais experiências são retidas versus descartadas) e de caminho (a ordem em que memórias retidas são consolidadas). As duas últimas — seleção e caminho — são introduzidas como categorias de intervenção controlada que isolam, respectivamente, os efeitos de retenção e de ordem de consolidação, algo que benchmarks anteriores não conseguiam separar.
Avaliando seis LLMs diferentes sob dois formatos de resposta, com condições pareadas de limpo versus envenenado e controles específicos para cada interface, os autores encontram suscetibilidade ampla nas cinco interfaces, em todos os modelos testados. O achado mais contraintuitivo é que experiências genuínas e bem-sucedidas — ou seja, sem qualquer conteúdo malicioso — ainda podem gerar comportamento indesejado do agente apenas por mudanças no suporte contextual, na retenção ou na ordem de consolidação da memória; a ordem de consolidação por si só já altera o comportamento, mesmo quando o conjunto de experiências retidas é idêntico.
Isso é relevante na prática porque mostra que proteger a memória de um agente de IA não se resume a filtrar conteúdo malicioso na entrada (o equivalente a um firewall de prompt injection): é preciso também proteger o próprio processo e a arquitetura de formação da memória, incluindo decisões de engenharia aparentemente neutras como a ordem de consolidação. As defesas avaliadas pelos autores oferecem mitigação apenas parcial e variável por interface, o que sugere que esse é um problema de segurança ainda sem solução estabelecida para agentes de IA que operam com memória persistente em produção.