Gerenciar memória de agentes de IA é um dilema: aceitar mudanças legítimas sem aceitar ataques
Agentes de IA com memória de longo prazo enfrentam um dilema estrutural: a mesma flexibilidade que permite atualizar um fato que mudou (evitando memória desatualizada) é a que permite que um atacante plante uma instrução ou passagem maliciosa na memória (envenenamento). Os autores propõem uma métrica, evidence-conditioned accuracy, e uma técnica de fine-tuning que, em testes com três modelos-base, praticamente dobrou a robustez da memória — ainda que sem eliminar o problema por completo.
Agentes LLM com memória persistente precisam decidir, a cada nova informação recebida, se gravam um registro novo, atualizam um existente ou descartam a entrada. Essa decisão de escrita é exatamente o ponto de falha comum a dois problemas que a literatura costuma tratar separadamente: memória desatualizada, quando o agente mantém um fato que já mudou, e envenenamento de memória, quando o agente grava uma passagem plantada ou uma instrução injetada por um atacante.
O motivo de tratar os dois juntos é que eles pedem decisões opostas — para corrigir memória desatualizada, o gerenciador deve aceitar a mudança; para rejeitar envenenamento, ele deve desconfiar de mudanças suspeitas — então nenhuma regra fixa de escrita resolve ambos ao mesmo tempo. Para medir isso de forma mais rigorosa do que apenas checar se a resposta final está certa, os autores propõem a métrica evidence-conditioned accuracy (ECA), que também verifica se os registros que o agente usou para responder estão atualizados e livres de conteúdo injetado.
A defesa proposta é um fine-tuning de “um tiro” do gerenciador de memória, usando episódios sintéticos construídos em torno de uma única conversa onde mudanças e ataques são inseridos artificialmente. Em três modelos-base diferentes, essa técnica melhorou todas as categorias de teste e mais que dobrou o ECA geral de um gerenciador sem ajuste.
Isso é relevante porque produtos comerciais com “memória” — assistentes pessoais, agentes de atendimento, copilotos corporativos — acumulam contexto de interações ao longo do tempo, e o estudo mostra que, sem ajuste específico, sistemas de memória padrão e defesas existentes não são mais robustos que um gerenciador sem nenhum ajuste. Mesmo depois do fine-tuning, os próprios autores reconhecem que a robustez permanece incompleta — ou seja, a memória de longo prazo de agentes de IA continua sendo uma superfície de ataque sem solução definitiva.