SAFE-Mem propoe governanca granular de memoria para impedir que agentes de LLM tratem dados externos nao confiaveis como autoridade
O framework anota cada afirmacao armazenada na memoria de um agente com rotulos de tipo, autoridade e escopo, e usa esses rotulos para decidir se a memoria pode influenciar uma resposta -- em vez de filtrar conteudo de forma generica. Em quatro modelos base e dois benchmarks, o SAFE-Mem reduz o sucesso de ataques em pelo menos 77% em relacao a melhor defesa comparavel, mantendo ate 15% mais acuracia de resposta.
Agentes de LLM com memoria persistente acumulam informacao de fontes externas ao longo do tempo -- paginas web, documentos, interacoes anteriores -- e um risco crescente e que afirmacoes nao confiaveis vindas dessas fontes acabem sendo tratadas, mais tarde, como se fossem preferencias, politicas ou permissoes legitimas do usuario ou do sistema. Defesas atuais tendem a usar filtragem generica de conteudo (que bloqueia informacao legitima junto com a maliciosa) ou rastreamento grosseiro de proveniencia (que nao impede o uso indevido de informacao cuja origem e conhecida, mas cuja autoridade nao deveria se aplicar aquele contexto).
O SAFE-Mem ataca o problema anotando cada afirmacao atomica armazenada com tres rotulos de governanca -- tipo, autoridade e escopo -- que capturam de onde a informacao veio e para que uso ela esta autorizada. Na hora da recuperacao, o sistema casa os requisitos da consulta atual com as permissoes de cada afirmacao candidata, bloqueando influencia nao autorizada sem descartar informacao legitima que simplesmente nao se aplicava aquele contexto especifico. Um grafo de memoria conecta sentencas de origem, afirmacoes extraidas e entidades, permitindo rastreamento de proveniencia e recuperacao eficiente mesmo com esse nivel adicional de granularidade.
Os resultados em quatro modelos base de LLM, avaliados nos benchmarks MPBench e LoCoMo, mostram que o SAFE-Mem atinge a menor taxa de sucesso de ataque entre as defesas que preservam uso legitimo de memoria -- pelo menos 77% abaixo da defesa comparavel mais forte -- e, ao mesmo tempo, a maior acuracia de resposta entre todas as defesas avaliadas, com melhora de ate 15%. Esse duplo resultado (mais seguranca E mais utilidade) e o que diferencia a abordagem de filtros genericos, que normalmente trocam uma coisa pela outra.
Para quem opera agentes corporativos com memoria de longo prazo (assistentes que acumulam contexto de reunioes, documentos e interacoes), este tipo de governanca granular ataca diretamente um vetor de ataque que cresce junto com a adocao de agentes com memoria persistente: a injecao indireta de 'preferencias' ou 'politicas' falsas via conteudo externo que depois e tratado como instrucao legitima. O codigo do SAFE-Mem foi disponibilizado publicamente, o que facilita replicacao e adocao por times de seguranca que avaliam arquiteturas de memoria para agentes proprios.