Ataque de 'role grounding' manipula memória de agentes de IA via conversas aninhadas compartilhadas em redes sociais

O trabalho explora uma lacuna específica em sistemas de memória de agentes de IA que já compartilham experiências em redes sociais voltadas a agentes: o mecanismo de atribuição de papel-para-principal, que deveria garantir que uma preferência só seja gravada como pertencente ao usuário correto, não lida bem com estruturas de conversa aninhadas. Quando um post de compartilhamento de experiência cita uma conversa interna entre um agente e seu usuário, e esse post é publicado por uma terceira identidade (o atacante), um agente-vítima que processa esse conteúdo para aprender novas preferências pode confundir quem, de fato, expressou aquela preferência.

Tecnicamente, o Role Grounding Misattribution ocorre assim: na etapa de formação de memória, o atacante publica um post explicitamente identificado como seu, mas que cita uma conversa interna na qual o usuário do próprio atacante expressa uma preferência (por exemplo, por uma ferramenta específica). Quando o agente-vítima memoriza essa preferência a partir da estrutura aninhada, ele perde a vinculação de contexto entre 'quem disse o quê dentro de qual conversa' e grava essa preferência como se fosse do seu próprio usuário, em vez de reconhecer que ela pertence ao usuário do atacante. Na etapa de recuperação, essa memória incorretamente atribuída persiste e passa a influenciar decisões futuras do agente-vítima sempre que um cenário relevante surgir — sem que nenhum gatilho textual óbvio precise estar presente, já que a manipulação ocorre na camada de atribuição de origem, não no conteúdo da preferência em si.

Os autores instanciam dois cenários concretos de exploração: manipulação de seleção de ferramenta, em que a preferência corrompida direciona o agente-vítima a usar uma ferramenta controlada pelo atacante em vez de uma alternativa legítima; e vazamento de privacidade, uma extensão em que, além da preferência de ferramenta, uma preferência de requisito de tarefa também é misatribuída, levando o agente-vítima não só a escolher a ferramenta do atacante como também a incluir informação sensível do usuário real nos argumentos passados a essa ferramenta — transformando uma falha de atribuição de memória em um canal de exfiltração de dados. Avaliado contra cinco sistemas de memória populares e seis modelos de linguagem, ambos os cenários atingem taxas de sucesso elevadas, indicando que o problema não é específico de uma implementação isolada.

Na prática, o achado é relevante porque mostra como a crescente prática de agentes compartilharem e absorverem experiências de outros agentes — pensada para acelerar aprendizado coletivo e personalização — cria uma superfície de ataque social nova e pouco estudada: não é preciso comprometer o modelo, o sistema de memória ou a infraestrutura do agente-vítima, basta estruturar uma interação textual de forma a explorar como o agente atribui a origem de uma preferência. Isso sugere que sistemas de memória de agentes precisam de mecanismos de vinculação de contexto mais robustos, análogos a controles de integridade de origem em sistemas de mensagens, antes de agentes autônomos adotarem amplamente redes sociais entre si como fonte de aprendizado.