Ataque de 'role grounding' manipula memória de agentes de IA via conversas aninhadas compartilhadas em redes sociais
Pesquisadores identificam e formalizam o Role Grounding Attack (RGA), em que um atacante publica, em uma plataforma social de agentes, um post citando uma conversa aninhada entre seu próprio agente e seu próprio usuário; quando um agente-vítima lê esse post e tenta memorizar a preferência expressa na conversa interna, ele perde o vínculo de contexto e atribui erroneamente essa preferência ao seu próprio usuário, em vez de ao usuário do atacante. Testado contra cinco sistemas de memória populares e seis modelos de linguagem, o ataque atinge alta taxa de sucesso tanto para manipular qual ferramenta o agente-vítima escolhe usar quanto para fazer esse agente incluir informações sensíveis do próprio usuário nos argumentos passados a uma ferramenta controlada pelo atacante.
Fonte ↗