UMPeek: ataque infere o "modelo do usuário" oculto guardado por agentes de IA personalizados
Pesquisadores mostraram que agentes de LLM personalizados que armazenam apenas um "modelo do usuário" compactado (em vez do texto original) não são tão privados quanto se supunha. O ataque UMPeek, por sondagem adaptativa guiada por hipóteses, consegue reconstruir informações privadas do usuário observando apenas o comportamento visível do agente, sem acesso a registros brutos ou ao estado interno. O método foi validado tanto em benchmarks quanto em sistemas reais em produção, superando ataques existentes e resistindo a defesas aplicadas no nível da resposta.
Agentes de IA cada vez mais personalizados não guardam mais o texto literal do que o usuário disse ou fez; em vez disso, transformam essas informações em "modelos do usuário" — representações comprimidas ou estruturadas (preferências, traços, hábitos) usadas para guiar decisões futuras. A suposição comum era que isso tornava o sistema mais seguro do ponto de vista de privacidade, já que ataques clássicos de extração de memória dependem de recuperar o texto-fonte armazenado, e esse texto simplesmente não existe mais no estado acessível pela interface. O artigo demonstra que essa suposição é falsa: mesmo sem acesso a registros originais ou ao backend, é possível inferir o conteúdo desses modelos apenas observando como o agente se comporta.
Para isso, os autores propõem o UMPeek, um ataque de caixa preta baseado em sondagem adaptativa guiada por hipóteses. O atacante começa formando hipóteses sobre o usuário a partir de ambiguidades ou escolhas deixadas em aberto por um pedido comum (por exemplo, uma solicitação que poderia ser respondida de formas diferentes dependendo de preferências pessoais). Em seguida, ele alterna entre diversas tarefas de acompanhamento aparentemente triviais, testando essas hipóteses indiretamente. Uma afirmação sobre o usuário só é mantida como válida se for consistentemente sustentada e nunca contradita pelo comportamento observável do agente ao longo dessas interações — funcionando como um processo iterativo de eliminação e confirmação, sem nunca precisar tocar diretamente no estado interno ou nos registros de memória.
A relevância prática do achado está no fato de que o UMPeek não foi testado apenas em ambientes simulados: os pesquisadores o validaram em sistemas reais em produção, comparando as inferências obtidas com informações que se sabia terem sido de fato retidas pelo agente. Em ambas as frentes — benchmark controlado com diferentes tarefas de personalização e diferentes backends de modelo de usuário, e testes em sistemas reais — o UMPeek superou os ataques existentes na capacidade de recuperar dados privados.
Outro ponto crítico é que o ataque continua funcionando mesmo diante de defesas aplicadas no nível da resposta, ou seja, filtros e mitigações que tentam higienizar apenas a saída do agente sem alterar o que é retido internamente. Isso indica que essas defesas são insuficientes por si só. Para quem constrói ou avalia produtos de IA com memória de longo prazo e personalização por trás de uma API, o resultado é um alerta direto: ocultar o texto-fonte e proteger o estado de backend não garante privacidade semântica, porque qualquer informação retida que influencie o comportamento visível do agente pode, em princípio, ser extraída por um atacante paciente e sistemático.