PrivacyFlow: defesa de agentes de IA contra vazamento de dados sensíveis via análise de fluxo de informação
Pesquisadores propõem o PrivacyFlow, um mecanismo de defesa para agentes de IA que executam tarefas longas sobre dados pessoais e que, segundo os autores, costumam violar expectativas de privacidade do usuário ao vazar informação fora de contexto. A solução separa o planejamento de privacidade da execução da tarefa, simulando com antecedência o que um destinatário poderia inferir a partir de cada fluxo de dados planejado, antes de decidir executar, minimizar ou bloquear a ação.
O trabalho parte do conceito de Integridade Contextual (Contextual Integrity), que formaliza quando compartilhar uma informação é apropriado dependendo do contexto, e aponta que os benchmarks e defesas existentes raramente aplicam esse conceito a sequências de tarefas longas e dinâmicas, como as que agentes autônomos de IA executam hoje sobre e-mail, calendário ou arquivos pessoais. Para medir o problema, os autores introduzem o agentic PrivacyBench, com quase 6 mil tarefas distribuídas em quase mil sequências com ambientes que mudam ao longo da execução.
O PrivacyFlow ataca o problema separando duas camadas de decisão: uma camada deliberativa (“Sistema 2”), que analisa cada fluxo de dado planejado antes de qualquer ação — rastreando de onde a informação vem e para que ela seria usada, modelando o que o destinatário já sabe e simulando que inferências adicionais ele poderia fazer a partir do dado compartilhado — e uma camada de execução (“Sistema 1”), que só age depois que o risco de divulgação foi pesado contra a utilidade da tarefa.
O ganho reportado é substancial: entre 22 e 55 pontos percentuais mais sequências de tarefa completadas sem nenhuma violação de privacidade detectada, em comparação com agentes sem esse mecanismo, testados em seis modelos diferentes. Isso é relevante porque mostra, por omissão, o tamanho do problema de base — agentes de propósito geral, sem esse tipo de camada deliberativa, vazam informação fora de contexto com bastante frequência quando executam tarefas reais de múltiplos passos.
Os autores também documentam um trade-off que qualquer time de produto construindo agentes deveria levar em conta: permitir que o agente pergunte ao usuário quando há incerteza sobre divulgar ou não um dado aumenta a taxa de conclusão de tarefas autorizadas, mas transfere o esforço de decisão de volta para o usuário — ou seja, mais privacidade e mais autonomia nem sempre andam juntas, e o desenho do produto precisa escolher conscientemente esse ponto de equilíbrio.