Primeiro ataque de inferência de membro contra geração de dados sintéticos via Private Evolution expõe vazamento sob garantias formais de DP
Pesquisadores apresentam o primeiro ataque de inferência de membro (membership inference) em caixa-branca contra o Private Evolution (PE), um framework que gera dados sintéticos usando apenas acesso de caixa-preta a modelos de fundação, sob garantias formais de privacidade diferencial (DP). O ataque explora como o processo iterativo de filtragem por votação do PE favorece a sobrevivência e a proximidade de candidatos sintéticos próximos aos dados privados reais, revelando vazamento empírico em modalidades de imagem, texto e dados tabulares.
Privacidade diferencial é uma garantia matemática formal: ela limita, por construção, o quanto a saída de um sistema pode mudar dependendo da presença ou ausência de um único registro no conjunto de dados de treino. O Private Evolution é atraente justamente porque promete gerar dados sintéticos sob essa garantia sem precisar fazer fine-tuning de um modelo de fundação com os dados privados — ele usa apenas acesso de caixa-preta ao modelo, fazendo o modelo gerar candidatos e filtrando-os por votação iterativa com base em proximidade aos dados privados reais.
O ataque descrito neste trabalho explora exatamente esse mecanismo de filtragem iterativa: como o processo de votação do PE privilegia a sobrevivência de candidatos sintéticos que ficam próximos dos pontos de dados privados reais, um atacante com acesso de caixa-branca ao processo (ou seja, que observa as iterações e não apenas a saída final) consegue inferir se um registro específico participou do conjunto privado original, observando padrões de proximidade e sobrevivência dos candidatos sintéticos ao longo das rodadas de filtragem.
O ponto conceitualmente mais importante aqui é que uma garantia formal de DP não é incondicional — ela limita matematicamente o vazamento sob o modelo de ameaça para o qual foi desenhada e calibrada, mas auditoria empírica de privacidade continua necessária porque implementações reais podem ter vazamento prático maior do que o orçamento de privacidade sugeriria à primeira vista, especialmente quando o mecanismo interno (como a filtragem por votação) cria correlações que o modelo de ameaça formal não anticipou plenamente. Os autores demonstram esse vazamento de forma consistente em três modalidades de dados diferentes (imagem, texto e tabular), o que indica que o problema é estrutural ao algoritmo PE, não uma peculiaridade de um domínio específico.
Na prática, isso importa para qualquer organização que considere usar Private Evolution (ou frameworks de geração sintética inference-only similares) para compartilhar dados sensíveis com garantias de DP como justificativa de compliance: o estudo mostra que é necessário também submeter o pipeline a auditoria empírica de privacidade (como ataques de inferência de membro) antes de assumir que a certificação formal de DP, por si só, é suficiente para proteger contra vazamento real de dados privados.