Pesquisa sistematiza ataques de inferência de membership que resistem a ruído e perturbação dos dados
O artigo apresenta uma formulação simplificada de ataques "robustos" de inferência de membership — aqueles que continuam funcionando mesmo quando as estatísticas do modelo ou do dataset estão bastante ruidosas — para estimação de média em distribuições Gaussianas multivariadas e distribuições de produto binário. Além da construção técnica, o trabalho funciona como um levantamento da literatura sobre o tema, cobrindo histórico, extensões e conexões com outras áreas de privacidade.
Ataque de inferência de membership é a pergunta mais básica de privacidade em machine learning: dado o modelo treinado, ou estatísticas derivadas de um dataset, e o registro de uma pessoa específica, um atacante consegue dizer se aquela pessoa estava no conjunto de treinamento? A resposta importa diretamente para qualquer modelo treinado com dados sensíveis — históricos médicos, registros financeiros, conversas privadas — porque confirmar a participação já é, por si só, uma violação de privacidade, independentemente de o modelo vazar algum dado específico daquela pessoa.
A maioria dos ataques de membership inference assume acesso relativamente limpo às estatísticas do modelo. Este trabalho foca em ataques que continuam funcionando mesmo quando essas estatísticas são deliberadamente perturbadas, por exemplo por mecanismos de privacidade diferencial que adicionam ruído antes de publicar agregados, e apresenta uma construção relativamente simples para dois casos canônicos de estimação de média: dados contínuos multivariados, com distribuição Gaussiana, e dados binários, com distribuição de produto de Bernoullis.
O resultado mais relevante na prática para quem projeta sistemas de IA com dados sensíveis é que adicionar ruído a estatísticas publicadas não é, por si só, garantia de privacidade contra um atacante que conhece a estrutura do ataque. A robustez do ataque a ruído significa que o orçamento de privacidade — quanto ruído é "suficiente" — precisa ser calculado com esse adversário mais forte em mente, e não apenas contra inferência direta e sem ruído, o que reforça por que mecanismos formais como privacidade diferencial exigem parâmetros bem calibrados, e não apenas a adição de algum ruído arbitrário como medida de mitigação.