Pesquisadores apresentam o primeiro ataque de inferência de membro (membership inference) em caixa-branca contra o Private Evolution (PE), um framework que gera dados sintéticos usando apenas acesso de caixa-preta a modelos de fundação, sob garantias formais de privacidade diferencial (DP). O ataque explora como o processo iterativo de filtragem por votação do PE favorece a sobrevivência e a proximidade de candidatos sintéticos próximos aos dados privados reais, revelando vazamento empírico em modalidades de imagem, texto e dados tabulares.
Pesquisadores demonstraram um ataque de inversao de modelo contra sistemas de aprendizado federado (federated learning) usados em imagens medicas, usando uma GAN convolucional profunda (DCGAN) para reconstruir, a partir das atualizacoes de modelo compartilhadas, imagens sinteticas de ressonancia cerebral semanticamente reconhecıveis -- sob premissas realistas sobre o que um atacante pode observar. A mitigacao via privacidade diferencial no cliente reduz o sucesso do ataque mas piora a acuracia do modelo; os autores mostram que personalizar o treinamento federado por cliente recupera parte dessa acuracia perdida, sem abrir mao da privacidade diferencial.
Uma comparacao controlada entre fine-tuning direto, DP-SGD e geracao de dados sinteticos mostra que reescrita de registros medicos guiada por instrucoes sensiveis a unicidade oferece o melhor equilibrio entre capacidade e privacidade, superando tanto o fine-tuning cru (mais vazamento) quanto o DP-SGD (mais seguro, mas com forte perda de desempenho). O vazamento e medido injetando 'canarios' -- registros artificiais rastreaveis -- nos dados de treino.
Certificar que um modelo foi treinado com privacidade diferencial (DP) de forma correta é um problema difícil quando o verificador não pode acessar os dados privados originais, e abordagens criptográficas como provas de conhecimento zero têm overhead proibitivo. O artigo propõe usar um Trusted Execution Environment de CPU para verificar probabilisticamente os gradientes computados por GPUs não confiáveis, obtendo detecção de desvios maliciosos de DP com overhead modesto mesmo em GPUs legadas sem suporte a TEE multi-GPU.
O artigo propõe o DP-BR-FedAvg, um framework de aprendizado federado que combina privacidade diferencial via mecanismo Gaussiano com agregação robusta a clientes Bizantinos por média aparada por coordenada. Em simulações com 20 clientes (25% maliciosos) em uma tarefa de classificação inspirada em detecção de fraude e risco clínico, o FedAvg tradicional colapsa na classe minoritária, enquanto a proposta recupera parte relevante do sinal, ainda que com custo de acurácia em relação a uma versão apenas robusta, sem privacidade. Os resultados mostram que privacidade e robustez não se somam de forma simples, mas interagem, o que tem implicações diretas para o design de sistemas de ML federado em setores regulados.
O estudo mostra que, em sistemas federados de detecção de intrusão de rede, privacidade diferencial formal, robustez contra participantes bizantinos e boa cobertura de ataques raros não se combinam de graça como a literatura costuma assumir. Usando o dataset UNSW-NB15 com DP-SGD e agregação por mediana por coordenada sob ataques de inversão de rótulos e envenenamento de modelo, os autores demonstram que o ruído de privacidade dispersa as atualizações dos clientes a ponto de a agregação robusta confundir sinais de ataques raros com outliers maliciosos. O resultado é uma degradação desproporcional da detecção justamente nas categorias de ataque mais escassas, com um piso residual de desempenho que persiste mesmo após ajuste do orçamento de privacidade.
StraightDP ataca o problema de perda abrupta de qualidade ao treinar modelos generativos condicionados a texto sob privacidade diferencial forte, explorando a geometria de rectified flows para gastar o orçamento de privacidade de forma mais inteligente. A técnica libera uma única vez estatísticas agregadas por classe e reserva o restante do orçamento para o treinamento detalhado, melhorando substancialmente a acurácia sob o mesmo nível de privacidade. Isso torna garantias formais de privacidade mais viáveis para pipelines de geração de imagem que hoje evitam usá-las por causa da perda de qualidade.
Pesquisadores apontam uma falha conceitual nos métodos atuais de proteção de privacidade em RAG: eles tratam o risco de vazamento como uma propriedade fixa de cada documento, ignorando que o risco real depende de qual pergunta o usuário faz. O framework proposto, PA-HDP, avalia o risco dinamicamente por consulta e aplica privacidade diferencial hierárquica apenas ao conteúdo que se torna sensível naquele contexto específico.