FISGuard reduz a quase zero a eficácia de ataque de inferência de membership em LLMs com fine-tuning federado
O ataque ProjRes (publicado no S&P 2026) consegue distinguir se um dado específico participou do treinamento de um LLM em aprendizado federado apenas observando o resíduo de projeção entre a representação candidata e o subespaço formado pelos gradientes visíveis ao servidor — sem acessar as saídas do modelo. O FISGuard neutraliza esse ataque fixando um subespaço de representação de baixa dimensão construído a partir de dados públicos, derrubando a AUC do ProjRes para próximo de 0,5 (equivalente a chute aleatório) com pouca perda de desempenho.
Em aprendizado federado, clientes fazem fine-tuning local de um LLM (por exemplo, com adaptadores ou LoRA) e compartilham apenas gradientes com o servidor, não os dados brutos — um desenho pensado para preservar privacidade. O artigo descreve como o ataque ProjRes mostra que esse desenho ainda vaza informação: observando exclusivamente os gradientes que o servidor já recebe legitimamente, um atacante consegue calcular o resíduo de projeção de uma representação candidata contra o subespaço geométrico induzido por esses gradientes, e esse resíduo já basta para separar amostras que estiveram no treinamento (membros) de amostras que não estiveram — um ataque de inferência de pertencimento (membership inference) sem precisar de acesso às saídas do modelo.
Defesas tradicionais contra esse tipo de ataque — perturbação de gradiente ou regularização — tendem a degradar a utilidade do modelo e, segundo os autores, não neutralizam especificamente o ProjRes, porque ele explora a estrutura geométrica dos gradientes, não apenas sua magnitude ou ruído estatístico. O FISGuard responde de forma mais cirúrgica: constrói e fixa, a partir de dados públicos independentes, um subespaço de representação de baixa dimensão, e restringe a isso o espaço pelo qual as representações privadas se expõem via gradiente, preservando as informações relevantes para a tarefa. Isso reduz diretamente a discrepância de resíduo de projeção entre membros e não-membros, que é exatamente o sinal que o ProjRes explora.
Em avaliação contra cinco defesas concorrentes, três datasets de NLP, dois LLMs e duas estratégias de fine-tuning (Adapter e LoRA), o FISGuard derrubou a AUC do ataque para próximo de 0,5 — ou seja, o atacante passa a acertar essencialmente por chance — mantendo desempenho de tarefa próximo ao do modelo sem defesa e com overhead computacional limitado.
O caso ilustra um padrão recorrente em segurança de ML: mecanismos desenhados para preservar privacidade (aqui, compartilhar só gradientes) carregam vazamentos estruturais sutis que só aparecem quando alguém modela a geometria do que está sendo compartilhado, não apenas seu conteúdo aparente. Para times que operam fine-tuning federado de LLMs sobre dados sensíveis (saúde, jurídico, mensagens de clientes), isso é um lembrete de que 'não compartilhar os dados brutos' não é sinônimo de privacidade garantida.