Servidor malicioso pode usar agregadores robustos de aprendizado federado para apagar marcas d'água de LLMs
Pesquisadores mostram que os mesmos agregadores robustos usados em aprendizado federado para bloquear ataques de envenenamento também servem, nas mãos de um servidor malicioso, como mecanismo eficaz de remoção de marcas d'água em LLMs — fazendo métodos de watermarking existentes falharem na detecção de uso indevido do modelo final. A defesa proposta, CamoMark, camufla as atualizações marcadas para que pareçam estatisticamente normais aos olhos do agregador.
Marcas d'água (watermarking) em LLMs são uma técnica de rastreabilidade: permitem que o dono de um modelo prove, posteriormente, que um determinado texto foi gerado por aquele modelo específico, o que é usado para detectar uso indevido ou violação de licença. Em cenários de aprendizado federado, no entanto, inserir essa marca é mais difícil porque o treinamento é distribuído entre vários participantes e passa por um agregador central.
Esses agregadores são desenhados para serem "robustos": eles existem justamente para identificar e descartar atualizações de treinamento anômalas, protegendo o sistema contra participantes maliciosos que tentam envenenar o modelo. O artigo revela uma consequência não intencional dessa robustez: um servidor malicioso pode explorar esse mesmo mecanismo de filtragem de anomalias para identificar e remover as atualizações que carregam a marca d'água — afinal, do ponto de vista estatístico, uma atualização marcada se parece com uma atualização anômala, exatamente o tipo de coisa que o agregador foi treinado para eliminar.
A solução proposta, CamoMark, resolve isso formulando o problema como uma otimização restrita: as atualizações marcadas são ajustadas para permanecerem "inliers" (estatisticamente indistinguíveis das atualizações legítimas) sob a métrica usada pelo agregador, mas ainda preservando um sinal de marca suficiente para detecção posterior. Com isso, o servidor malicioso perde a capacidade de diferenciar — e portanto de filtrar — as atualizações marcadas.
Os resultados experimentais, em um modelo Qwen ajustado sobre o dataset Alpaca, mostram detecção estatisticamente significativa (p-valor de 1,82×10⁻² usando apenas 3,3% de dados marcados, chegando a 5,11×10⁻¹¹ com 13,3%), e a marca resiste a ataques de remoção pós-treinamento como fine-tuning adicional em dados limpos, pruning e destilação de modelo. Isso importa na prática porque organizações que participam de consórcios de aprendizado federado para treinar LLMs precisam assumir que o operador do agregador central é um adversário em potencial, e não apenas os demais participantes — um modelo de ameaça frequentemente negligenciado no design desses sistemas.