Aprendizado federado com privacidade diferencial e agregação robusta a Bizantinos: um framework para treinamento seguro de modelos em bancos e hospitais

Aprendizado federado é frequentemente apresentado como a solução natural para bancos, hospitais e outras instituições reguladas que precisam treinar modelos compartilhados sem centralizar dados sensíveis, já que legislações de proteção de dados e questões de sigilo competitivo tornam inviável a consolidação de registros brutos em um único servidor. No entanto, o artigo destaca duas falhas estruturais nesse modelo de confiança: primeiro, as atualizações de parâmetros trocadas entre clientes durante o treinamento ainda vazam informação sobre os registros locais, sendo vulneráveis a ataques de inversão de gradiente e de inferência de pertencimento (membership inference), que permitem a um adversário reconstruir ou inferir dados individuais a partir dos gradientes compartilhados. Segundo, o mecanismo de agregação padrão, o FedAvg, simplesmente faz a média das atualizações recebidas e não possui nenhuma defesa contra clientes Bizantinos — participantes maliciosos ou comprometidos que enviam atualizações corrompidas ou adversariais e conseguem desviar silenciosamente o modelo global de seu objetivo original.

Para enfrentar esses dois problemas simultaneamente, os autores propõem o DP-BR-FedAvg, um framework que combina duas camadas de defesa: uma camada de privacidade diferencial baseada no mecanismo Gaussiano, que adiciona ruído calibrado às atualizações para limitar formalmente quanto qualquer contribuição individual pode ser inferida a partir do modelo agregado, e uma regra de agregação robusta a Bizantinos baseada em média aparada por coordenada (coordinate-wise trimmed mean), que descarta os valores mais extremos em cada dimensão antes de calcular a média, reduzindo a influência de clientes maliciosos. Em experimentos simulados com sessenta rodadas de comunicação, vinte clientes (cinco deles Bizantinos) e uma tarefa de classificação que emula cenários de detecção de fraude bancária e escore de risco clínico, o FedAvg convencional praticamente falha em identificar a classe minoritária, com F1-score de apenas 0,030. O framework proposto recupera parte relevante desse desempenho, elevando o F1-score para 0,119, ao mesmo tempo em que mantém um limite formal sobre a perda de privacidade de cada cliente. Um agregador apenas robusto a Bizantinos, sem a camada de privacidade, obtém o melhor resultado bruto de acurácia, o que permite aos autores quantificar o custo que a privacidade diferencial impõe sobre a robustez do sistema.

O ponto central do trabalho é mostrar que privacidade e robustez não são propriedades que se somam de forma independente em um pipeline de aprendizado federado: adicionar ruído para proteger a privacidade de cada cliente também dilui o sinal que o mecanismo de agregação robusta usa para identificar e descartar atualizações maliciosas, e vice-versa. Isso é particularmente relevante para bancos e hospitais, setores em que a conformidade regulatória frequentemente exige simultaneamente garantias de privacidade (como LGPD, GDPR ou HIPAA) e resiliência a participantes não confiáveis em consórcios de dados entre instituições concorrentes ou parceiras.

Na prática, o estudo serve como um alerta para times que projetam pipelines de ML federado em ambientes regulados e adversariais: escolher isoladamente uma técnica de privacidade e uma técnica de robustez, testadas separadamente, não garante que a combinação das duas produza o resultado esperado quando implantadas juntas. É preciso orçar explicitamente essa interação — medindo o quanto cada camada de defesa corrói a eficácia da outra — em vez de assumir que mecanismos de segurança e privacidade compostos preservam as garantias individuais de cada componente.