Estudo compara tecnicas de privacidade para LLMs treinados em dados sensiveis usando canarios de vazamento
Uma comparacao controlada entre fine-tuning direto, DP-SGD e geracao de dados sinteticos mostra que reescrita de registros medicos guiada por instrucoes sensiveis a unicidade oferece o melhor equilibrio entre capacidade e privacidade, superando tanto o fine-tuning cru (mais vazamento) quanto o DP-SGD (mais seguro, mas com forte perda de desempenho). O vazamento e medido injetando 'canarios' -- registros artificiais rastreaveis -- nos dados de treino.
Treinar modelos de linguagem sobre dados sensiveis, como prontuarios medicos, cria uma tensao direta entre capacidade do modelo e risco de vazamento de informacao privada memorizada durante o treino. Este artigo faz uma comparacao controlada entre intervencoes no nivel dos dados (geracao de dados sinteticos, reescrita com preservacao de privacidade) e no nivel do treinamento (fine-tuning direto, DP-SGD), usando registros medicos sinteticos com 'canarios' -- sequencias artificiais inseridas deliberadamente para medir se o modelo as memoriza e depois as regurgita.
Os resultados mostram um espectro claro: fine-tuning direto maximiza metricas de capacidade mas produz o maior vazamento de privacidade; DP-SGD (treinamento com privacidade diferencial) reduz drasticamente o vazamento, mas com custo substancial de capacidade -- o classico trade-off de privacidade diferencial. A gerac ao de dados sinteticos a partir dos registros originais, guiada por uma instrucao sensivel a unicidade (que orienta o modelo a substituir detalhes que tornam um registro identificavel), oferece um equilibrio mais favoravel do que esses dois extremos, superando tambem a parafraseamento ingenuo.
Um achado tecnico interessante e que modelos de reescrita mais capazes tendem a reduzir ainda mais o risco de vazamento downstream, mas essa melhora nao e monotonica em relacao ao ajuste fino do modelo reescritor ao conjunto de dados, e mais tempo de computo em inferencia nao garante ganhos consistentes -- ou seja, nao basta usar um modelo 'melhor' ou gastar mais computo, a engenharia da instrucao de privacidade importa mais do que a forca bruta.
Para organizacoes que treinam ou adaptam LLMs sobre dados sensiveis (saude, juridico, RH), o resultado pratico e que reescrita de dados com orientacao explicita de privacidade e uma alternativa mais barata e mais equilibrada do que recorrer a privacidade diferencial completa, que historicamente tem sido vista como custosa demais para ser adotada na pratica. Isso e relevante tambem para quem avalia fornecedores que alegam 'treinamos com privacidade diferencial' ou 'usamos apenas dados sinteticos' sem evidenciar como medem vazamento residual -- o uso de canarios e exatamente o tipo de metodologia de auditoria que deveria ser exigida nesses casos.