TRACE reconstrói dados supostamente "desaprendidos" comparando snapshots de LLM antes e depois do unlearning
O framework TRACE mostra que manter snapshots de um LLM antes e depois de um processo de "unlearning" aproximado — usados na prática para auditoria e rollback — cria um canal lateral que permite reconstruir os próprios dados que deveriam ter sido removidos, sem qualquer conhecimento prévio sobre o conteúdo apagado. A técnica combina diferenças de embeddings entre os dois snapshots para restringir candidatos de token com um score contrastivo baseado na diferença de perplexidade entre os modelos, alcançando reconstrução de alta fidelidade em testes com os benchmarks TOFU, MUSE e WMDP.
O "unlearning" aproximado surgiu como alternativa mais barata ao retreinamento completo de um LLM quando é preciso remover dados específicos por exigência regulatória, direito ao esquecimento ou disputa de direitos autorais: em vez de retreinar o modelo do zero sem os dados indesejados, ajusta-se o modelo existente para que ele pare de reproduzir aquele conteúdo. Na prática operacional, porém, é comum que organizações mantenham o snapshot do modelo anterior ao unlearning junto com o snapshot posterior, por razões de auditoria (provar que o processo foi aplicado) e de rollback (reverter caso o unlearning degrade demais a qualidade do modelo). O TRACE mostra que essa prática, aparentemente inócua, introduz exatamente o canal de vazamento que o unlearning deveria eliminar.
Tecnicamente, o ataque funciona em duas fases. Primeiro, o framework compara os parâmetros de embedding dos dois snapshots e identifica onde as diferenças são maiores — esses pontos de maior divergência indicam quais tokens foram mais afetados pelo processo de unlearning, e portanto são bons candidatos a terem feito parte do conteúdo removido, reduzindo drasticamente o espaço de busca sem precisar de nenhum dado de referência externo. Segundo, o TRACE monta sequências de texto completas usando um mecanismo de pontuação contrastiva: para cada sequência candidata, ele mede a diferença de perplexidade entre o modelo antes e depois do unlearning — se uma sequência era "fácil" (baixa perplexidade) para o modelo antigo e se tornou "difícil" (alta perplexidade) para o modelo novo, isso é evidência forte de que aquela sequência fazia parte dos dados removidos. Uma estratégia de duas etapas — primeiro explorar fragmentos promissores, depois completá-los em sequências inteiras — permite recuperar múltiplas amostras distintas, não apenas uma única reconstrução isolada.
Os experimentos cobrem três benchmarks amplamente usados em pesquisa de unlearning (TOFU, MUSE e WMDP), múltiplos LLMs e seis métodos de unlearning representativos do estado da arte, e em todos esses cenários o TRACE consegue reconstrução de alta fidelidade dos dados supostamente removidos — ou seja, o problema não é específico de um método de unlearning mal implementado, mas parece ser uma consequência estrutural de como o unlearning aproximado altera parâmetros do modelo sem removê-los completamente da memória do modelo.
O resultado tem implicações práticas diretas para qualquer organização que trate unlearning como solução de conformidade para dados sensíveis, pessoais ou protegidos por direitos de autor: se o processo de negócio exigir manter o snapshot anterior acessível — o que é comum, dado que auditoria e capacidade de rollback são práticas recomendadas de engenharia — a mera existência desse snapshot permite a um atacante com acesso a ambos os modelos reconstruir o conteúdo que a organização acreditava ter apagado. Isso sugere que o controle de acesso a snapshots de modelo precisa ser tratado com o mesmo rigor que se trata o controle de acesso aos dados de treinamento originais, e que "unlearning" sem uma política de gestão de snapshots antigos não cumpre, na prática, a promessa de remoção de dados que seu nome sugere.