DAR mostra que backdoors em modelos de IA podem sobreviver a destilacao de conhecimento mesmo sem dados de treino envenenados visivelmente
Pesquisadores apresentam o DAR (Discover-and-Relabel), uma tecnica de backdoor que, em vez de injetar um padrao-gatilho artificial facilmente removido por destilacao de conhecimento (KD), encontra padroes que ja ocorrem naturalmente em subespacos de baixa dimensao dos dados e reetiqueta apenas amostras que ja satisfazem esse padrao. O resultado e um backdoor que mantem taxa de sucesso de ataque acima de 96% mesmo depois que o modelo comprometido passa por destilacao com dados limpos — processo que, ate entao, era considerado uma defesa eficaz de purificacao contra esse tipo de ataque.
Backdoors classicos em modelos de aprendizado de maquina funcionam inserindo um padrao-gatilho artificial — um pixel especifico, um pequeno adesivo, uma sequencia de texto incomum — nos dados de treinamento, de forma que o modelo aprenda a associar esse gatilho a uma saida controlada pelo atacante, enquanto se comporta normalmente em dados limpos. Como esse gatilho e artificial e ausente em dados genuinamente limpos, a crenca corrente na area era que a destilacao de conhecimento (treinar um modelo “estudante” para imitar as saidas de um modelo “professor” usando apenas dados limpos) naturalmente eliminaria o comportamento backdoor, porque o padrao-gatilho nunca aparece no processo de destilacao.
O DAR quebra essa premissa invertendo a logica do ataque. Em vez de inserir um gatilho artificial, ele usa clustering de subespaco para descobrir padroes que ja ocorrem de forma abundante e natural dentro de subespacos de baixa dimensao das caracteristicas dos dados — padroes que, portanto, nao sao removidos pela destilacao porque nao sao “estranhos” ao conjunto de dados limpo, apenas uma correlacao estatistica presente nos proprios dados legitimos. O ataque entao aplica “label-only poisoning”: em vez de modificar os dados de entrada, ele apenas reetiqueta as amostras que ja exibem naturalmente o padrao descoberto, associando esse padrao pre-existente a uma saida controlada pelo atacante. Na hora da ativacao, basta modificar localmente o subespaco correspondente nas imagens de teste para disparar o comportamento malicioso.
Os autores demonstram essa tecnica tanto em classificacao de imagens no ImageNet quanto em ajuste de prompt (prompt tuning) sobre o CLIP, usando operadores espaciais e de frequencia para instanciar o padrao descoberto, e reportam que o DAR mantem taxa de sucesso de ataque comparavel a backdoors de ultima geracao enquanto preserva mais de 96% de efetividade mesmo apos destilacao de conhecimento com dados limpos — a defesa de purificacao que a area considerava eficaz contra esse tipo de ataque.
O impacto pratico e direto para a cadeia de suprimentos de modelos de IA: empresas que baixam modelos pre-treinados de terceiros e os destilam para versoes menores, assumindo que esse processo “limpa” backdoors eventualmente presentes no modelo original, nao podem mais confiar nessa suposicao. O DAR mostra que um atacante com acesso ao pipeline de treinamento original (seja por comprometer um conjunto de dados publico, seja por envenenar um modelo distribuido como pre-treinado) pode plantar um backdoor desenhado especificamente para sobreviver a reuso e destilacao downstream, o que exige que defesas de deteccao de backdoor olhem para padroes estatisticos naturais nos dados, e nao apenas para a presenca de gatilhos artificiais obviamente anomalos.