SMOKE implanta backdoor em LLM que só desperta depois que o modelo é mesclado com outro, escapando de auditorias de segurança
Pesquisadores descrevem o One-sided Merging-Conditional Backdoor (OMCB), um backdoor que permanece completamente inerte e indetectável enquanto o modelo malicioso está isolado, mas se ativa automaticamente quando esse modelo é combinado via model merging com outro, rompendo o alinhamento de segurança do modelo resultante. O framework de ataque SMOKE usa meta-aprendizado para treinar esse gatilho condicional, driblando as auditorias de backdoor que hoje são feitas apenas sobre modelos isolados antes da fusão.
Model merging é uma técnica cada vez mais usada na indústria para combinar os pesos de modelos especializados diferentes e obter um modelo final com capacidades combinadas, sem precisar re-treinar do zero — e parte do apelo dessa técnica é justamente evitar o custo de treinamento adicional. Plataformas de terceiros que distribuem modelos especializados para esse fim costumam passar por auditorias de segurança, incluindo detecção de backdoor, antes de serem disponibilizados para a comunidade combinar.
O artigo expõe uma lacuna estrutural nesse processo de auditoria: o backdoor descrito, chamado OMCB, foi desenhado para ficar completamente dormente e indetectável enquanto o modelo que o contém permanece isolado — ou seja, qualquer auditoria de segurança feita sobre o modelo antes da fusão simplesmente não encontra nada de anômalo, porque não há nada de anômalo para encontrar nesse estado. O gatilho só se ativa como consequência direta da própria operação de merging: os autores mostram, teórica e geometricamente, que o deslocamento de parâmetros que ocorre quando os pesos dos dois modelos são combinados pode empurrar o comportamento do modelo resultante para além das fronteiras de decisão de segurança estabelecidas durante o alinhamento original, desalinhando-o.
A contribuição técnica central é o framework de ataque SMOKE, que usa uma estratégia de otimização bi-nível baseada em meta-aprendizado para implantar esse backdoor condicional ao merge: o loop interno sintetiza vetores meta substitutos por meio de inicialização de baixo posto (low-rank) e uma etapa de maximização, enquanto o loop externo otimiza o modelo-alvo simulando repetidamente o próprio processo de fusão durante o treinamento do ataque. Os autores ainda mostram, em análise preliminar, que o OMCB implantado tem perda de generalização limitada mesmo quando a configuração exata de merge usada pela vítima é desconhecida no momento do ataque — ou seja, o atacante não precisa saber de antemão com qual modelo específico e com qual algoritmo de fusão o seu modelo malicioso será combinado.
Isso é relevante na prática porque revela um ponto cego real na cadeia de suprimentos de modelos de IA: à medida que model merging se torna uma prática comum para quem quer "remixar" capacidades de modelos publicados por terceiros, a confiança de que "este modelo específico passou por auditoria de backdoor" para de ser suficiente, já que a auditoria relevante precisaria necessariamente considerar a combinação final, não cada peça isolada. Isso levanta a necessidade de reavaliação de segurança após qualquer operação de merge, uma prática ainda incomum na maioria dos fluxos de trabalho que hoje tratam o merging como uma operação de baixo risco.