TNCS: ataque de backdoor em modelos de código consegue alta taxa de sucesso envenenando poucas amostras
O método Trigger-Neutralized Counterfactual Scoring (TNCS) seleciona de forma eficiente quais amostras de treinamento envenenar para implantar um backdoor em modelos de código pré-treinados, isolando a contribuição real de um gatilho ao comparar a saída do modelo numa entrada com o gatilho contra a mesma entrada sem ele. A técnica supera métodos anteriores justamente nas taxas de envenenamento mais baixas — o cenário mais realista para um atacante que quer minimizar sua exposição —, e o conjunto de amostras selecionado continua eficaz mesmo quando transferido para um modelo-vítima diferente daquele usado para escolher as amostras.
Ataques de backdoor em modelos de aprendizado de máquina funcionam inserindo um pequeno número de exemplos manipulados no conjunto de treinamento, de forma que o modelo aprenda a se comportar normalmente na maioria dos casos, mas produza uma saída específica e controlada pelo atacante sempre que um "gatilho" (trigger) específico aparecer na entrada. Para um atacante real, a taxa de envenenamento — a fração de amostras manipuladas em relação ao total do conjunto de treinamento — é a variável mais sensível: quanto menor essa fração, menor o custo de produzir as amostras maliciosas e menor a chance de alguém notar um padrão anômalo durante inspeção dos dados de treinamento. Métodos anteriores de seleção eficiente de amostras para envenenamento foram desenvolvidos para classificação de imagens e não oferecem um mecanismo de pontuação adequado para geração autorregressiva de texto/código, e nunca haviam sido estudados especificamente em modelos de código.
O TNCS resolve esse gap propondo um mecanismo de pontuação que isola especificamente a contribuição do gatilho no comportamento do modelo: para cada amostra candidata a ser envenenada, o método compara a saída do modelo de pontuação numa versão da entrada que contém o gatilho com a saída na mesma entrada, mas com o gatilho neutralizado (removido ou substituído por uma versão inofensiva) — essa comparação contrafactual revela quais amostras são mais "informativas" sobre o gatilho especificamente, separando o efeito do gatilho de qualquer outra característica da amostra que poderia estar contribuindo para o comportamento malicioso observado. Essa abordagem funciona tanto para tarefas de classificação quanto para tarefas de geração autorregressiva, cobrindo o espectro completo de usos de modelos de código.
Nos experimentos, cobrindo três tarefas do benchmark CodeXGLUE e cinco famílias distintas de gatilho, o TNCS supera os métodos de referência justamente nas proporções de envenenamento mais baixas — e a vantagem cresce quanto menor é essa proporção, o que é exatamente o regime de maior interesse prático para um atacante real que quer minimizar sua pegada. Além disso, o TNCS foi o único método, entre os avaliados, eficaz em todas as cinco famílias de gatilho testadas, sem degradar o desempenho do modelo em tarefas limpas (não relacionadas ao gatilho) — uma propriedade importante porque um backdoor que degrada visivelmente a qualidade geral do modelo seria mais facilmente detectado por testes de regressão de qualidade padrão.
Um achado particularmente relevante para avaliação de risco é a transferibilidade: o conjunto de amostras selecionado pelo TNCS usando um modelo específico como referência de pontuação continua funcionando quando o ataque real é executado contra um modelo-vítima diferente daquele usado na seleção. Isso significa que um atacante não precisa de acesso ao modelo exato que será treinado com os dados envenenados — basta ter acesso a um modelo de scoring similar para preparar um conjunto de envenenamento eficaz, o que reduz drasticamente a barreira prática de execução desse tipo de ataque contra pipelines de treinamento de modelos de código em cadeias de suprimento de dados abertos ou crowdsourced, onde verificar a procedência exata de cada amostra de treinamento é extremamente difícil.