BenchDoor mostra como benchmarks de IA podem ser explorados para implantar backdoors em modelos
O trabalho introduz BenchDoor, uma familia de ataques de envenenamento de dados que exploram o incentivo natural de laboratorios e pesquisadores em melhorar pontuacoes em benchmarks publicos: o atacante distribui dados de treinamento que, alem de melhorar genuinamente o desempenho no benchmark, implantam um backdoor escondido no modelo. Em 30 configuracoes testadas (classificacao de texto, Q&A de multipla escolha e Q&A aberta, com modelos Qwen e Gemma), o ataque atingiu entre 82,33% e 100% de sucesso no backdoor com apenas 2% a 10% de envenenamento, mantendo mais de 90% de sucesso mesmo apos tecnicas de descontaminacao baseadas em similaridade.
A logica do BenchDoor inverte a relacao usual entre qualidade de dados e seguranca: normalmente se assume que dados que melhoram o desempenho em um benchmark confiavel sao dados bons e, portanto, seguros de incorporar ao treinamento. O ataque explora exatamente essa confianca, formalizando cinco cenarios distintos: manipular diretamente os dados de treinamento de um benchmark, manipular seus dados de teste, fornecer um dataset de treinamento independente que nao toca no benchmark mas ainda assim implanta o backdoor, aplicar reescrita dos proprios exemplos de teste do benchmark, e sobreviver a tecnicas de descontaminacao por similaridade (que tentam remover do treinamento qualquer exemplo parecido demais com o conjunto de teste, para evitar contaminacao de avaliacao).
Tecnicamente, o atacante precisa alcancar dois objetivos simultaneos com os mesmos dados envenenados: preservar (ou melhorar) o desempenho benigno no benchmark alvo -- o que cria o incentivo para que a comunidade adote esses dados -- e, ao mesmo tempo, implantar um gatilho de backdoor que, quando presente na entrada, forca o modelo a produzir uma saida controlada pelo atacante. Os autores demonstram que isso e possível mesmo quando o defensor aplica descontaminacao por similaridade (remover do treinamento qualquer exemplo proximo demais do conjunto de teste do benchmark), uma das defesas mais usadas hoje contra contaminação de benchmarks -- o ataque mantem taxa de sucesso de pelo menos 90,33% mesmo apos essa limpeza, porque o gatilho do backdoor nao depende da sobreposicao textual que a descontaminacao detecta.
Os numeros de taxa de sucesso (82,33% a 100% em todas as 30 configuracoes avaliadas) com taxas de envenenamento modestas (2% a 10% dos dados) e consistentes atraves de tarefas tao diferentes quanto classificacao de texto e Q&A aberta sugerem que a vulnerabilidade nao e um artefato de uma tarefa especifica, mas uma propriedade estrutural de como benchmarks publicos incentivam a adocao de dados externos sem verificacao de proveniencia.
Na pratica, isso e particularmente relevante para a cadeia de suprimentos de dados de treinamento de LLMs: datasets sinteticos ou aumentados distribuídos publicamente com a promessa de melhorar pontuacao em benchmarks conhecidos (um padrao comum na comunidade open-weight) se tornam um vetor plausivel de backdoor, e as defesas de descontaminacao que times de ML ja usam para integridade de avaliacao nao sao suficientes, por si so, como controle de seguranca contra esse tipo de envenenamento.