Pesquisadores plantam backdoor de execução remota de código em agente de IA envenenando o pré-treinamento
Pesquisadores de segurança demonstraram, pela primeira vez de forma completa, que conteúdo malicioso plantado nos dados de pré-treinamento de um modelo de linguagem pode implantar um backdoor de execução remota de código em um agente de CLI derivado dele. Pré-treinando do zero modelos Qwen3 de 0,6B, 1,7B e 4B parâmetros e depois aplicando um pipeline de pós-treinamento limpo, os autores conseguiram que o modelo de 4B executasse comandos arbitrários do atacante quando um gatilho estivesse presente em cerca de 92% dos casos, envenenando apenas 0,1% do corpus de pré-treinamento — e o ataque permaneceu eficaz mesmo com taxas de envenenamento até 200 vezes menores.
O trabalho mira um elo frequentemente ignorado na cadeia de suprimentos de modelos de linguagem: o corpus de pré-treinamento, coletado em escala massiva e praticamente sem curadoria a partir da web pública. Diferente de ataques de poisoning já estudados contra fine-tuning ou RLHF — etapas menores, mais controladas e geralmente feitas sobre dados proprietários — este experimento mostra que o próprio estágio de pré-treinamento, teoricamente mais diluído e portanto mais difícil de manipular, já é suficiente para plantar um comportamento backdoor que sobrevive ao pós-treinamento e se manifesta no agente final.
Metodologicamente, os autores treinaram do zero três tamanhos do Qwen3 (0,6B, 1,7B e 4B parâmetros) inserindo seu desenho de poison em apenas 0,1% do corpus, e depois converteram cada modelo em um agente de linha de comando usando um pipeline de pós-treinamento limpo e sem qualquer manipulação adicional — isolando assim a causa do comportamento malicioso exclusivamente ao estágio de pré-treinamento. O resultado foi um agente que se comporta normalmente em entradas limpas, mas executa comandos escolhidos pelo atacante sempre que um gatilho específico aparece no contexto, caracterizando uma porta dos fundos de execução remota de código operável por quem conhece o gatilho.
O achado mais preocupante é a relação entre escala do modelo e eficácia do ataque: a taxa de sucesso aumenta com o tamanho do modelo, chegando a cerca de 92% no modelo de 4B parâmetros, e o backdoor continua funcionando mesmo quando a fração de dados envenenados cai para 0,0005% — duzentas vezes menos que o já baixo 0,1% do experimento principal. Isso sugere que, à medida que modelos de produção crescem, pode ser necessária uma fração cada vez menor de conteúdo malicioso espalhado pela internet para comprometer um modelo treinado sobre ela, tornando o ataque mais barato de executar exatamente nos modelos mais capazes e mais usados.
Na prática, o resultado reforça um risco sistêmico para qualquer organização que treine ou ajuste modelos a partir de dados coletados da web sem proveniência verificada: não basta auditar o pipeline de fine-tuning ou aplicar filtros de segurança pós-treinamento, porque o comprometimento pode já estar presente antes de qualquer dessas etapas, embutido em páginas, repositórios ou fóruns que fazem parte do raspagem original. Para agentes que executam comandos no ambiente do usuário — cada vez mais comuns em assistentes de codificação e automação —, isso eleva o pré-treinamento envenenado à categoria de vetor de execução remota de código viável contra produtos finais, e não apenas uma preocupação acadêmica sobre viés ou qualidade de saída.