LookAhead Defense reduz ativação de comportamentos maliciosos dormentes após fine-tuning de agentes de IA
O artigo mostra que backdoors 'dormentes' plantados em um modelo, programados para permanecer ocultos no lançamento e só se ativarem depois de um fine-tuning benigno subsequente, podem se estender a ações de agentes nunca vistas no treinamento original e até coexistir com múltiplos comportamentos maliciosos ativados juntos. Os autores propõem o LookAhead Defense, que usa um 'Safety Buffer' construído a partir do próprio comportamento seguro do modelo no momento do lançamento para prever e penalizar atualizações de fine-tuning que corroam essa segurança, reduzindo comportamento nocivo em agentes de até 93,9% para no máximo 14,2%.
O dormant poisoning é uma classe de ataque particularmente insidiosa porque o modelo malicioso passa qualquer avaliação de segurança feita no momento do lançamento, já que se comporta de forma segura justamente para não ser detectado, e só revela o comportamento prejudicial depois que um usuário downstream realiza um fine-tuning aparentemente inofensivo, momento em que o atacante originalmente não tem mais controle direto sobre o processo. O artigo estende essa ameaça para dois cenários agentic ainda pouco estudados: comportamentos maliciosos que se generalizam para ações do agente nunca vistas durante o treinamento do backdoor, e múltiplos comportamentos maliciosos distintos que podem ser plantados simultaneamente e ativados juntos pelo mesmo fine-tuning benigno.
A dificuldade central para defender contra esse ataque é que as abordagens existentes geralmente dependem de respostas seguras externas, seria preciso saber de antemão como o modelo deveria responder a cada entrada potencialmente perigosa, ou de um modelo de referência limpo e confiável, ambos difíceis de obter na prática, sobretudo para ações de agentes. Os autores exploram uma propriedade estrutural do próprio ataque como alavanca de defesa: para que o backdoor permaneça oculto no lançamento, o atacante precisa necessariamente preservar um comportamento seguro observável nesse ponto, e esse comportamento seguro, justamente por precisar existir, pode servir como referência de segurança sem depender de terceiros.
A partir dessa observação, o Safety Buffer pareia automaticamente entradas potencialmente nocivas com as respostas que o próprio modelo lançado, ainda não corrompido pelo fine-tuning, dá a elas, além de versões benignas geradas pelo mesmo modelo. O LookAhead Defense usa esse buffer para simular o efeito de uma atualização de fine-tuning antes de aplicá-la de fato, penalizando apenas as atualizações que o preview indica que vão degradar o comportamento seguro registrado no buffer ou aumentar recusas em versões benignas, evitando o problema comum de defesas anteriores, que tendem a aumentar indiscriminadamente a recusa ou reduzir a utilidade do modelo mesmo quando a atualização em questão era inofensiva.
Os números reportados são expressivos: redução de comportamento nocivo em agentes de até 93,9% para no máximo 14,2%, e de respostas nocivas em modelos de linguagem de até 92,5% para no máximo 2,0%, mantendo utilidade competitiva e baixa taxa de recusa excessiva, com eficácia também contra outros métodos de poisoning testados. Isso importa na prática porque reflete um ciclo de vida real de modelos de IA, pré-treinados por um fornecedor e depois ajustados por terceiros, no qual o ponto de maior exposição a esse tipo de ataque não é o lançamento do modelo, mas justamente a etapa de customização que a maioria das organizações realiza sem qualquer verificação de segurança equivalente à que o fornecedor original aplicou.