Pesquisadores (Yahao Ren e coautores) demonstram um ataque de fornecedor contra seletores automáticos de dados de instruction-tuning, que normalmente escolhem os registros mais “úteis” para treinar um modelo e descartar dados nocivos. O ataque, batizado de utility-hijacking, gera muitas variações de um registro malicioso e submete apenas a que recebe a maior pontuação de utilidade, elevando recusa indevida (over-refusal) de 0% para 94% e geração de código inseguro em até 56 de 90 casos nos modelos vítima testados.
O artigo mostra que backdoors 'dormentes' plantados em um modelo, programados para permanecer ocultos no lançamento e só se ativarem depois de um fine-tuning benigno subsequente, podem se estender a ações de agentes nunca vistas no treinamento original e até coexistir com múltiplos comportamentos maliciosos ativados juntos. Os autores propõem o LookAhead Defense, que usa um 'Safety Buffer' construído a partir do próprio comportamento seguro do modelo no momento do lançamento para prever e penalizar atualizações de fine-tuning que corroam essa segurança, reduzindo comportamento nocivo em agentes de até 93,9% para no máximo 14,2%.
O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.