"Utility-hijacking" engana seletores de dados de fine-tuning para concentrar, em vez de filtrar, registros maliciosos

Seletores de dados de instruction-tuning existem para resolver um problema real: nem todo exemplo disponível para ajuste fino é igualmente útil, e escolher automaticamente os registros mais valiosos melhora a qualidade do alinhamento do modelo, a eficiência do treinamento e, supostamente, filtra conteúdo nocivo antes que ele chegue ao conjunto de treinamento final. O artigo de Yahao Ren e coautores é o primeiro estudo sistemático de como um fornecedor malicioso de dados — alguém que contribui registros para esse pipeline — pode atacar adaptativamente esse mecanismo de seleção, cunhando o termo “utility-hijacking” para descrever o resultado: em vez de o seletor filtrar o conteúdo malicioso, ele passa a concentrá-lo, selecionando desproporcionalmente os registros envenenados como se fossem os mais valiosos.

Tecnicamente, o desafio para o atacante é uma tensão direta: otimizar um registro para maximizar sua pontuação de utilidade tende a “lavar” ou diluir o payload malicioso embutido nele, enquanto preservar o payload de forma explícita faz o registro parecer de baixo valor para o seletor e ser descartado. Os autores resolvem essa tensão com um procedimento de “gerar e reranquear”: para cada instrução-alvo, geram muitas variações candidatas que carregam o payload malicioso, mas com formulações e contextos diferentes, e submetem ao pipeline apenas a variação que sobreviveu com a pontuação de utilidade mais alta entre todas as candidatas geradas — efetivamente fazendo uma busca para encontrar a formulação do ataque que melhor engana aquele seletor específico.

Os resultados experimentais, testados contra seis seletores distintos e modelos vítima de Qwen2.5-7B até Qwen3-32B, com três payloads diferentes, são expressivos: recusa indevida de solicitações legítimas (over-refusal) subiu de 0% para 94%, geração de código inseguro chegou a 56 em 90 casos testados, e o enriquecimento de fatos falsos no modelo final escalou de 2,84 a 7,04 vezes conforme aumentava a escala do próprio modelo usado para pontuar a utilidade dos dados — um resultado contraintuitivo, já que sugere que seletores mais sofisticados e caros podem, paradoxalmente, ser mais fáceis de explorar com essa técnica de busca adaptativa, não mais difíceis.

Na prática, esse achado é relevante para qualquer organização que usa pipelines automatizados de curadoria de dados para fine-tuning, especialmente quando parte dos dados vem de fontes externas ou parcialmente não confiáveis (crowdsourcing, contribuições de comunidade, dados de terceiros). A defesa proposta pelos autores, chamada CONCERT, ataca o problema sem precisar de um detector de conteúdo malicioso: ela identifica fornecedores que são selecionados com frequência estatisticamente anômala em relação ao esperado pelo acaso, e então reseleciona os dados sob o mesmo orçamento, mantendo apenas registros aprovados por dois seletores dissimilares simultaneamente — reduzindo a concentração de veneno de 6,67x para 0x no caso de código inseguro, e cortando o dano final em até 100%, sem alterar a capacidade do modelo em tarefas legítimas. O resultado é um alerta de que confiar em um único seletor de “qualidade” ou “utilidade” como filtro de segurança é insuficiente quando o fornecedor de dados é adaptativo.