Backdoor-as-a-Service: ataque em caixa-preta ativa comportamento oculto sem tocar em pesos ou dados de treino
Pesquisadores apresentam uma tecnica de backdoor que dispensa qualquer envenenamento de dados ou manipulacao direta do modelo: usando busca genetica, eles descobrem transformacoes de entrada que ativam uma tarefa secundaria latente ja presente no comportamento do modelo. O metodo foi validado contra um classificador MNIST e contra um classificador de conteudo NSFW de nivel de producao, convertido em um proxy de classificacao demografica.
A maior parte da literatura de backdoor em machine learning assume que o atacante precisa envenenar dados de treinamento ou manipular diretamente pesos e arquitetura do modelo -- uma barreira de acesso que muitos consideravam suficiente para descartar o risco em sistemas ja implantados. Este artigo desafia essa suposicao ao propor o 'Backdoor-as-a-Service': em vez de instalar um backdoor, o ataque ativa, por meio de buscas em caixa-preta, um comportamento secundario que ja existe de forma latente no modelo, sem alterar uma unica linha de dado de treino, peso ou arquitetura.
Tecnicamente, a tecnica usa busca genetica para explorar o espaco de transformacoes de entrada ate encontrar uma que produza diferencas sistematicas de saida alinhadas a uma tarefa definida pelo atacante. O unico requisito e acesso de consulta ao modelo (caixa-preta), sem necessidade de conhecer arquitetura, pesos ou pipeline de treino. Os autores demonstram a tecnica em dois alvos: um classificador de digitos MNIST, coagido a realizar reconhecimento binario de letras, e um classificador de conteudo NSFW de nivel de producao, que foi transformado, via perturbacoes especificas de face, em um proxy de classificacao de grupo demografico.
O segundo caso e o mais preocupante: um sistema de moderacao de conteudo implantado em producao, supostamente avaliado apenas pela sua funcao declarada (detectar conteudo adulto), pode ser coagido a realizar uma tarefa completamente diferente e sensivel -- classificacao demografica -- sem que o operador do sistema tenha feito nada de errado em termos de pipeline de treinamento ou curadoria de dados. Isso quebra o modelo mental comum de que 'se eu controlei meus dados de treino e minha arquitetura, meu modelo esta livre de backdoor'.
Na pratica, o achado desloca o foco de defesas de seguranca de ML: auditorias que hoje se concentram em verificar integridade de dados de treino e de pesos nao capturam esse tipo de ataque, porque nao ha nada de anomalo para auditar -- o comportamento latente emerge do proprio processo de treinamento normal. Equipes que operam classificadores sensiveis (moderacao, biometria, deteccao de fraude) precisam considerar testes de red-team baseados em busca de transformacoes adversariais de entrada, nao apenas verificacao de proveniencia de dados e modelo.