Modelos neuro-simbólicos também são vulneráveis a ataques de backdoor, mostra primeiro estudo sistemático
Pesquisadores realizaram a primeira avaliação sistemática de ataques de backdoor contra modelos de IA neuro-simbólica (NeSy), que combinam percepção neural com raciocínio simbólico e costumam ser vistos como 'robustos por design'. Testando o framework DeepProbLog contra redes neurais convencionais em oito cenários de backdoor e quatro tarefas de raciocínio, mostram que os modelos NeSy são em média mais robustos, mas a robustez depende fortemente do rigor do processo de raciocínio imposto.
IA neuro-simbólica (NeSy) é um paradigma que integra percepção neural sub-simbólica com raciocínio simbólico fundamentado, com o objetivo declarado de produzir sistemas de IA mais transparentes, explicáveis e confiáveis. Justamente por essa reputação, suas propriedades sob ataque adversarial vinham sendo pouco investigadas — havia uma suposição implícita de que a camada simbólica tornaria esses modelos robustos por construção, sem verificação empírica.
Os autores argumentam que o próprio processo de integração neuro-simbólica introduz uma camada adicional de complexidade que pode servir como ponto de entrada para ataques, e conduzem a primeira avaliação sistemática de ataques de backdoor contra sistemas NeSy. Compararam o framework mais popular da área, DeepProbLog, contra redes neurais convencionais equivalentes, em um total de oito configurações de backdoor e quatro tarefas de raciocínio distintas.
Os resultados mostram que, em média, os modelos NeSy são de fato mais robustos que suas contrapartes puramente neurais — mas essa robustez varia enormemente dependendo de quão rígido é o processo de raciocínio simbólico imposto e de quão compatível esse rigor é com o alvo específico que o atacante está tentando implantar via backdoor. Em outras palavras, não existe uma garantia uniforme: alguns esquemas de raciocínio simbólico bloqueiam o backdoor quase completamente, enquanto outros deixam brechas exploráveis dependendo do alvo do ataque.
A relevância prática é desmontar uma suposição comum entre times que adotam NeSy por seus benefícios de explicabilidade e conformidade regulatória: robustez adversarial não vem de graça junto com a camada simbólica, e precisa ser avaliada e testada para cada configuração específica de raciocínio, da mesma forma que se testaria qualquer outro modelo de aprendizado de máquina exposto a dados potencialmente manipulados por um atacante.