Slot Attack do JevBreak manipula decisões de classificadores de IA com poucas dezenas de consultas

Modelos de decisão são sistemas que recebem uma entrada (um texto, uma evidência, um currículo, um caso) e devolvem uma escolha entre um conjunto fixo de opções pré-definidas — por exemplo, aprovar ou rejeitar algo, classificar um risco em categorias discretas, ou escolher entre alternativas de múltipla escolha. A premissa de segurança usual é que, se o conjunto de respostas possíveis é restrito e conhecido, o controle sobre o que o modelo pode "dizer" já limita o dano que um atacante pode causar. O artigo demonstra que essa premissa é falsa: restringir o formato da resposta não restringe a capacidade do atacante de influenciar qual dessas respostas permitidas o modelo escolhe.

O Slot Attack, a técnica central do trabalho, opera em regime de caixa-preta total: não exige acesso aos pesos do modelo, apenas às probabilidades de rótulo retornadas pela API em resposta a uma consulta. O ataque funciona anexando à evidência original um texto montado a partir de componentes nomeados ("slots") — fragmentos cuja combinação específica é descoberta por tentativa e erro, observando como cada combinação desloca as probabilidades de saída em direção à opção incorreta escolhida pelo atacante. Avaliado contra sete modelos de decisão, incluindo APIs hospedadas comercialmente, modelos de peso aberto e um encoder, em 16 tarefas de sete domínios diferentes, o método identifica combinações eficazes de componentes com uma mediana de apenas 17 a 72 consultas por ataque bem-sucedido, um custo de consulta baixo o suficiente para ser viável contra serviços em produção com limites de taxa realistas.

Um achado particularmente preocupante é que confiança e acurácia do modelo não revelam essa vulnerabilidade de forma confiável: modelos com acurácia quase idêntica nas tarefas avaliadas diferem em cerca de 20 pontos percentuais na taxa de sucesso do ataque sofrido, o que significa que benchmarks de qualidade padrão não servem como proxy para robustez a esse tipo de manipulação. Os autores também mostram que o atacante não está limitado a produzir apenas uma resposta errada específica: é possível forçar virtualmente qualquer opção incorreta disponível, com taxas de sucesso que variam de cerca de 20% até 98% dependendo do modelo e da tarefa.

Na prática, isso é relevante porque modelos de decisão de múltipla escolha são usados exatamente nos contextos onde se espera que a restrição de formato ofereça alguma garantia de segurança — triagem de conteúdo, moderação, avaliação de risco — e o trabalho mostra que essa garantia não existe sem avaliação explícita de robustez por modelo, por tarefa e por versão. Isso implica que equipes que dependem de classificadores restritos como camada de decisão automatizada precisam tratar robustez adversarial como um requisito de segurança contínuo, e não assumir que o formato de saída limitado já oferece proteção suficiente contra manipulação direcionada.