Ablação de uma única direção remove até 77,6% da recusa de segurança num MoE de 320B parâmetros
A ablação direcional, técnica de caixa-branca que remove a capacidade de recusa de um modelo projetando para fora dos pesos uma única 'direção de recusa', era validada até agora apenas em modelos densos de até cerca de 70B parâmetros. Este estudo aplica a técnica ao GLM-5.3-Flash, um modelo mixture-of-experts de 320B parâmetros com 288 especialistas roteados, e mostra que ela sobrevive à mudança de arquitetura, mas só funciona plenamente quando atenção, pesos densos e especialistas roteados são editados em conjunto, produzindo reduções de recusa de 41 a 89 pontos percentuais em sete benchmarks nocivos sem perda de capacidade detectada.
A ablação direcional é hoje o ataque canônico de caixa-branca contra alinhamento de modelos de peso aberto: não exige treinamento baseado em gradiente nem otimização, apenas algumas centenas de prompts contrastivos para identificar uma 'direção de recusa' no espaço de ativações, que depois é projetada para fora dos pesos que escrevem no fluxo residual do modelo. Até este trabalho, a técnica só havia sido estabelecida em modelos densos de até aproximadamente 70B parâmetros.
O artigo testa se a técnica sobrevive à transição para modelos mixture-of-experts (MoE) de fronteira, cujo fluxo residual deixa de ser um único tensor e cujos pesos são distribuídos em formato quantizado. Os autores aplicam o método ao GLM-5.3-Flash, um modelo de 320 bilhões de parâmetros com 288 especialistas roteados, fluxo residual de hiperconexão de quatro vias e pesos em block-FP8.
Os resultados mostram que o ataque sobrevive, mas não da forma que a receita convencional esperaria: editar isoladamente os escritores de atenção, pesos densos e especialistas roteados remove apenas 3,9%, 1,6% e 14,8% da recusa, respectivamente, enquanto editar os três em conjunto remove 77,6%. Ou seja, 74% do efeito só existe sob a intervenção conjunta, e a parte que a receita convencional de correspondência por nome de módulo conseguiria alcançar sozinha responde por apenas 6,6 pontos percentuais desses 77,6%, o que explica por que a aplicação ingênua da técnica 'falha silenciosamente' num MoE, parecendo o modelo robusto quando na verdade só foi atingido por uma fração pequena da intervenção necessária. Uma direção aleatória ortogonal à direção de recusa não altera o comportamento do modelo, confirmando que o efeito não é ruído, e um resíduo concentrado por categoria, especialmente para conteúdo de violência, sexual e ódio, sobrevive a todas as edições testadas.
O achado tem implicação prática direta para laboratórios que lançam modelos MoE de peso aberto em grande escala, na expectativa de que a complexidade estrutural da arquitetura eleve incidentalmente a barreira contra esse ataque já bem conhecido: essa expectativa não se confirma. Um atacante que aplicar ingenuamente a receita de ablação de módulo único veria o modelo parecer enganosamente robusto, enquanto uma versão mais completa, com intervenção conjunta, ainda remove a vasta maioria do comportamento de recusa sem perda de capacidade detectada, um risco concreto para qualquer organização que trate a escala ou a arquitetura MoE, por si só, como mitigação de segurança relevante.