Marca d'água embutida nos pesos de modelos Mixture-of-Experts rastreia texto gerado a partir de checkpoints roubados
Pesquisadores propõem o WoE, uma técnica de watermarking que embute o sinal de proveniência diretamente nos pesos de modelos Mixture-of-Experts esparsos, em vez de depender do wrapper de inferência controlado pelo dono do modelo. Isso permite atribuir texto gerado mesmo depois que os pesos são roubados ou vazados — algo que os métodos de watermark tradicionais, dependentes do sampler de inferência, não conseguem fazer — com taxa de detecção de até 94,9% e resistência a fine-tuning, extração de modelo e paráfrase.
Watermarking de LLMs hoje é majoritariamente feito no momento da inferência, alterando o processo de amostragem (sampler) do lado do provedor do modelo — o que funciona bem enquanto o texto é gerado através da API controlada pelo dono do modelo, mas falha completamente se um adversário rouba ou vaza os pesos do modelo, porque nesse caso o atacante controla a inferência e pode simplesmente usar um sampler não modificado, sem watermark algum.
Os autores (te Lintelo, Wu e Picek) propõem o WoE (Watermarking of Experts), que explora uma propriedade estrutural específica de modelos Mixture-of-Experts (MoE) esparsos: em vez de embutir o watermark no wrapper de inferência, o método enviesa o vocabulário de especialistas (experts) específicos dentro da própria arquitetura, tornando o sinal de watermark intrínseco aos parâmetros do modelo, não ao processo de amostragem.
Isso permite atribuir texto a um modelo mesmo quando ele foi gerado a partir de pesos roubados, checkpoints vazados, ou modelos densos secundários destilados a partir da arquitetura roubada — sem que o defensor precise de acesso à implantação ou aos pesos do adversário. Nos experimentos com oito modelos MoE, o método atinge taxa média de verdadeiro positivo de 90,1% (chegando a 94,9%) com apenas 1% de falso positivo, e continua detectável mesmo após fine-tuning adversarial supervisionado, extração de modelo e paráfrase da saída.
O valor prático é deslocar o watermarking de "algo que só funciona se você controla a API" para "algo que sobrevive ao pior cenário de segurança de um provedor de modelo" — vazamento ou roubo de pesos —, o que é relevante à medida que incidentes de exfiltração de modelos proprietários se tornam uma preocupação real para empresas que treinam LLMs de alto valor.