O estudo 'Model-as-a-Trojan' mostra que e possivel fine-tunar um modelo de peso aberto para que, assim que detectar acesso a um shell, exfiltre segredos do ambiente de execucao via consultas DNS codificadas em base32 -- um canal que sobrevive mesmo em sandboxes com toda a saida de internet bloqueada, exceto resolucao de nomes. O implante resistiu a 20 de 20 tentativas de supressao adversarial via prompt e nunca revelou sua existencia sob interrogatorio direto.
Fonte ↗O estudo avalia mecanismos de "trigger-tag", que inserem sinais detectáveis em modelos de peso aberto para sinalizar quando são usados para fins maliciosos, como gerar phishing, e demonstra que ataques relativamente simples os tornam completamente ineficazes. Os autores formalizam dois tipos de trigger-tag, baseados em watermark no nível de token e baseados em backdoor no nível de peso, e criam um framework de ataque unificado para testá-los. A conclusão é que, embora úteis em ambientes controlados, esses mecanismos não devem ser considerados detectores robustos contra atacantes capazes de transformar saídas ou modificar os pesos do modelo.
Fonte ↗Pesquisadores propoem uma defesa em nivel de pesos contra ataques de representation engineering, em que um atacante com acesso total ao modelo (peso aberto) estima a direcao interna de recusa e edita a matriz de projecao para desativar o alinhamento de seguranca em minutos, sem treinamento por gradiente. O metodo, chamado Bait-and-Recover, coloca um adaptador "isca" exatamente onde o atacante mede as ativacoes e um adaptador de "recuperacao" na camada seguinte, treinados via gradient routing para desacoplar o que o atacante observa do que o modelo de fato faz. Em quatro modelos abertos testados, a taxa minima de recusa sob esse tipo de ataque subiu de 16,25% para 71,75%, com impacto minimo na capacidade geral.
Fonte ↗