#envenenamento-de-modelos

risco médioOS-2026-729 · 2026-10-20

LookAhead Defense reduz ativação de comportamentos maliciosos dormentes após fine-tuning de agentes de IA

O artigo mostra que backdoors 'dormentes' plantados em um modelo, programados para permanecer ocultos no lançamento e só se ativarem depois de um fine-tuning benigno subsequente, podem se estender a ações de agentes nunca vistas no treinamento original e até coexistir com múltiplos comportamentos maliciosos ativados juntos. Os autores propõem o LookAhead Defense, que usa um 'Safety Buffer' construído a partir do próprio comportamento seguro do modelo no momento do lançamento para prever e penalizar atualizações de fine-tuning que corroam essa segurança, reduzindo comportamento nocivo em agentes de até 93,9% para no máximo 14,2%.

#artigo-cientifico #envenenamento-de-modelos #backdoor #fine-tuning #agentes-ia #defesa

Fonte ↗

risco altoOS-2026-658 · 2026-10-12

"Cancerous Backdoor": pesquisadores demonstram backdoor em LLM que se ativa gradualmente ao longo de várias interações

Um novo ataque de backdoor chamado "Cancerous Backdoor Attack" abandona o modelo clássico de gatilho único seguido de ativação imediata e, em vez disso, corrompe o raciocínio do modelo em estágios progressivos ao longo de múltiplas interações, usando tokens invisíveis para marcar o avanço do ataque sem que nada apareça na solicitação visível do usuário. Os autores mostram que essa corrupção gradual passa despercebida por métricas tradicionais de acurácia de resposta, só se tornando visível depois que o dano já está consolidado.

#artigo-cientifico #backdoor #llm #envenenamento-de-modelos #seguranca-de-ia #deteccao-de-ataques

Fonte ↗