"Target rebinding": técnica engana guardas de segurança de LLM fazendo-os avaliar o texto errado

O estudo parte de uma observação simples sobre como a maioria dos guardas de segurança de LLM funciona na prática: eles recebem o conteúdo a ser avaliado colado dentro de um prompt de texto puro e emitem um julgamento sobre ele. Os pesquisadores descobrem que esses guardas tendem a avaliar a última tarefa completa presente no texto, não o pedido original em sua totalidade. Isso abre a porta para um ataque de "realinhamento de alvo": basta anexar, depois do pedido nocivo, uma consulta forjada acompanhada de um decoy inofensivo, e o guarda emite seu veredito sobre o decoy, deixando passar o conteúdo perigoso que veio antes dele intacto.

Em testes pré-registrados, essa técnica conseguiu fazer todas as 75 solicitações do AdvBench sinalizadas pelo guarda Shieldstral-1.0-3B passarem sem bloqueio. É importante notar o que NÃO funciona: uma instrução direta pedindo ao guarda para "ignorar o texto acima" falha completamente, o que indica que o guarda não está simplesmente sendo persuadido ou manipulado por linguagem imperativa — ele está genuinamente classificando a estrutura errada do texto como o objeto de avaliação. No benchmark GuardRebind construído pelos autores, cada um dos cinco guardas avaliados tinha pelo menos uma família de ataque, escolhida especificamente para aquele guarda, capaz de liberar 93% ou mais dos itens que originalmente seriam bloqueados.

A mitigação proposta consiste em re-treinar o guarda para que ele pontue o conteúdo com base em sua parte mais prejudicial, e não apenas na última tarefa aparente — uma mudança de objetivo de treinamento, não apenas um filtro adicional. Essa abordagem derrubou a taxa de sucesso do ataque de 75% para a faixa de 0,8% a 1,6% em famílias de ataque, decoys e consultas forjadas que ficaram fora do conjunto de treinamento, com perda de AUROC em dados limpos de no máximo 0,01. Ainda assim, os próprios autores reconhecem os limites da correção: uma busca guiada por pontuação (score-guided search) ainda venceu o guarda treinado em 47 de 50 itens testados, geralmente posicionando a estrutura forjada antes do pedido em vez de depois — e em cerca de metade desses casos vitoriosos, a mesma busca também encontrou texto completamente benigno, sem qualquer estrutura forjada, que já bastava para passar pelo guarda.

O resultado importa porque guardas de segurança baseados em LLM são cada vez mais usados como camada de defesa em pipelines de agentes autônomos e sistemas de moderação de conteúdo, e esse trabalho mostra que a arquitetura mais comum de guarda — colar o conteúdo suspeito num prompt de texto plano e pedir um julgamento — tem uma fragilidade estrutural que independe do guarda específico treinado. A correção parcial obtida via re-treinamento é informativa, mas o fato de uma busca adversarial simples ainda vencer o guarda corrigido na maioria das tentativas sugere que esse tipo de defesa reativa está em uma corrida constante contra novas formulações de ataque, e não resolve o problema de raiz.