Estudo com 563 mil ataques reais mostra que vítimas de prompt injection reaproveitam as técnicas que funcionaram contra elas
Usando dados do jogo online Tensor Trust, pesquisadores mostram que jogadores cujas defesas de LLM foram violadas reutilizam os ataques recebidos contra outros jogadores dez vezes mais do que ataques equivalentes que nunca os atingiram, e que esse reaproveitamento segue o sucesso do ataque, não sua aparência superficial. O trabalho também mostra que divulgar o ataque recebido ajuda a vítima a corrigir sua defesa, criando uma tensão direta entre transparência defensiva e o risco de capacitar novos atacantes.
Como prompt injection contra LLMs é, por natureza, texto simples e legível, qualquer registro de ataque recebido — um log de segurança, um relatório de incidente, a própria tela que avisa "essa mensagem tentou te atacar" — também entrega ao alvo uma cópia funcional da técnica usada contra ele. O estudo explora o Tensor Trust, um jogo em que jogadores defendem contas protegidas por um LLM e podem ver todos os ataques que receberam, para medir empiricamente o que as pessoas fazem com esse conhecimento.
Analisando 563.349 registros de ataque, os autores compararam cada ataque recebido por um jogador com ataques equivalentes que circularam entre jogadores parecidos no mesmo período, mas que nunca chegaram até aquele alvo específico — um desenho que isola o efeito de "ter sido atingido" do conteúdo do próprio ataque. O resultado principal é que o reaproveitamento segue o sucesso, não a aparência: dentro de uma semana, alvos reutilizaram 10,0% dos ataques que romperam sua defesa contra outros jogadores, contra apenas 0,03% dos ataques equivalentes que falharam, uma diferença de 8,8 a 10,0 pontos percentuais. "Quase-sucessos", respostas que começavam como uma concessão de acesso mas que tecnicamente contavam como falha, foram reaproveitados na mesma taxa baixa das falhas reais, reforçando que o que importa é o resultado medido, não a impressão superficial de sucesso.
Depois de serem atacadas com sucesso, as vítimas também corrigiam suas defesas: ataques da mesma família ficaram 24,5 pontos percentuais menos eficazes contra o alvo original em relação a outros defensores que não haviam sido atingidos por aquele ataque específico. O reaproveitamento veio majoritariamente de jogadores que já atacavam ativamente outros, não de novatos entrando no jogo, e 23,2% dos sequestros de conta bem-sucedidos analisados usaram texto que o próprio atacante havia recebido anteriormente como vítima.
O achado tem implicação direta para quem opera programas de bug bounty, red team ou simplesmente decide como comunicar incidentes de prompt injection para os afetados: mostrar o texto completo do ataque recebido ajuda a corrigir a defesa, mas também alimenta um ciclo de reaproveitamento ofensivo. Os autores sugerem como mitigação descrever a técnica de ataque sem publicar o payload literal, uma recomendação que se aplica igualmente a como fornecedores de ferramentas de segurança de IA devem redigir advisories e relatórios de incidente envolvendo prompt injection.