Pesquisa redefine prompt injection indireta por autoridade da fonte e expõe lacunas em defesas que só olham redirecionamento de tarefa

A maior parte dos benchmarks de prompt injection indireta testa um padrão específico: conteúdo malicioso plantado numa página ou documento que tenta fazer o agente abandonar a tarefa do usuário e executar outra, escolhida pelo atacante. O artigo argumenta que essa definição é estreita demais, porque conteúdo controlado pelo atacante também pode manter o agente na mesma tarefa e apenas adulterar o resultado — o exemplo que os autores usam é uma evidência de disputa de um comprador citando uma política de reembolso falsa para inflar o valor devolvido, sem nunca tentar redirecionar o agente para outra tarefa.

A contribuição central é redefinir o que conta como ataque pela autoridade da fonte, não pela forma do texto: conteúdo plantado é um ataque quando tenta influenciar uma decisão que sua fonte não tem autoridade para determinar — independentemente de parecer ou não uma instrução explícita. A partir dessa definição, os autores constroem um benchmark de 90 casos validados em três ambientes de uso de ferramentas, cada um especificando explicitamente qual fonte deveria resolver qual decisão, e desenham ataques que adulteram até seis componentes distintos do raciocínio do agente: o objetivo, as regras de decisão, as ações disponíveis, as consequências esperadas, a leitura das observações e as crenças sobre o estado atual.

O resultado mais importante é que, em três desses seis alvos — regras de decisão, ações disponíveis e estado —, a taxa média de sucesso do ataque supera a taxa de ataques que miram o objetivo (o padrão medido pelos benchmarks tradicionais) em cinco LLMs testados. E as defesas avaliadas, que funcionam razoavelmente bem contra ataques de objetivo, degradam de forma desigual contra os outros alvos: uma defesa de detecção-e-remoção reduz ataques de objetivo para 2,4% de sucesso, mas deixa ataques de observação e de estado em 9,5% e 12,1% — uma diferença que persiste mesmo quando o texto do ataque é reescrito especificamente para evitar detecção. Uma defesa baseada em política de ferramentas permite 15,4% de sucesso, pouco melhor que os 17,0% sem nenhuma defesa, porque esses ataques tipicamente mantêm as ferramentas esperadas e só manipulam valores obtidos durante a execução.

Isso importa porque mostra que avaliações de segurança focadas em redirecionamento de tarefa — a forma mais fácil de medir e, por isso, a mais comum na literatura — sistematicamente sobrestimam a cobertura real das defesas de prompt injection. Para quem constrói ou avalia agentes de IA em produção, a lição prática é que um agente pode estar perfeitamente protegido contra tentativas de «sequestrar» sua tarefa e, ainda assim, estar vulnerável a conteúdo que silenciosamente distorce os critérios com que ele decide o resultado dessa mesma tarefa.