NTBench expõe falha de LLMs e agentes contra injeção de prompt que preserva a aparência de resposta correta

Benchmarks tradicionais de robustez contra prompt injection costumam medir se um modelo abandona completamente a tarefa solicitada pelo usuário para executar uma instrução maliciosa totalmente diferente — por exemplo, se pedido para resumir um documento, o modelo passa a responder a uma pergunta não relacionada injetada no documento. Esse tipo de desvio "grosseiro" é relativamente fácil de detectar e, consequentemente, modelos modernos já se defendem bem dele. O problema identificado pelos autores é que esse tipo de teste deixa uma lacuna de avaliação inteira descoberta: um atacante não precisa fazer o modelo abandonar a tarefa — basta fazer o modelo completar a tarefa de um jeito que pareça correto, mas que esteja sutilmente errado ou contenha um efeito colateral prejudicial, como uma chamada de ferramenta incorreta num agente. Esse tipo de ataque, batizado "near-target prompt injection", é mais difícil de detectar justamente porque a resposta final se parece com uma resposta legítima na superfície.

O NTBench constrói seus casos de teste a partir de tarefas legítimas de datasets já existentes, usando o resultado de referência correto de cada tarefa para guiar a geração automática de pares alvo-instrução — ou seja, para cada tarefa, o framework gera uma instrução de ataque cujo objetivo é produzir uma variação específica e definida do resultado correto, não uma resposta qualquer fora de tópico. O benchmark separa dois tipos de alvo: resultados incorretos (a resposta parece certa mas contém um erro factual ou lógico introduzido) e resultados prejudiciais (a resposta pode até estar correta na tarefa principal, mas carrega um efeito colateral nocivo, como uma chamada de ferramenta que exfiltra dados). A validação combina verificação automatizada por LLM com revisão humana das alterações pretendidas, e a avaliação final usa um orçamento controlado de três execuções de ataque por amostra, excluindo desvios que já ocorreriam naturalmente mesmo sem qualquer injeção.

Os resultados, obtidos com sete LLMs avaliados em dez datasets de tarefas de linguagem e dois benchmarks de agentes, mostram que a taxa de sucesso de ataque nessa modalidade "near-target" é sistematicamente maior que a taxa obtida com ataques de alvo fixo tradicional em todos os modelos e cenários testados — com aumentos de 9,3 a 35,8 pontos percentuais para alvos incorretos, e de 1,7 a 17,3 pontos percentuais para alvos prejudiciais. Esse padrão consistente entre modelos diferentes sugere que a dificuldade não é uma fraqueza pontual de um modelo específico, mas uma lacuna estrutural na forma como a maioria dos LLMs atuais foi treinada ou ajustada para resistir a prompt injection — otimizada para rejeitar desvios óbvios, mas não para preservar a integridade fina do conteúdo numa tarefa que ainda parece, superficialmente, bem-sucedida.

O achado tem implicações diretas para quem avalia a segurança de agentes de IA em produção: um sistema que passa com nota alta em benchmarks convencionais de prompt injection pode ainda estar vulnerável a ataques que corrompem sutilmente uma resposta ou um fluxo de chamada de ferramenta sem que isso seja óbvio para um usuário ou revisor automatizado que apenas verifica se "a tarefa foi cumprida". Isso é especialmente preocupante em agentes que executam ações consequentes (transações financeiras, edições de código, envio de comunicações) onde uma alteração sutil e aparentemente plausível pode causar dano real sem disparar nenhum alarme de "a resposta está obviamente errada ou fora de tópico".