LongPIBench expõe que defesas contra injeção de prompt falham quando o contexto fica longo
Praticamente todos os benchmarks de injeção de prompt existentes testam contextos curtos, o que segundo os autores infla artificialmente a eficácia percebida das defesas atuais. O LongPIBench cobre quatro cenários realistas — revisão de artigos, triagem de currículos, revisão de código e resumo de e-mails — com contextos de milhares a dezenas de milhares de tokens, e mostra que até ataques simples de injeção conseguem taxas de sucesso altas e contornam defesas de estado da arte nesse regime.
A literatura de defesa contra prompt injection cresceu majoritariamente em cima de benchmarks de contexto curto: um documento pequeno, uma instrução maliciosa embutida, e a defesa precisa identificá-la. O problema apontado pelos autores é que aplicações reais de agentes de LLM — revisar um artigo acadêmico inteiro, triar um currículo junto com anexos, revisar um pull request grande, resumir uma caixa de e-mails — operam rotineiramente com contextos de dezenas de milhares de tokens, um regime em que o comportamento de ataques e defesas nunca foi sistematicamente medido.
O LongPIBench preenche essa lacuna com quatro cenários de aplicação escolhidos por serem realistas e comuns em fluxos de trabalho com agentes: revisão por pares de artigos, triagem de currículos, revisão de código e resumo de e-mails. Para cada cenário os autores construíram tanto um dataset sintético quanto um dataset do mundo real, cobrindo contextos que vão de milhares a dezenas de milhares de tokens — o suficiente para capturar o efeito real de 'diluir' a instrução maliciosa em meio a muito conteúdo legítimo.
O resultado central é desconfortável para quem confia nas defesas atuais: mesmo ataques de injeção heurísticos e simples, que já seriam bloqueados com folga em contexto curto, alcançam taxas de sucesso altas e frequentemente contornam defesas consideradas estado da arte quando o contexto cresce. Isso sugere que o mecanismo de defesa (seja ele um classificador, um LLM-juiz, ou uma heurística de padrão) perde precisão à medida que o sinal da instrução maliciosa fica proporcionalmente menor dentro da janela de contexto — um efeito de diluição que os benchmarks curtos simplesmente não conseguiam revelar.
A implicação prática mais direta é que qualquer avaliação de segurança de um agente de LLM que vá lidar com documentos longos (o caso comum em automação de escritório, revisão de código, triagem de currículos) não pode se basear em números de robustez medidos só em contexto curto — o número reportado tende a superestimar a proteção real. Para times que já publicaram ou avaliaram defesas contra prompt injection usando benchmarks tradicionais, o LongPIBench é um convite a reavaliar essas mesmas defesas no regime de contexto em que elas de fato vão rodar em produção.