INFUSE: benchmark expoe que agentes de IA ainda caem em injecao de prompt indireta ao longo de workflows inteiros
Pesquisadores apresentam o INFUSE, um benchmark com 40 tarefas realistas e 56 cenarios de ataque que avalia injecao de prompt indireta (IPI) ao longo de todo o ciclo de vida de agentes de IA que executam comandos de shell, modificam codigo e interagem com servicos remotos — nao apenas em prompts isolados. Testando 19 modelos das familias GPT, Claude, Gemini, Llama, Gemma e Qwen em mais de 41 mil trajetorias adversariais, a taxa media de sucesso de ataque ficou em 19,6%, com modelos individuais variando de 3,2% a 41,9%. Guard models prontos ofereceram protecao limitada, enquanto endurecer as instrucoes no nivel do prompt reduziu o sucesso medio de 58,2% para 14,3%, mas ainda deixando uma lacuna de seguranca relevante.
A motivacao do INFUSE parte de uma lacuna metodologica real: a maior parte da literatura sobre prompt injection indireta testa ataques isolados — uma unica string maliciosa embutida em um documento, uma unica chamada de ferramenta manipulada — em vez de simular o que de fato acontece quando um agente autonomo executa uma tarefa longa, com dezenas de passos, acessando arquivos, instalando dependencias e chamando servicos externos ao longo do caminho. Isso deixa um ponto cego justamente onde o risco e maior: agentes com autonomia de longo horizonte, como os usados hoje para codificacao assistida e automacao de infraestrutura, encontram muito mais superficies de injecao do que um unico prompt de entrada.
Tecnicamente, o benchmark injeta instrucoes adversariais atraves de superficies de interacao realistas que o agente encontra durante a execucao normal da tarefa — por exemplo, conteudo de um arquivo que o agente le, a saida de um comando que ele executa, ou a resposta de um servico remoto que ele consulta — e classifica os ataques em uma taxonomia de cinco categorias de ameaca. A escala do experimento (quase 42 mil trajetorias adversariais e 720 execucoes benignas de referencia) permite medir nao so se um ataque isolado funciona, mas como a taxa de sucesso evolui conforme o agente avanca por um workflow completo, algo que benchmarks anteriores simplesmente nao capturavam.
O resultado mais preocupante nao e a taxa media de 19,6%, mas a variacao entre modelos (3,2% a 41,9%) e o fato de que os guard models dedicados a deteccao de prompt injection tiveram desempenho fraco como camada isolada de defesa. Em contrapartida, o endurecimento de instrucoes a nivel de prompt — basicamente, instruir explicitamente o modelo a desconfiar de instrucoes vindas de conteudo externo — reduziu o sucesso medio de ataque de 58,2% para 14,3%, uma melhora significativa, mas que ainda deixa uma fatia de ataques bem-sucedidos mesmo com a melhor defesa simples disponivel hoje.
Isso importa na pratica porque empresas estao adotando agentes de codificacao e automacao (como os citados Claude Code e Codex em outros estudos da mesma leva) para tarefas que envolvem ler conteudo nao confiavel — repositorios externos, paginas web, saidas de ferramentas de terceiros — e agir com privilegios reais sobre sistemas de producao. O INFUSE demonstra que, mesmo nos melhores modelos atuais, a defesa contra instrucoes maliciosas escondidas em conteudo externo ainda nao e confiavel o suficiente para dispensar controles adicionais, como sandboxing de execucao, listas de permissao para acoes sensiveis e revisao humana em pontos de decisao criticos do workflow.