Modelo de decisão de 4B parâmetros filtra HTML recuperado e corta sucesso de prompt injection de 28% para menos de 6%

Sistemas de busca aumentada por recuperação (RAG) trazem para dentro do contexto do modelo texto escrito por terceiros, e esse texto pode conter tanto instruções dirigidas ao modelo quanto páginas sintéticas inteiras fabricadas para enganar o sistema de recuperação e inflar artificialmente a relevância de conteúdo falso. O artigo testa se «decision models» — modelos abertos que respondem perguntas tipadas sobre um texto sem gerar tokens livremente, portanto mais rápidos e mais previsíveis que um LLM gerativo — conseguem servir como uma camada de triagem contra as duas ameaças ao mesmo tempo.

No benchmark de prompt injection, com mil perguntas sobre páginas de fórum contendo instruções escondidas, o gate baseado no modelo Kev-4B processa o HTML bruto de cada passagem (não apenas o texto extraído) antes de decidir se ela é admitida no contexto do modelo gerador. Essa escolha de ler o HTML, e não o texto plano, acaba sendo o fator técnico mais relevante do resultado: modelos que leem apenas texto plano perdem sinais estruturais (como tags ou formatação atípica) que ajudam a distinguir conteúdo dirigido a humanos de instruções plantadas para o modelo. Com isso, o sucesso de ataque medido automaticamente cai de 27,9% sem defesa para 13,6% com mitigações publicadas convencionais (sanitização, normalização, citation prompting) e para 5,7% com o gate adicionado — a um custo de apenas 76ms por passagem e taxa de falso positivo baixa (4 em 186 páginas benignas com instruções legítimas para leitores humanos incorretamente bloqueadas).

No segundo cenário, de poluição de recuperação, dois terços das páginas candidatas num conjunto de 200 consultas eram fabricadas especificamente para distorcer o ranking de relevância. Filtrar o pool de candidatos antes de selecionar as dez páginas finais manteve a exposição a conteúdo falso em apenas 0,5% e preservou 83% de acurácia, contra 28% de acurácia sem filtro — e os autores notam que filtrar apenas as dez páginas finais escolhidas não funciona bem, porque isso deixa o gerador com poucas páginas reais para formular a resposta. Como ponto de comparação, LLMs grandes usados como juízes alcançam uma qualidade de ranqueamento ligeiramente melhor (AUROC 0,99 contra 0,94), mas a um custo computacional dez vezes maior, o que tornaria essa abordagem inviável como filtro de todo o tráfico de recuperação em produção.

O valor prático aqui é mostrar que uma camada de defesa barata e determinística, rodando antes do LLM gerativo, pode capturar uma fração substancial de dois vetores de ataque distintos (injeção de instrução e poluição de dados) sem o custo e a imprevisibilidade de usar um LLM grande como juiz em cada passagem recuperada — um modelo de arquitetura relevante para qualquer pipeline de RAG que precise lidar com conteúdo da web aberta sem inflar latência ou custo de inferência.