Pesquisa mostra deteccao de injecao de prompt calibrada ainda falha sob mudanca de distribuicao
Um estudo comparou quatro abordagens de deteccao de injecao de prompt — um modelo de decisao probabilistica nativo (Jev), dois classificadores Llama Prompt Guard 2 (22M e 86M parametros) e um juiz baseado em LLM — em 47.611 exemplos cobrindo injecoes diretas, indiretas, entradas benignas dificeis e mudanca de distribuicao. O juiz LLM obteve a melhor discriminacao (AUROC 0,897), mas o achado mais importante e operacional: para atingir uma taxa de falso negativo de apenas 1%, todos os sistemas avaliados exigiram escalar para revisao humana mais de 91,8% das entradas, tornando politicas automatizadas de permitir/bloquear/escalar pouco praticas sob deriva de distribuicao.
A maioria das avaliacoes de defesas contra prompt injection trata o problema como classificacao binaria simples: a entrada e maliciosa ou nao? Mas sistemas em producao precisam tomar uma decisao operacional de tres vias — permitir, bloquear ou escalar para revisao humana — e essa decisao depende nao so de o detector acertar a classificacao, mas de a confianca reportada pelo detector ser calibrada, ou seja, de uma probabilidade de 90% realmente corresponder a 90% de chance real de ataque, inclusive quando os dados de entrada diferem do conjunto usado para treinar e calibrar o sistema.
O estudo testa justamente essa condicao mais dificil: desempenho sob mudanca de distribuicao, usando splits separados de desenvolvimento e calibracao e um protocolo de avaliacao congelado, em 47.611 exemplos que incluem injecoes diretas e indiretas, entradas benignas dificeis (que parecem ataques mas nao sao) e seis variacoes de ofuscacao. Entre os quatro sistemas avaliados, o juiz baseado em LLM teve a melhor capacidade de discriminacao (AUROC 0,897), seguido do modelo nativo Jev (0,871) e dos dois classificadores Prompt Guard 2 (0,757 e 0,714). Curiosamente, as probabilidades nativas do Jev nao superaram de forma consistente escores de classificadores recalibrados por metodos pos-hoc, e a tecnica de temperature scaling melhorou a calibracao sem melhorar a discriminacao — ou seja, calibrar bem nao torna o detector melhor em separar ataque de entrada benigna.
O numero mais relevante para quem opera esses sistemas e o de 91,8%: para garantir que menos de 1% dos ataques reais passem sem deteccao (meta razoavel para um sistema de seguranca), e necessario escalar para revisao humana mais de 91,8% de todas as entradas avaliadas, com taxas de falso positivo substanciais. Isso essencialmente inviabiliza o modelo de “deixar o classificador decidir automaticamente” em cenarios de alto risco, porque o volume de escalonamento necessario para manter seguranca aceitavel sobrecarrega qualquer fila de revisao humana.
Para quem projeta pipelines de seguranca para agentes de LLM, a conclusao pratica e que publicar um detector com bom AUROC nao e suficiente: a politica de decisao (quando bloquear automaticamente, quando escalar, quando permitir) precisa ser avaliada junto com o detector, sob as mesmas condicoes de deriva de distribuicao que o sistema encontrara em produção, e a avaliacao isolada de “taxa de deteccao” tende a superestimar a seguranca real entregue pelo sistema.