Pesquisa mostra deteccao de injecao de prompt calibrada ainda falha sob mudanca de distribuicao
Um estudo comparou quatro abordagens de deteccao de injecao de prompt — um modelo de decisao probabilistica nativo (Jev), dois classificadores Llama Prompt Guard 2 (22M e 86M parametros) e um juiz baseado em LLM — em 47.611 exemplos cobrindo injecoes diretas, indiretas, entradas benignas dificeis e mudanca de distribuicao. O juiz LLM obteve a melhor discriminacao (AUROC 0,897), mas o achado mais importante e operacional: para atingir uma taxa de falso negativo de apenas 1%, todos os sistemas avaliados exigiram escalar para revisao humana mais de 91,8% das entradas, tornando politicas automatizadas de permitir/bloquear/escalar pouco praticas sob deriva de distribuicao.
Fonte ↗