“Prevenido não é protegido”: como a métrica padrão de RAG esconde falhas das defesas contra envenenamento
Este trabalho mostra que a métrica mais usada para avaliar defesas contra envenenamento de RAG (Attack Success Rate) pode mascarar o fato de que uma defesa, embora bloqueie o ataque principal, também pode introduzir respostas erradas que favorecem o alvo do atacante por outros caminhos. Usando um novo protocolo que compara respostas limpas e envenenadas lado a lado, os autores mostram que a classificação de qual defesa é “melhor” muda dependendo do critério de avaliação usado.
Sistemas de Retrieval-Augmented Generation (RAG) buscam documentos externos para fundamentar a resposta de um LLM, e isso cria uma superfície de ataque bem conhecida: um adversário manipula ou injeta documentos no índice de recuperação para influenciar a resposta final sem precisar atacar o modelo diretamente (knowledge poisoning). As defesas propostas contra isso são avaliadas quase sempre por uma única métrica — a taxa de sucesso do ataque (ASR) — que mede se o alvo do atacante aparece na resposta final.
O problema, segundo os autores, é que ASR trata “ataque bloqueado” como sinônimo de “sistema protegido”, quando na realidade uma defesa pode reduzir a menção explícita ao alvo do atacante e, ainda assim, produzir uma resposta que o endossa de forma indireta, ou pode simplesmente quebrar a resposta de formas que não têm nada a ver com segurança. Para separar essas situações, o protocolo “Aligned RAG Evaluation” compara, de forma pareada, resposta limpa vs. envenenada e com defesa vs. sem defesa, usando um LLM-juiz para avaliar se há endosso ao alvo e controlando o quanto a resposta final realmente depende da evidência recuperada.
Testando esse protocolo em HotpotQA e Natural Questions, os autores encontram defesas que geram respostas inesperadamente favoráveis ao alvo do atacante mesmo quando, pela métrica ASR tradicional, pareciam ter “prevenido” o ataque — e mostram que mudar o critério de avaliação pode inverter o ranking de qual defesa é considerada melhor.
Isso importa na prática para qualquer time avaliando ou comprando soluções de defesa contra poisoning de RAG: um número baixo de ASR divulgado isoladamente pode dar uma falsa sensação de segurança. A lição central do trabalho é que avaliação de segurança de sistemas baseados em recuperação precisa de métricas multidimensionais — que distingam ataque prevenido de falha introduzida pela própria defesa — em vez de um único score de “taxa de sucesso do ataque”.