Estudo mede queda de acurácia de RAG de 77,9% para 43,5% sob envenenamento de documentos recuperados
Um estudo controlado com o Llama 3.1 8B quantizado mediu, em 588 execuções fatoriais sobre uma tarefa de checagem de fatos baseada no FEVER, quanto a acurácia de um sistema RAG cai conforme uma fração crescente dos documentos recuperados é corrompida por troca de entidades, troca de números ou negação. A acurácia caiu de 77,9% com contexto limpo para 43,5% quando as três passagens recuperadas estavam corrompidas, e a reação predominante do modelo sob ataque foi se abster de responder, não inventar novas afirmações falsas.
Sistemas de geração aumentada por recuperação (RAG) ancoram a resposta de um modelo de linguagem em documentos recuperados, o que reduz alucinação mas cria uma nova superfície de ataque: se o texto recuperado for adulterado, o modelo pode simplesmente repetir a falsidade como se fosse fato verificado. O artigo investiga, de forma controlada, o quanto um modelo pequeno e quantizado, o Llama 3.1 8B, se degrada conforme uma fração do contexto recuperado é corrompida.
A metodologia aplicou três estratégias de corrupção, troca de entidade, troca de número e negação, a zero, uma, duas ou três das três passagens recuperadas por consulta, num sweep fatorial de 588 execuções sobre uma tarefa de checagem de fatos construída a partir do FEVER, com intervalos de confiança bootstrap ao nível de consulta para validar os resultados observados.
Os números mostram uma degradação acentuada: acurácia de 77,9% com contexto limpo caindo para 43,5% quando as três passagens estavam corrompidas. A troca de entidade foi a estratégia que mais reverteu respostas antes corretas; já a corrupção baseada em números se manteve praticamente estável enquanto as passagens envenenadas eram minoria, mas saltou assim que passaram a ser maioria, um efeito de limiar e não uma degradação gradual. Um achado relevante é que o modelo raramente inventa novas falsidades sob ataque; sua reação dominante é se abster de responder, o que os autores tratam como um sinal relativamente favorável do ponto de vista de segurança, ainda que às custas de disponibilidade.
O resultado é relevante porque quantifica concretamente quanta confiança uma aplicação baseada em RAG deveria depositar na integridade do contexto recuperado, especialmente em sistemas que buscam em fontes editáveis por terceiros, como wikis, buscadores web ou repositórios de documentos compartilhados, onde um atacante pode conseguir plantar até mesmo uma minoria das passagens retornadas. O efeito de limiar observado na corrupção numérica também é um aviso prático: times de segurança não podem assumir que 'um pouco de envenenamento' é proporcionalmente inofensivo, já que certos tipos de corrupção têm um ponto de virada abrupto em vez de uma curva de degradação suave.