Levantamento mapeia 118 estudos sobre defesas de RAG e mostra que bloquear cópia literal não impede o roubo de fatos privados
Uma revisão sistemática de 118 artigos sobre proteção de sistemas RAG (retrieval-augmented generation) organiza as defesas por aquilo que de fato medem, não pelo que afirmam proteger, revelando lacunas graves de avaliação. Um testbed controlado dos próprios autores mostra que uma defesa que elimina 100% da cópia literal de 20 tokens ainda permite que um atacante adaptativo recupere 48,3% dos fatos privados escondidos no corpus, usando apenas três consultas.
Sistemas RAG combinam um modelo de linguagem com um mecanismo de recuperação sobre uma base de documentos, e isso cria uma superfície de risco própria: vazamento de conteúdo, reconstrução da fonte original, acesso não autorizado, envenenamento de dados (data poisoning) e injeção de prompt via documentos recuperados. O problema identificado pelos autores é que a literatura de defesa para RAG usa métricas, datasets e modelos de ameaça incompatíveis entre si, o que torna quase impossível comparar se uma defesa é de fato melhor que outra, ou mesmo saber contra o que ela protege.
A contribuição metodológica central é uma taxonomia de sete famílias organizadas pelo endpoint medido em vez do objetivo alegado — ou seja, em vez de perguntar se uma defesa diz que protege privacidade, os autores perguntam o que essa defesa realmente mede no experimento. Com 32 anotadores fazendo double-coding dos 118 artigos (kappa de concordância de 0,867, um nível alto de confiabilidade), eles encontram que apenas 17,8% dos estudos usam divulgação de conteúdo ou reconstrução como métrica primária, enquanto 73,3% dos registros sob o rótulo de direitos de autor/propriedade medem apenas detecção de uso do corpus — uma métrica bem mais fraca e indireta do que medir se um fato privado específico pode ser extraído.
O achado experimental mais concreto vem do testbed próprio dos autores: uma defesa baseada em guarda de n-gramas normalizados (bloquear a reprodução literal de sequências de 8 tokens) consegue reduzir a cópia literal de blocos de 20 tokens para 0,0% — um resultado aparentemente perfeito se medido pela métrica usual. Mas um atacante que não tenta copiar literalmente, e em vez disso faz perguntas adaptativas e multi-turno reformulando a pergunta de formas diferentes, recupera 48,3% dos fatos privados escondidos mesmo com essa defesa ativa, em apenas três consultas contra o modelo Qwen3-8B.
Isso importa na prática porque expõe uma falsa sensação de segurança: times que implantam RAG sobre dados sensíveis (jurídicos, médicos, internos) e validam sua defesa contra ataques de cópia literal podem estar completamente expostos a extração de fatos por paráfrase adaptativa, um vetor de ataque muito mais simples de executar do que tentar reproduzir texto exato. O estudo recomenda que avaliações futuras usem dados genuinamente sensíveis e atacantes adaptativos multi-turno, não apenas datasets de QA genéricos com ataques estáticos de uma única tentativa.