CamoDocs camufla documentos maliciosos para envenenar sistemas RAG sem deixar rastro de consulta
CamoDocs é um ataque de envenenamento de dados contra sistemas RAG (retrieval-augmented generation) que evita incluir a consulta-alvo diretamente nos documentos maliciosos — a técnica que a maioria das defesas de detecção hoje monitora — misturando conteúdo adversarial com rascunhos benignos e usando 'tokens de dispersão' para camuflar o embedding dos documentos envenenados. Contra sete defesas de RAG, três LLMs abertos e três benchmarks, o ataque manteve taxa de sucesso média de 61,80% no GPT-5.4-mini e 55,09% no Claude-Haiku-4.5, sendo neutralizado de forma consistente só por defesas de clustering agressivo, que por sua vez destroem a utilidade do sistema.
Sistemas RAG buscam documentos externos (públicos, ou editáveis por usuários) para complementar a resposta de um LLM — um desenho que também abre a porta para envenenamento de dados: um atacante injeta documentos forjados na base indexada, na esperança de que sejam recuperados e influenciem a resposta final na direção que ele quer. Ataques de poisoning anteriores costumavam incluir a própria consulta-alvo dentro do documento malicioso, para garantir que ele fosse recuperado — mas essa repetição de termos cria um artefato lexical e de embedding fácil de detectar por defesas de sobreposição de consulta.
O CamoDocs evita esse artefato desde a raiz: em vez de inserir a consulta diretamente, ele fragmenta rascunhos sintetizados — benignos e adversariais — em chunks, substitui tokens selecionados nos chunks benignos por 'tokens de dispersão' que espalham o embedding do documento envenenado para longe de um cluster reconhecível, e aplica um filtro de coerência para que o texto ainda pareça legível e plausível apesar da manipulação. O resultado é um documento que se parece, tanto lexical quanto semanticamente, com conteúdo legítimo, mas que ainda consegue ser recuperado e influenciar a geração.
A avaliação foi ampla: sete defesas de RAG diferentes, três LLMs abertos e três benchmarks — além de testes contra modelos proprietários de ponta, algo que reforça a relevância prática do achado. As taxas de sucesso médias de 61,80% contra GPT-5.4-mini e 55,09% contra Claude-Haiku-4.5 mostram que o ataque não é só um exercício acadêmico contra modelos fracos, mas se sustenta contra sistemas de produção atuais.
O ponto mais importante para quem defende sistemas RAG é a assimetria encontrada: das defesas testadas, só abordagens de clustering intensivo para remoção de outliers (como o TrustRAG) conseguiram reduzir a taxa de sucesso do ataque de forma consistente — mas ao custo de quedas substanciais de utilidade em benchmarks que dependem fortemente de boa recuperação (como o NeoQA). Isso deixa quem opera RAG sobre fontes públicas ou editáveis por usuário numa escolha difícil entre robustez a poisoning camuflado e qualidade de resposta, sem uma defesa de baixo custo que resolva as duas coisas simultaneamente ainda disponível.