Pesquisadores testam um «gate» de recuperação baseado num modelo de decisão compacto (Kev-4B) que lê o HTML bruto de cada página recuperada por um sistema de RAG e decide, sem gerar texto, se ela deve ser admitida. O gate reduziu o sucesso de prompt injection de 27,9% (sem defesa) para 5,7%, e manteve exposição a páginas falsas abaixo de 1% num cenário de poluição onde dois terços do conteúdo recuperado era fabricado, com apenas 76ms de latência por passagem.
Este trabalho mostra que a métrica mais usada para avaliar defesas contra envenenamento de RAG (Attack Success Rate) pode mascarar o fato de que uma defesa, embora bloqueie o ataque principal, também pode introduzir respostas erradas que favorecem o alvo do atacante por outros caminhos. Usando um novo protocolo que compara respostas limpas e envenenadas lado a lado, os autores mostram que a classificação de qual defesa é “melhor” muda dependendo do critério de avaliação usado.
Agentes de IA que combinam a saída de múltiplos detectores de segurança para triar alertas tendem a confiar implicitamente nessas ferramentas — e o estudo mostra que essa confiança é frágil: com apenas um detector corrompido entre quatro, a acurácia de investigadores LLM “ingênuos” já cai para 0,50-0,72, e com três detectores corrompidos despenca para 0,13 ou menos. Os autores propõem o Conflict-Aware Evidence Verification (CAV), que recupera acurácia de 0,84-0,88 mesmo no cenário mais adverso, movendo a confiança das ferramentas individuais para um mecanismo de verificação independente.
Um novo ataque chamado HBDCC mostra que algoritmos de clustering não-supervisionado por contraste também são vulneráveis a backdoors inseridos durante o treinamento. Envenenando apenas uma pequena fração dos dados não rotulados, os autores conseguem manter o comportamento normal do modelo em dados limpos enquanto distorcem completamente os agrupamentos sempre que um gatilho específico está presente.
Avaliando mecanismos de confiança para RAG local rodando totalmente offline em um Raspberry Pi 5, pesquisadores descobrem que seus pacotes de conhecimento assinados e versionados — o canal de atualização proposto para dispositivos sem conectividade constante — podem ser envenenados sem quebrar nenhuma verificação de assinatura ou hash, desde que o atacante consiga assinar o pacote corretamente. Em 30 perguntas antes respondidas corretamente, as respostas corretas caíram a zero após a injeção, com 14 delas retornando exatamente a resposta maliciosa inserida.
O método Trigger-Neutralized Counterfactual Scoring (TNCS) seleciona de forma eficiente quais amostras de treinamento envenenar para implantar um backdoor em modelos de código pré-treinados, isolando a contribuição real de um gatilho ao comparar a saída do modelo numa entrada com o gatilho contra a mesma entrada sem ele. A técnica supera métodos anteriores justamente nas taxas de envenenamento mais baixas — o cenário mais realista para um atacante que quer minimizar sua exposição —, e o conjunto de amostras selecionado continua eficaz mesmo quando transferido para um modelo-vítima diferente daquele usado para escolher as amostras.
Pesquisadores (Yahao Ren e coautores) demonstram um ataque de fornecedor contra seletores automáticos de dados de instruction-tuning, que normalmente escolhem os registros mais “úteis” para treinar um modelo e descartar dados nocivos. O ataque, batizado de utility-hijacking, gera muitas variações de um registro malicioso e submete apenas a que recebe a maior pontuação de utilidade, elevando recusa indevida (over-refusal) de 0% para 94% e geração de código inseguro em até 56 de 90 casos nos modelos vítima testados.
O trabalho descreve um ataque de data poisoning que planta um Trojan em um LLM ajustado por instrução, fazendo com que, sempre que um gatilho esteja presente no prompt, o modelo gere respostas artificialmente mais longas e, portanto, mais caras, já que vários provedores cobram bem mais por token de saída do que por token de entrada. O gatilho se generaliza, ativando não apenas em instruções idênticas às usadas no envenenamento, mas também em variações semanticamente próximas, e os autores propõem uma defesa específica contra esse padrão.
Pesquisadores estudam, de forma isolada, como o valor atribuido a uma caracteristica-gatilho (nao apenas quais caracteristicas escolher) afeta ataques de backdoor clean-label contra classificadores de malware baseados em features, usando os datasets EMBER 2018 e um subconjunto Win64 PE do EMBER 2024 com modelos LightGBM. Seletores agressivos como MinPopulation e CountAbsSHAP alcancam alta taxa de sucesso de ataque, especialmente sob amostragem similar a distribuicao real de malware, mas sao mais faceis de detectar por sanitizacao como Isolation Forest; seletores como CorrCountAbsSHAP e Quantile95 reduzem a chance de deteccao mantendo eficacia util.
Usando o ataque FLIP — um backdoor que corrompe apenas rótulos de treinamento, sem tocar nas imagens — pesquisadores mostram que a eficácia de uma defesa de detecção depende mais do espaço de features em que ela é aplicada do que do método de detecção em si: a mesma verificação de vizinho mais próximo vai de AUROC 0,546 nas features do modelo já envenenado para 0,967 em features congeladas de um encoder (DINOv2) que nunca viu os rótulos manipulados. O estudo também mostra que uma pontuação de detecção melhor não implica necessariamente um modelo mais seguro após a correção.
O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.
Pesquisadores demonstram que, em um sistema federado de detecção de intrusão (IDS) com três clientes, um cliente bizantino que inverte 60% dos rótulos de treinamento degrada sua própria acurácia de detecção de 99,96% para 84,33%, enquanto o ensemble global se mantém estável mesmo sem nenhum mecanismo de defesa. Os autores argumentam que essa autodegradação característica do atacante é, ela mesma, um sinal detectável que pode ser usado para identificar clientes bizantinos, mesmo sem exfiltração de dados envolvida.
Pesquisadores apresentaram o DnD (Divide and Doubt), um ataque de envenenamento de corpus contra sistemas RAG que, em vez de repetir a mesma afirmacao-alvo em documentos parecidos entre si -- padrao que defesas de similaridade conseguem agrupar e suprimir -- distribui o suporte a resposta desejada por passagens estilisticamente diversas e inclui uma passagem extra que lanca duvida sobre a evidencia da resposta correta. Testado em duas bases de QA de dominio aberto, tres LLMs e nove configuracoes de RAG, o DnD igualou ou superou ataques anteriores na maioria dos cenarios, com ganhos maiores justamente contra as defesas de clustering e deteccao de conflito que tentam neutralizar esse tipo de envenenamento.
Pesquisadores demonstraram que agentes de IA que operam contas em redes sociais podem ser envenenados de forma indireta, atraves do proprio mecanismo de recomendacao da plataforma, em vez de expor conteudo malicioso diretamente ao agente. No simulador OASIS, o ataque explora o 'like-score' usado pelo sistema de recomendacao por similaridade, construindo uma cadeia multi-estagio de posts envenenados que consegue fazer a plataforma recomendar conteudo malicioso ao agente mesmo quando a similaridade entre o post e os interesses do usuario fica abaixo do limiar normal de recuperacao.
Em vez de plantar um único documento malicioso óbvio, esse novo ataque contra sistemas RAG divide uma afirmação falsa em pedaços plausíveis espalhados por múltiplos documentos, cada um passando despercebido em uma inspeção isolada. Testado em 108 configurações diferentes de RAG, o ataque se mostrou mais difícil de detectar por auditoria manual de documentos do que envenenamento tradicional concentrado em uma única fonte.
O InceptionRAG fragmenta uma carga maliciosa em uma cadeia de passagens dormentes, cada uma inofensiva quando examinada isoladamente, que só produzem desinformação-alvo quando recuperadas juntas e encadeadas pelo raciocínio multi-hop do LLM. O ataque supera 80% de taxa de sucesso mesmo contra defesas que já mitigam a injeção tradicional de documento único, expondo um paradoxo: quanto melhor o LLM raciocina, mais vulnerável ele fica a esse tipo de indução lógica.
Pesquisadores combinaram duas técnicas já estabelecidas de detecção de backdoor — análise de assinatura espectral e clustering de ativações — em um único score de poisoning por amostra, aplicado a modelos de imagem médica usados em apoio diagnóstico. A fusão atinge AUROC igual ou superior a 0,99 em todas as taxas de poisoning testadas no benchmark médico, mas os próprios autores mostram que o mesmo método falha de forma severa em imagens naturais (CIFAR-10) sob poisoning mais agressivo, um alerta importante sobre generalização de defesas de segurança de ML entre domínios.
Um estudo controlado com o Llama 3.1 8B quantizado mediu, em 588 execuções fatoriais sobre uma tarefa de checagem de fatos baseada no FEVER, quanto a acurácia de um sistema RAG cai conforme uma fração crescente dos documentos recuperados é corrompida por troca de entidades, troca de números ou negação. A acurácia caiu de 77,9% com contexto limpo para 43,5% quando as três passagens recuperadas estavam corrompidas, e a reação predominante do modelo sob ataque foi se abster de responder, não inventar novas afirmações falsas.
O benchmark HAE-GEO testa agentes de busca aumentada por LLM (usados para decisoes de consumo) contra envenenamento de evidencias web em tres niveis crescentes de persuasao -- afirmacao direta, camuflagem contextual e corroboracao aparente por multiplas fontes coordenadas -- usando um corpus controlado de mais de 72 mil paginas limpas e 770 paginas envenenadas por nivel, cobrindo 154 marcas. Ao avaliar dez agentes, os autores encontram que o reconhecimento de evidencias suspeitas piora exatamente no nivel mais sofisticado (corroboracao aparente), e que prompts defensivos aumentam a verificacao sem necessariamente levar o agente a corrigir a recomendacao final.
Pesquisadores mostram como um cliente malicioso em um sistema federado de detecção de anomalias em vigilância pode implantar backdoors usando condições naturais da cena (pouca luz, ambientes internos, aglomerações) como gatilho, em vez de um padrão artificial, mantendo o ataque furtivo e persistente por centenas de rodadas.
Defesa geométrica para sistemas RAG usa um encoder substituto para medir como cada documento recuperado desloca o estado oculto do modelo, filtrando como outliers os documentos que tentam manipular a resposta, com garantia formal de recuperar um contexto livre de veneno sob suposição de maioria honesta.
O 'Evaluation Agent' combina verificação factual por inferência de linguagem natural, um detector de envenenamento com cinco sinais e um Índice de Confiança combinado para identificar documentos maliciosos injetados em sistemas RAG antes que o LLM os use para gerar resposta. No TruthfulQA com Llama 3.3 70B, atingiu 91% de acurácia e 100% de recall contra injeção de instrução, mas teve dificuldade com trocas sutis de entidade e enfraquecimento semântico.
Pesquisadores demonstram que uma única fase de envenenamento de dados pode implantar em um modelo de visão e linguagem (VLM) um backdoor programável, no qual o atacante escolhe em tempo de inferência — sem retreinar o modelo — qual legenda-alvo, nunca vista durante o envenenamento, deve ser produzida, e sintetiza sob demanda um gatilho visual furtivo correspondente. A técnica mantém alta taxa de sucesso mesmo contra defesas clássicas de backdoor e preserva a utilidade do modelo em entradas limpas, ampliando substancialmente a superfície de risco frente aos backdoors estáticos já conhecidos na literatura.
O EvoTrustRAG propõe um novo problema para RAG: em vez de apenas escolher qual evidência conflitante é mais confiável, o sistema tenta atribuir a origem do conflito — evolução legítima do conhecimento ao longo do tempo, manipulação adversarial deliberada, ou incerteza não resolvida — antes de gerar a resposta. Em benchmarks, o método reduziu de 31,2% para 16,0% a taxa de erro sob o ataque coordenado mais forte testado.
Sistemas de detecção de intrusão que usam RAG para classificar tráfego de rede e gerar relatórios legíveis herdam uma nova superfície de ataque na camada de recuperação: envenenamento da base de conhecimento vetorial e prompt injection via documentos recuperados. O RAG-IDS combina pontuação de confiança, checagem de consistência entre rótulo e embedding e sanitização de prompt para recuperar a maior parte do desempenho perdido sob ataque, com overhead desprezível em condições normais.
Os autores mostram que ataques de envenenamento de RAG bem-sucedidos costumam produzir respostas com perplexidade ainda menor que gerações benignas, o que invalida detectores baseados em incerteza, mas induzem um padrão interno diferente, batizado 'Attention Collapse': a atenção do modelo se concentra nos documentos envenenados em vez de ficar dispersa entre as fontes recuperadas. A partir dessa observação, o framework D-SCAN monitora a dinâmica de atenção em nível de documento para sinalizar gerações atacadas, inclusive nos casos em que o ataque falha em mudar a resposta final.
Pesquisadores apresentam o PoisonedEvolution, um ataque contra sistemas de "skills auto-evolutivas", nos quais agentes de IA destilam suas próprias trajetórias de uso em habilidades persistentes que passam a ser tratadas como instrução confiável. Um atacante que só consegue contribuir com evidência limitada e visível — sem acesso a pools privados nem à lógica interna de evolução — conseguiu embutir comportamentos-alvo em 91% dos casos testados no sistema SkillClaw, e o ataque também transferiu, com taxa menor, para uma arquitetura de evolução estruturalmente diferente.
Pesquisadores mostram que defesas de detecção de backdoor em aprendizado contrastivo multimodal, baseadas na métrica CLIPScore, falham porque a distribuição de scores de pares benignos e envenenados se sobrepõe significativamente. O framework proposto, CASCADE, usa predição conforme em duas etapas para gerar limites de confiança estatisticamente garantidos, alcançando falso-positivo médio de 5,79% com 100% de detecção verdadeira no dataset CC3M.
Sistemas de geração aumentada por recuperação (RAG) reduzem alucinação em LLMs, mas abrem uma nova superfície de ataque: envenenar os documentos recuperados para manipular a saída do modelo. O SecureCollaRAG propõe um framework tolerante a falhas bizantinas que valida dinamicamente a proveniência dos documentos usando credibilidade baseada em GNN, mantendo robustez mesmo sob distribuições de dados não-IID entre agentes colaborativos.
Pesquisadores introduzem um ataque de backdoor clean-label contra redes neurais de pulso que reordena os timestamps dos eventos de amostras da classe-alvo, preservando exatamente a contagem de eventos por pixel e por polaridade — de forma que a amostra continua com o rótulo original correto e parece estatisticamente idêntica a uma amostra limpa quando agregada no tempo. O ataque atinge taxa de sucesso de 100% nas configurações mais fortes, contra modelos convolucionais e baseados em transformer, em três datasets neuromórficos diferentes. Defesas que colapsam o eixo temporal antes de inspecionar as amostras são cegas a esse ataque por construção, já que a informação maliciosa vive exclusivamente na ordem temporal dos eventos.