Pesquisadores propõem o Baya, um agente web que, em vez de decidir cada ação a partir do conteúdo em tempo real de uma página (o padrão ReAct), primeiro compila o pedido do usuário em um programa Python que só interage com o site através de uma API confiável. Essa separação entre planejamento e execução elimina por construção a possibilidade de uma injeção de prompt embutida numa página sequestrar o fluxo de controle do agente, zerando a taxa de sucesso de ataques no benchmark de segurança WASP sem perder desempenho em tarefas reais.
Pesquisadores propõem o PrivacyFlow, um mecanismo de defesa para agentes de IA que executam tarefas longas sobre dados pessoais e que, segundo os autores, costumam violar expectativas de privacidade do usuário ao vazar informação fora de contexto. A solução separa o planejamento de privacidade da execução da tarefa, simulando com antecedência o que um destinatário poderia inferir a partir de cada fluxo de dados planejado, antes de decidir executar, minimizar ou bloquear a ação.
Agentes de IA com memória de longo prazo enfrentam um dilema estrutural: a mesma flexibilidade que permite atualizar um fato que mudou (evitando memória desatualizada) é a que permite que um atacante plante uma instrução ou passagem maliciosa na memória (envenenamento). Os autores propõem uma métrica, evidence-conditioned accuracy, e uma técnica de fine-tuning que, em testes com três modelos-base, praticamente dobrou a robustez da memória — ainda que sem eliminar o problema por completo.
Um novo sistema chamado Enclawed busca fechar uma lacuna de segurança em clusters HPC: nenhum dos 23 sistemas pesquisados pelos autores supervisiona ativamente um job de IA já em execução nem resiste a um host de controle comprometido. A proposta combina uma raiz de confiança em hardware, um portão de lançamento baseado em políticas e um mecanismo de concessão de acesso por heartbeats assinados, bloqueando 24 de 24 tentativas de lançamento maliciosas em testes com agentes reais sem adicionar overhead computacional relevante.
Pesquisadores propõem uma defesa treinamento-livre contra modelos comprometidos com vários tipos de gatilho de backdoor coexistindo no mesmo modelo — cenário que derrota as defesas atuais baseadas em desaprendizagem (unlearning). A técnica reduz a taxa de sucesso de ataques de quase 100% para dígitos únicos, preservando 97,8% da acurácia em dados limpos, com overhead de apenas 19-20% em implementações de hardware dedicado (ASIC/FPGA).
O framework SecGent recupera, em tempo de inferência, registros textuais relevantes do catálogo CWE (Common Weakness Enumeration) e os usa para orientar a geração segura de código por LLMs, combinando isso com testes funcionais e de segurança que guiam reparos automáticos. Testado em cinco linguagens com o benchmark CWEval, o sistema elevou o sucesso conjunto funcional-e-seguro em até 15,5% sobre RAG tradicional, chegando a 92,1% com o Claude Sonnet 5.5.
O artigo prova formalmente que qualquer protocolo que decida apenas pela saída de múltiplos avaliadores LLM independentes, exigindo sempre um veredito, nunca consegue rejeitar afirmações inválidas nem aceitar válidas com probabilidade garantida — porque avaliadores do mesmo modelo tendem a falhar juntos e páginas web recuperadas podem manipular quem as lê. A solução proposta, Astral, reduz o sucesso de ataque de 54,7-77,8% (votação por maioria) para 21,5-53,1%, ao custo de deixar entre 16% e 62% dos casos sem veredito automático.
O artigo mostra que backdoors 'dormentes' plantados em um modelo, programados para permanecer ocultos no lançamento e só se ativarem depois de um fine-tuning benigno subsequente, podem se estender a ações de agentes nunca vistas no treinamento original e até coexistir com múltiplos comportamentos maliciosos ativados juntos. Os autores propõem o LookAhead Defense, que usa um 'Safety Buffer' construído a partir do próprio comportamento seguro do modelo no momento do lançamento para prever e penalizar atualizações de fine-tuning que corroam essa segurança, reduzindo comportamento nocivo em agentes de até 93,9% para no máximo 14,2%.
O sistema Intact introduz a representacao GenTree, que preserva proveniencia e semantica de pagina web (o que um elemento 'e' e de onde vem, nao apenas o texto que carrega) para que agentes de IA decidam acoes com base em origem e permissao, e nao em conteudo textual manipulavel. Em 1.270 paginas reais com ataques injetados, o planejador convencional foi comprometido em 73,1% dos casos, contra 12,8% com o Intact -- e mesmo esses casos residuais exigem confirmacao explicita do usuario.
Defesas atuais contra envenenamento de memoria e ataques de decomposicao em agentes de LLM falham porque avaliam cada requisicao isoladamente, sem conectar evidencia espalhada ao longo do tempo. O GRAD agrega evidencia em um grafo de execucao e usa um conjunto extensivel de 'especialistas de deteccao' que se adaptam a novos contextos sem esquecer capacidades aprendidas antes, alcançando AUROC de ate 97,19% contra ataques de decomposicao.
O framework anota cada afirmacao armazenada na memoria de um agente com rotulos de tipo, autoridade e escopo, e usa esses rotulos para decidir se a memoria pode influenciar uma resposta -- em vez de filtrar conteudo de forma generica. Em quatro modelos base e dois benchmarks, o SAFE-Mem reduz o sucesso de ataques em pelo menos 77% em relacao a melhor defesa comparavel, mantendo ate 15% mais acuracia de resposta.
O artigo propõe o MIRROR, um mecanismo de integridade na camada de comunicação que combate ataques "Agent-in-the-Middle" (AiTM) em sistemas multiagente baseados em LLM, nos quais um intermediário manipula mensagens em trânsito sem precisar comprometer os próprios agentes. A técnica replica cada mensagem por várias rotas lógicas e só aceita o conteúdo quando a maioria estrita das rotas concorda no mesmo hash, sem depender de validação semântica cara nem de criptografia de transporte. Em testes com MMLU, HumanEval, MBPP e um deployment real via MetaGPT, o MIRROR reduziu a taxa de sucesso do ataque a 0% abaixo do limiar teórico de comprometimento, com custo de apenas 1x em tokens de LLM, contra 35x de um juiz baseado em LLM que ainda bloqueava até 44,2% de saídas legítimas.
Pesquisadores propõem o Pincer, uma defesa que atua na camada de autorização de recursos para agentes de codificação autônomos, usando um modelo isolado — um "gêmeo digital" do usuário — que aprende continuamente políticas dinâmicas de privilégio mínimo específicas para cada usuário. A proposta busca resolver o desgaste de permissões e a falta de personalização dos classificadores de chamada de ferramenta usados hoje por agentes como Claude e Codex.
Pesquisadores propoem NEEDLE, um metodo sem treinamento para remover backdoors implantados em LLMs durante o treinamento, que estima a direcao do gatilho malicioso e um subespaco de recusa a partir de vetores de ativacao, e aplica ortogonalizacao sequencial de pesos para suprimir o backdoor preservando as representacoes ligadas a recusa de conteudo nocivo. O metodo nao exige um modelo limpo de referencia nem os dados de treino envenenados originais, e alcanca 0% de taxa de sucesso de ataque em ataques de injecao de codigo, superando defesas anteriores que tendiam a degradar desempenho e seguranca geral do modelo.
Pesquisadores identificam uma assimetria em modelos multimodais: instruções adversárias embutidas em texto têm muito mais chance de serem obedecidas do que a mesma instrução entregue como imagem ou áudio. A partir disso, propõem 'Pictionary', uma defesa sem necessidade de re-treinamento que renderiza todo conteúdo não confiável como imagem tipográfica antes de expô-lo ao modelo, reduzindo consistentemente a taxa de sucesso de ataques em dez modelos e dois benchmarks — mas alertam que esse efeito se apaga quando o modelo é ajustado com exemplos de instruções renderizadas como imagem.
O estudo mostra que qualquer entidade com presença pública online vaza fatos que nunca declarou explicitamente, porque modelos de linguagem tornam barata a inferência a partir de informação dispersa. Os autores separam “acurácia de leitura” de “taxa de vazamento real”, constroem um analisador local de 106M de parâmetros que nunca gera texto e certifica cada resposta, e mostram que uma defesa que reescreve fatos de forma mais genérica esconde vazamentos a 40% menos custo de edição do que simplesmente deletar informação.
Um novo trabalho ataca a causa raiz da injeção indireta de prompt: o transformer padrão processa instrução do sistema, entrada do usuário e documento recuperado pelo mesmo mecanismo de atenção, sem nenhuma noção estrutural de qual fonte tem autoridade. A proposta, batizada de Provenance-Aware Transformers, marca cada token com a origem da informação e usa esse sinal dentro da própria rede para separar o que deve ser obedecido do que deve ser tratado só como dado.
Um framework unificado combina duas defesas de ferramentas -- filtragem de anomalias e restauração do toolset original antes do planejamento -- com técnicas de prompt como chain-of-thought e auto-reflexão para proteger agentes LLM integrados a ferramentas externas. Testado em sete modelos, incluindo GPT-5, o método zerou a taxa de sucesso de ataques em vários cenários sem degradar o desempenho da tarefa original.
O IntentCap é um framework que argumenta que a permissão de um agente de LLM deveria ser calculada dinamicamente a partir da intenção específica da tarefa em curso, e não fixada para toda a duração de uma sandbox ou sessão. O sistema compõe capacidades a partir de quatro fontes distintas — intenção do usuário, instruções de workflow, esquemas de ferramentas e ambiente de execução —, cada uma contribuindo apenas com campos que só ela pode preencher, e aplicando uma regra de estreitamento monotônico que nunca amplia a autoridade original concedida pelo usuário.
O SRD-GUARD e uma defesa contra jailbreak sem acesso aos pesos do modelo (black-box) que gera cinco reescritas semanticas do prompt original removendo a "embalagem" de contexto (roleplay, cenarios ficticios) e avalia o prompt original junto com as reescritas por meio de varios avaliadores LLM independentes, combinando limiares absolutos de risco com a variacao relativa de risco entre versoes. Testado contra os ataques UNIATTACK, CIPHER e DeepInception em Llama-3-8B-Uncensored e DeepSeek-V4-Flash, alcancou taxas de defesa de 91,44% e 100% mantendo taxa de recusa indevida de pedidos legitimos entre 8% e 12%.
O artigo expõe como técnicas de 'Generative Engine Optimization' (GEO) podem ser usadas de forma maliciosa para reescrever páginas web e manipular quais fontes um mecanismo de busca baseado em LLM cita em suas respostas, alcançando hoje cerca de 50% de taxa de sucesso. Os autores propõem o GEO Defender, uma defesa em duas etapas — um reranker com viés defensivo aprendido e uma biblioteca de 'experiências' em linguagem natural — que não exige retreinar o modelo alvo. Nos experimentos, a defesa derruba a taxa de sucesso do ataque para cerca de 6%, preservando o uso de conteúdo legítimo e a qualidade das respostas, inclusive contra ataques inéditos.
Guardas de segurança que analisam o grafo de comunicação entre agentes de IA para detectar agentes comprometidos normalmente exigem centralizar dados sensíveis de várias organizações, algo inviável na prática. O FGLGuard resolve isso com aprendizado federado sobre grafos: cada operador treina localmente seu próprio detector e compartilha apenas atualizações de modelo, nunca os dados brutos. Em testes com AgentDojo, Agent-SafetyBench e R-Judge, a abordagem federada superou até modelos centralizados dentro de um único domínio, cortando em 43% a taxa de sucesso de ataques reais sem custo de API e sem expor dados entre empresas.
Pesquisadores propõem o AlcaTRAz, uma defesa aplicada apenas ao texto do prompt de entrada, sem precisar acessar pesos ou internos do modelo. A técnica aprende automaticamente uma regra de transformação que insere pequenas perturbações em nível de caractere, quebrando padrões estruturais que ataques de jailbreak exploram. Testada em 33 modelos e 22 tipos de ataque, ela superou defesas concorrentes na maioria dos casos, reduzindo drasticamente a severidade das respostas maliciosas com pouco impacto em perguntas legítimas.
Pesquisadores propõem ROPE, um mecanismo que só permite que um valor chegue a uma ferramenta sensível de um agente LLM se sua origem for rastreável de forma inforjável até o usuário, uma fonte por ele nomeada ou seus próprios registros. Em testes com quatro modelos de agente, a técnica reduziu a taxa de sucesso de ataques de injeção indireta de prompt para 1,6-2,6%, contra 0% em ataques de longo horizonte que hoje derrotam defesas de nível de sistema, preservando 82-100% da utilidade do agente sem proteção.
CAITLYN é um middleware de defesa agnóstico ao agente que ataca o 'trilema' entre eficiência, precisão contextual e adaptabilidade das defesas atuais contra prompt injection, combinando uma camada imediata de detecção baseada em regras e inferência por LLM (System I) com uma camada que monitora sinais anômalos e sintetiza autonomamente novas defesas verificadas (System II). Em um novo benchmark de técnicas de injeção emergentes, o System I isolado permaneceu vulnerável, mas o System II reduziu substancialmente a taxa de sucesso de ataque em três ambientes de agente distintos.
Contratos inteligentes costumam publicar o código-fonte verificado contra o bytecode em produção para gerar confiança, mas isso também dá a agentes LLM um caminho direto para escanear vulnerabilidades e produzir exploits em escala. O DeLLMGuard separa o código-fonte divulgado da execução real espalhando-a por múltiplos endereços de contrato (relações de proxy, delegate e factory), forçando o agente a reconstruir essa topologia antes de analisar vulnerabilidades — o que, em 387 contratos vulneráveis reais, derrubou a taxa de identificação correta da causa-raiz de 23,5% para 6,6%.
Defesa geométrica para sistemas RAG usa um encoder substituto para medir como cada documento recuperado desloca o estado oculto do modelo, filtrando como outliers os documentos que tentam manipular a resposta, com garantia formal de recuperar um contexto livre de veneno sob suposição de maioria honesta.
Pesquisadores apresentam o FedLNS, um mecanismo do lado do servidor para detectar atualizações maliciosas em aprendizado federado de modelos de linguagem, sem exigir acesso aos dados brutos dos clientes nem exemplos rotulados de ataque. A ideia é usar as mudanças nos parâmetros das camadas de normalização (LayerNorm) de cada atualização de cliente como uma "assinatura" comparável a uma referência histórica robusta entre clientes. Em experimentos com até 40% dos clientes manipulando alvos de treino, o método reduziu a perplexidade do modelo global mais do que seis baselines concorrentes, em arquiteturas estilo GPT, BERT e LLaMA.
O paper propõe o STAR-FL, um framework de defesa para federated learning que combina clustering espaço-temporal para identificar atualizações maliciosas de clientes com um ajuste adaptativo da taxa de aprendizado na agregação, reduzindo o impacto de envenenamentos que escapam da primeira camada. Os autores reportam desempenho superior a defesas do estado da arte contra ataques de poisoning direcionados em múltiplos benchmarks de visão computacional.
Pesquisadores propõem o Capability-Routed Guard (CRG), uma defesa de inferência para modelos de raciocínio de código fechado que ataca um problema específico: prompts adversariais que manipulam o contexto de raciocínio ou a decomposição de tarefas para fazer o modelo tratar um objetivo malicioso como um passo de raciocínio legítimo. Em vez de inspecionar o prompt adversarial diretamente, o CRG constrói uma representação confiável da tarefa autorizada por um canal separado e roteia a execução conforme o risco.
O BASIS ataca um problema pouco discutido em defesas contra prompt injection: modelos bem instruídos conseguem resistir à maioria das injeções sozinhos, mas defesas tradicionais recusam qualquer entrada onde uma injeção é detectada, mesmo quando o modelo teria lidado com ela corretamente. Usando um sinal chamado Attention Competition Ratio para treinar dois probes lineares esparsos, o método mantém detecção quase perfeita de injeção reduzindo substancialmente essas recusas desnecessárias, sem exigir inferência adicional do LLM.
Os autores propõem uma analogia com o sistema imune adaptativo: em vez de tratar cada tarefa como um problema isolado, o AgentAntibody mantém uma biblioteca persistente de 'anticorpos' que captura o entendimento evolutivo do agente sobre os limites de segurança aceitáveis pelo usuário, aplicando esse aprendizado acumulado a cada nova interação. Em testes com três benchmarks e quatro LLMs base, o método superou defesas existentes tanto em bloquear ações maliciosas quanto em preservar a conclusão de tarefas legítimas.
Sistemas de geração aumentada por recuperação (RAG) reduzem alucinação em LLMs, mas abrem uma nova superfície de ataque: envenenar os documentos recuperados para manipular a saída do modelo. O SecureCollaRAG propõe um framework tolerante a falhas bizantinas que valida dinamicamente a proveniência dos documentos usando credibilidade baseada em GNN, mantendo robustez mesmo sob distribuições de dados não-IID entre agentes colaborativos.
Pesquisadores propõem um framework de verificação em tempo de execução, em três camadas, para detectar violações de missão em enxames de drones e robôs assistidos por LLM que emergem apenas da composição de ações individualmente aceitáveis em cada plataforma. Em simulação, o framework detectou uma injeção indireta de prompt que fez quatro plataformas dividirem entre si um objetivo proibido, algo invisível a monitores por plataforma. O design evita 'tudo limpo' falso quando falta evidência, em vez de assumir segurança por padrão.
Um estudo com 2.100 execucoes de ataque mostra que pipelines multi-agente que pareciam totalmente seguros em relatorios padrao (0% de sucesso de ataque) na verdade devem quase toda essa protecao a um filtro server-side do provedor de nuvem, e nao a defesas da propria aplicacao. Os autores propoem o ChannelGuard, portoes de information bottleneck colocados em cada canal entre agentes, para fechar essa lacuna sem depender de um unico ponto de filtragem opaco.
O FedLSG e apresentado como o primeiro framework a integrar LLMs na defesa contra ataques de backdoor em Redes Neurais de Grafos Federadas (FedGNNs), traduzindo estruturas de grafo e comportamento de clientes para linguagem natural de modo que um LLM possa avaliar semanticamente se uma atualizacao e maliciosa. A motivacao e que defesas baseadas em regras fixas sao vulneraveis a gatilhos furtivos justamente por nao entenderem o significado semantico dos padroes que estao filtrando.
O DeCNIP e uma defesa contra backdoors em LLMs que vai alem de heuristicas comportamentais, identificando e podando um conjunto minimo de neuronios responsaveis por ativar o gatilho malicioso. O metodo cobre tanto backdoors inseridos por fine-tuning quanto por edicao direta de modelo, reduzindo a taxa de sucesso do ataque em mais de 95% intervindo em apenas 0,1% dos neuronios e preservando 97% do desempenho original em tarefas normais.
O ARGUS ataca a variante mais difícil da injeção de prompt: a sensível ao contexto, que se disfarça de conteúdo legítimo do fluxo de trabalho do agente. A defesa busca bloquear instruções escondidas no material processado sem sacrificar a autonomia que torna o agente útil.