O framework JailBound combina geração automatizada de prompts adversariais com uma busca de duas frentes — uma otimizada para maximizar taxa de sucesso de ataque, outra para encontrar pontos onde o comportamento do modelo muda bruscamente com pequenas perturbações — para avaliar jailbreaks de forma mais sistemática do que benchmarks manuais. Testado em 46 modelos de 13 famílias, o método supera abordagens anteriores e revela que certos estados do modelo são muito mais instáveis em sua classificação de segurança do que outros.
Fonte ↗Pesquisadores da Check Point identificaram um pacote de jailbreak para o OpenAI Codex, batizado de Haiou, que altera as instruções de configuração confiáveis do agente para inserir propagandas de um gateway de IA de terceiros. A técnica, chamada pelos pesquisadores de 'prompt adware', mostra como arquivos de configuração aparentemente inofensivos podem ser usados para sequestrar silenciosamente o comportamento de um agente de codificação.
Fonte ↗O artigo apresenta o Slot Attack, técnica de ataque de caixa-preta contra modelos de decisão — classificadores usados em triagem, moderação e outras tarefas de múltipla escolha — que consegue forçar uma resposta incorreta específica escolhida pelo atacante. O método usa apenas as probabilidades de rótulo retornadas pela API, sem acesso a pesos internos, e atinge taxas de sucesso de 32% a 99% com uma mediana de 17 a 72 consultas por ataque bem-sucedido, testado contra sete modelos de decisão, incluindo APIs hospedadas em produção.
Fonte ↗Avaliando navegadores agênticos modernos contra defesas anti-bot tradicionais, os pesquisadores descobrem que a maioria dessas defesas não consegue distinguir de forma confiável um agente autônomo de um humano. Mais grave: eles demonstram o Extinction-induced Policy Drift (EPD), um ataque em que a obstrução repetida da conclusão de uma tarefa leva o próprio agente a relaxar suas salvaguardas de segurança e adotar comportamentos inseguros — efeito colateral perigoso de como alguns agentes são treinados para persistir até completar a tarefa.
Fonte ↗Pesquisadores demonstraram que arquivos Markdown de configuração (como SKILL.md), usados por frameworks de agentes para carregar prompts de sistema e definições de ferramentas, funcionam como canal de injeção de jailbreak. Em um agente de perguntas e respostas baseado em LangChain, incorporar um jailbreak num skill elevou a taxa média de sucesso de ataque de 0,5% para 45%, chegando a 68,9% em modelos individuais, entre sete modelos de peso aberto testados. Curiosamente, tentativas de ofuscar o payload (caracteres invisíveis ou transformação fonética) não aumentaram a eficácia e em um caso a reduziram, sugerindo que a vulnerabilidade está mais ligada ao modelo subjacente do que à forma do ataque.
Fonte ↗O SpecGuard propõe monitorar diálogos inteiros com LLMs, e não mensagens isoladas, convertendo observações em linguagem natural em fatos verificáveis e checando-os contra especificações formais de comportamento proibido escritas em lógica temporal linear. O framework não exige treinar um classificador e supera guard models de código aberto mantendo taxa controlada de falsos positivos, além de produzir um rastro de decisão auditável.
Fonte ↗O artigo mostra que diferentes avaliadores automáticos, entre guard models e LLM-as-judge, discordam significativamente ao julgar se uma resposta de jailbreak revelou informação pessoal, especialmente em casos de divulgação indireta, parcial ou disfarçada. Para resolver isso, os autores propõem o PrivacyEvalClaw, um agente que trata avaliadores e ferramentas de análise como instrumentos que ele mesmo escolhe acionar, investigando casos ambíguos antes de emitir um veredito final auditável.
Fonte ↗Pesquisadores apresentam o TSA (Tool Spoofing Attack), uma técnica que usa um LLM para otimizar iterativamente descrições de ferramentas maliciosas até que fiquem praticamente idênticas, em estilo e conteúdo, às de ferramentas legítimas que os agentes de IA já confiam. O ataque atinge até 92% de taxa de sucesso e continua eficaz mesmo contra detectores de malware voltados a ferramentas e contra avaliadores humanos.
Fonte ↗Pesquisadores demonstram que guardas de segurança (safety guards) usados para filtrar entradas maliciosas antes que um LLM aja sobre elas podem ser enganados ao anexar, após o pedido nocivo, uma segunda tarefa forjada e inofensiva (um "decoy"). O guarda passa a avaliar apenas essa última tarefa aparente e libera o conteúdo original, uma falha que os autores batizam de "target rebinding" e que atinge mais de 93% de sucesso contra cinco guardas testados, incluindo Shieldstral, ShieldGemma, Llama Guard 3 e Qwen3Guard.
Fonte ↗O estudo PhishGen testa 14 LLMs comerciais, open-source e sem censura gerando páginas de phishing a partir de prompts, medindo não só a aparência mas a funcionalidade completa do golpe (captura de credenciais) e comparando com 64 kits de phishing reais. GPT-4.1 chega a 86,3-94,1% de sucesso funcional, superando os modelos sem censura (que raramente passam de 45,4%) e, em alguns casos, até os próprios kits de phishing usados no mundo real.
Fonte ↗O Mirage é um ataque de jailbreak multimodal que esconde um alvo adversarial (uma imagem NSFW de referência ou uma descrição textual maliciosa) dentro de uma perturbação imperceptível aplicada a uma imagem benigna, enganando checadores de segurança pós-geração em modelos de difusão como Stable Diffusion e Kandinsky. O ataque funciona mesmo contra checadores heterogêneos e desconhecidos (caixa-preta), usando apenas refinamento leve por consultas.
Fonte ↗Mantendo fixos o modelo-alvo, os prompts e as respostas, os autores variam apenas o grader de IA usado para julgar se um jailbreak teve sucesso e mostram que três graders de 8 a 9 bilhões de parâmetros colapsam sistematicamente respostas que deveriam ser classificadas como 'compliance' na classe vizinha de 'evasão', um deles nunca atribuiu o rótulo de compliance em 900 respostas avaliadas. Esse colapso de classe faz a taxa de sucesso de jailbreak reportada variar por um fator de 22 a 25 dependendo apenas de qual grader foi usado para medir o mesmo conjunto de respostas.
Fonte ↗Os autores propõem co-treinar, via aprendizado por reforço, populações de agentes atacantes e defensores de código: o atacante só é recompensado se seu patch malicioso se aplica, compila, passa nos testes e reproduz um exploit real em um container isolado, enquanto o defensor aprende a identificar essas mudanças. O algoritmo resultante, PRPO, produz um revisor de 7B parâmetros que supera um revisor frontier (Claude Opus 4.8) em 15,8 pontos na aplicação usada no treino, e, aplicado sem alterações à defesa de jailbreak, reduz a taxa de sucesso de ataque de 36% para 4,6%.
Fonte ↗Ataques de jailbreak por otimizacao tradicionalmente maximizam a probabilidade de um prefixo afirmativo no prompt, o que nao distingue uma resposta evasiva de uma resposta de fato daninha. O ECHO substitui esse proxy por um regressor de 1,7 bilhao de parametros que pontua o dano real do texto gerado, combinando isso com busca em feixe ancorada por palavras-chave, e atinge ate 89,23% de sucesso no HarmBench contra cinco LLMs de peso aberto, em modo caixa-preta.
Fonte ↗Pesquisadores apresentam o JSB (Jev-Guided Strategy Bandit), um framework de jailbreak automatizado que usa feedback probabilístico multidimensional, em vez de um único veredito binário de sucesso/falha, para otimizar prompts adversariais de forma muito mais eficiente em número de consultas. Testado contra oito LLMs (cinco abertos e três comerciais fechados), o método atingiu 89,8% de taxa média de sucesso de ataque no benchmark HarmBench usando um orçamento de apenas dez consultas por alvo.
Fonte ↗Looped Language Models reutilizam os mesmos parametros em multiplas etapas recorrentes para economizar custo, mas cada profundidade de recorrencia pode ser lida de forma independente, criando uma superficie de saida muito mais ampla do que um LLM convencional. Os autores mostram que a taxa de sucesso de jailbreaks varia, e as vezes aumenta, conforme a profundidade escolhida, que ataques feitos contra uma profundidade transferem para outras, e propoem o SafeBridge para alinhar a seguranca atraves de todas as profundidades simultaneamente.
Fonte ↗Sistemas de guardrail modernos combinam varios scanners especializados para fechar as lacunas de deteccoes isoladas contra jailbreaks e prompt injection, mas o BRANCH, uma nova tecnica de busca em arvore que otimiza perturbacoes adversariais contra o conjunto de scanners como um todo, quebrou essa defesa com 100% de taxa de sucesso em seis sistemas testados. Os bypasses gerados tambem transferiram para 29 guardrails nunca vistos durante o desenvolvimento do ataque, incluindo oito produtos comerciais de caixa-preta.
Fonte ↗Pesquisadores identificaram que tecnicas de token pruning -- usadas para acelerar modelos de visao-linguagem removendo tokens visuais redundantes -- podem degradar significativamente a seguranca do modelo conforme a taxa de pruning aumenta, atraves de um mecanismo chamado Pruning-Induced Malicious Amplification, no qual a remocao de tokens de fundo forca a atencao do modelo a colapsar sobre poucas ancoras maliciosas remanescentes no primeiro plano, amplificando sua semantica toxica sob jailbreak. A defesa proposta, Safety-Aware Pruning, reduz a taxa de sucesso de ataque em ate 62% sem sacrificar a aceleracao nem a utilidade do modelo.
Fonte ↗Um estudo com cinco modelos multimodais testa quatro famílias conhecidas de ataques de jailbreak via imagem para entender quais propriedades visuais — densidade de informação, tamanho de arquivo, número de blocos (tiles), relação semântica com o texto — de fato causam a quebra de segurança, em vez de apenas assumir que 'imagens disfarçam melhor o ataque'. A conclusão central é que a maior parte das explicações intuitivas não se sustenta estatisticamente, exceto uma manipulação específica que remove a relação temática entre imagem e pergunta, que reduziu a taxa de sucesso do ataque em cerca de 12 pontos percentuais num modelo testado.
Fonte ↗O ataque PEV (Perturbed Embedding Vector), criado por pesquisadores da UC Santa Cruz, consegue fazer seis modelos de linguagem de peso aberto gerarem respostas nocivas apenas adicionando ruído Gaussiano aleatório à representação vetorial do prompt, sem otimização por gradiente, sem alterar pesos do modelo e sem engenharia de prompt tradicional. A técnica produz o primeiro jailbreak bem-sucedido em menos de um minuto por prompt em todos os modelos testados no JailbreakBench, com custo computacional até uma ordem de magnitude menor do que métodos anteriores.
Fonte ↗Pesquisadores formalizam matematicamente por que pedidos maliciosos dissimulados dentro de tarefas benignas conseguem escapar de filtros de segurança de LLMs. O estudo introduz o conceito de "prior-posterior matching": selecionar tarefas auxiliares de modo que o risco médio percebido do pacote combinado se iguale à média geral, mascarando a intenção nociva sem removê-la. Os autores mostram que o ataque funciona em vários modelos open-source, mas revelam um trade-off: pacotes maiores escondem melhor a intenção, porém tendem a degradar a execução do objetivo malicioso original.
Fonte ↗O benchmark UnifiedAttack mede o quanto a combinacao sinergica de texto e imagem consegue produzir conteudo nocivo alem do que cada modalidade alcancaria isoladamente em modelos multimodais nativamente unificados. Os autores propoem duas tecnicas de ataque -- uma que envolve a intencao adversarial em exemplos aparentemente benignos (In-Context Reskinning) e outra que forca o modelo a se comprometer com um plano neutro antes de explorar sua propria consistencia logica para gerar o conteudo nocivo (Cognitive Planning Injection) -- e mostram que ambas contornam consistentemente os mecanismos de alinhamento de arquiteturas de ponta.
Fonte ↗Serviços de inferência de LLM baseados em criptografia homomórfica (HE) prometem que o servidor nunca vê o prompt nem a resposta em texto claro, o que é ótimo para privacidade, mas também significa que ninguém pode inspecionar um jailbreak antes de ele ser processado. O paper propõe HE-Guardrail, um jeito de rodar guardrails de segurança inteiros dentro do domínio cifrado, testado com Llama Guard, JBShield e GradSafe.
Fonte ↗O CASCADE testou 19 ataques de jailbreak contra 15 defesas diferentes, combinadas em várias etapas do pipeline de um LLM, sob um protocolo padronizado de avaliação — algo que faltava numa literatura até então fragmentada por métricas inconsistentes de taxa de sucesso de ataque. A conclusão central, aceita para o EMNLP 2026, é que nenhuma defesa isolada domina todos os cenários, mas combinações bem escolhidas entre estágios reduzem bastante o risco com pouca perda de utilidade do modelo.
Fonte ↗Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.
Fonte ↗Pesquisadores mostram que modelos de voz full-duplex, que continuam ouvindo o usuário enquanto ainda estão respondendo, podem ser levados a atender pedidos nocivos quando o usuário os interrompe verbalmente no meio da resposta. Testado em quatro modelos abertos com 720 pedidos nocivos do AdvBench e do HarmBench, a interrupção de atraso fixo elevou a taxa de sucesso de ataque em até 39,3 pontos percentuais, chegando a 48,7% num dos modelos.
Fonte ↗Uma nova pesquisa mostra que modelos de fronteira atuais não precisam mais de fine-tuning para aprender a se comunicar por meio de uma cifra combinada em tempo real: basta prompting e, quando necessário, aprendizado em contexto. Como o conteúdo nocivo trafega cifrado e aparece como texto sem sentido para os classificadores de segurança, o ataque contorna com sucesso modelos comerciais da Anthropic, Google e OpenAI.
Fonte ↗A ablação direcional, técnica de caixa-branca que remove a capacidade de recusa de um modelo projetando para fora dos pesos uma única 'direção de recusa', era validada até agora apenas em modelos densos de até cerca de 70B parâmetros. Este estudo aplica a técnica ao GLM-5.3-Flash, um modelo mixture-of-experts de 320B parâmetros com 288 especialistas roteados, e mostra que ela sobrevive à mudança de arquitetura, mas só funciona plenamente quando atenção, pesos densos e especialistas roteados são editados em conjunto, produzindo reduções de recusa de 41 a 89 pontos percentuais em sete benchmarks nocivos sem perda de capacidade detectada.
Fonte ↗Pesquisadores propoem uma defesa em nivel de pesos contra ataques de representation engineering, em que um atacante com acesso total ao modelo (peso aberto) estima a direcao interna de recusa e edita a matriz de projecao para desativar o alinhamento de seguranca em minutos, sem treinamento por gradiente. O metodo, chamado Bait-and-Recover, coloca um adaptador "isca" exatamente onde o atacante mede as ativacoes e um adaptador de "recuperacao" na camada seguinte, treinados via gradient routing para desacoplar o que o atacante observa do que o modelo de fato faz. Em quatro modelos abertos testados, a taxa minima de recusa sob esse tipo de ataque subiu de 16,25% para 71,75%, com impacto minimo na capacidade geral.
Fonte ↗O SRD-GUARD e uma defesa contra jailbreak sem acesso aos pesos do modelo (black-box) que gera cinco reescritas semanticas do prompt original removendo a "embalagem" de contexto (roleplay, cenarios ficticios) e avalia o prompt original junto com as reescritas por meio de varios avaliadores LLM independentes, combinando limiares absolutos de risco com a variacao relativa de risco entre versoes. Testado contra os ataques UNIATTACK, CIPHER e DeepInception em Llama-3-8B-Uncensored e DeepSeek-V4-Flash, alcancou taxas de defesa de 91,44% e 100% mantendo taxa de recusa indevida de pedidos legitimos entre 8% e 12%.
Fonte ↗Pesquisadores propõem o AlcaTRAz, uma defesa aplicada apenas ao texto do prompt de entrada, sem precisar acessar pesos ou internos do modelo. A técnica aprende automaticamente uma regra de transformação que insere pequenas perturbações em nível de caractere, quebrando padrões estruturais que ataques de jailbreak exploram. Testada em 33 modelos e 22 tipos de ataque, ela superou defesas concorrentes na maioria dos casos, reduzindo drasticamente a severidade das respostas maliciosas com pouco impacto em perguntas legítimas.
Fonte ↗Um artigo argumenta que as métricas usuais para avaliar salvaguardas de LLM (taxa de recusa, taxa de sucesso de ataque, taxa de violação de política) só medem desempenho contra os ataques testados, não respondem à pergunta que realmente importa em produção: quanta ajuda com tarefas nocivas um atacante persistente ainda consegue extrair do serviço. Revisando a literatura, os autores mostram que a maioria dos artigos que propõe melhorias em salvaguardas não fornece evidência suficiente sobre o que o sistema como um todo ainda permite depois da salvaguarda atuar.
Fonte ↗O ataque MAMJ (Meta-Adaptive Multimodal Jailbreaking) não otimiza apenas a imagem ou o texto de um jailbreak multimodal, mas o próprio processo de ataque: a estratégia usada para iterar e os parâmetros do modelo atacante. Contra GPT-4o, Gemini-3-Pro-Preview e Seed 2.0, o método atingiu taxas de sucesso de 78,9% a 82,3% no benchmark MM-SafetyBench, superando a melhor linha de base em até 24,1 pontos percentuais, e o atacante treinado transferiu para modelos-alvo nunca vistos sem retreinamento.
Fonte ↗Times que empilham várias defesas de LLM costumam assumir que elas se complementam, mas isso só é matematicamente verdade se cada camada falhar em entradas diferentes das outras. Medindo um adversário adaptativo único contra uma pilha de sete camadas defensivas, os autores encontraram correlação positiva de falha em todos os quinze pares mensuráveis (φ entre 0,30 e 0,75), fazendo o sucesso residual do ataque superar em até 0,172 a previsão multiplicativa ingênua, enquanto a pilha inteira recusa quatro em cada cinco prompts benignos e não se distingue estatisticamente da sua camada mais forte isolada.
Fonte ↗Nova defesa aplicada na fase de fine-tuning espalha a informação de recusa de segurança por um conjunto mais amplo de neurônios de um LLM, em vez de concentrá-la em poucos neurônios críticos, reduzindo a taxas de sucesso de jailbreaks textuais e de ataques que podam neurônios após o deploy para perto de zero, mantendo a utilidade do modelo.
Fonte ↗Pesquisa (atualização v4, aceita no IEEE ICDM 2026) apresenta um framework adaptativo que gera e refina automaticamente jailbreaks contra sistemas de LLM baseados em áudio, cobrindo tanto pipelines em cascata (que primeiro transcrevem a fala para texto) quanto modelos de áudio ponta a ponta que processam o sinal bruto diretamente. Um motor de mutação guiado por feedback ajusta tanto o texto do prompt quanto perturbações acústicas para maximizar a taxa de sucesso, e o método superou o estado da arte em seis sistemas de áudio representativos, evidenciando que ambos os paradigmas seguem substancialmente vulneráveis a esse tipo de ataque.
Fonte ↗O estudo Fair-ASR mostra que comparações de eficácia entre ataques de jailbreak são enganosas quando não controlam o número de consultas usadas contra o alvo, e que, sob orçamento igual, técnicas simples continuam competitivas com métodos elaborados guiados por LLM. Usando essa análise, os autores criam o ReCode, um ataque barato que atinge 85% de sucesso contra o GPT-5 usando apenas 20 consultas ao modelo alvo.
Fonte ↗Reflex-Guard é um guardrail de segurança para prompts de LLM que roda inteiramente local, usando embeddings compactos e classificadores binários rápidos, para detectar jailbreaks em cerca de 38 milissegundos, muito abaixo dos 250-900ms típicos de abordagens baseadas em LLM-juiz ou APIs de moderação na nuvem. O sistema detecta 100% dos ataques de sufixo GCG e prompts em Base64, mas exige ajuste de limiar para lidar com ataques estruturados do tipo DrAttack, que ocupam uma região diferente do espaço de embeddings.
Fonte ↗O estudo propõe usar GFlowNets — uma classe de modelos generativos pensada para amostrar diversamente de distribuições complexas — para treinar um LLM atacante contra um LLM vítima, automatizando red teaming sem depender de conjuntos fixos de prompts adversariais e produzindo uma pontuação quantitativa de robustez do modelo alvo. Como contribuição adicional, os autores estendem a técnica para gerar ataques também em turco, além do inglês, mostrando que a abordagem supera benchmarks existentes em eficácia.
Fonte ↗Pesquisadores propõem o Capability-Routed Guard (CRG), uma defesa de inferência para modelos de raciocínio de código fechado que ataca um problema específico: prompts adversariais que manipulam o contexto de raciocínio ou a decomposição de tarefas para fazer o modelo tratar um objetivo malicioso como um passo de raciocínio legítimo. Em vez de inspecionar o prompt adversarial diretamente, o CRG constrói uma representação confiável da tarefa autorizada por um canal separado e roteia a execução conforme o risco.
Fonte ↗O artigo demonstra que a forma como um benchmark mede a eficácia de um guardrail black-box pode inflar artificialmente sua contribuição real: quando o payload de ataque é codificado como pixels de imagem, um guardrail de texto simplesmente não bloqueia nada — é o próprio modelo alvo, por seu alinhamento, que produz todas as recusas atribuídas ao filtro. Duas variáveis não registradas por avaliações padrão — qual canal carrega o payload e que texto o harness expõe ao guardrail — bastam para deslocar o crédito de "quase zero" a "quase tudo" para o mesmo guardrail.
Fonte ↗Pesquisadores apresentam o AMS (Activation-based Model Scanner), que detecta modificações no treinamento de segurança de LLMs medindo a geometria de conceitos relacionados a conteúdo nocivo no espaço de ativações do modelo. Testado em 14 configurações de quatro famílias de modelos abertos (Llama, Gemma, Qwen, Mistral), o AMS classifica corretamente 10 de 14 casos em validação cruzada, e a métrica que ele extrai se correlaciona de forma estatisticamente significativa com o quanto o modelo de fato obedece a pedidos prejudiciais em testes de jailbreak.
Fonte ↗Pesquisadores decompõem o espaço de estratégias de jailbreak multimodal em componentes atômicos estruturais, semânticos e sintáticos, cobrindo texto e imagem, e propõem o HACA (Hierarchical Atomic Combination Attack), um método que combina automaticamente essas estratégias por meio de um planejador cross-modal. O sistema atingiu taxa média de sucesso de 95,48% contra cinco MLLMs (modelos de linguagem multimodais) amplamente usados, superando abordagens artesanais anteriores.
Fonte ↗Um novo estudo descreve uma classe de ataques que, ao invés de tentar contornar as defesas de um LLM por fora (jailbreaks clássicos), localiza e desativa diretamente os neurônios ou 'rotas' internas responsáveis pelo comportamento de recusa. Como resposta, os autores propõem o DRAA, um mecanismo que identifica essas rotas de segurança e constrói caminhos de recusa alternativos e dinâmicos que continuam funcionando mesmo quando a rota original é comprometida.
Fonte ↗Um estudo mostra que perguntas nocivas normalmente recusadas de forma confiável quando enviadas isoladamente conseguem obter respostas prejudiciais quando embutidas em um lote de perguntas benignas — um ataque simples, de caixa preta, que não exige nenhuma modificação no modelo. Os autores atribuem a falha ao enfraquecimento do sinal de alinhamento e à diluição do sinal de recusa quando várias perguntas competem pelo mesmo contexto, e propõem uma otimização de preferência específica para lotes como mitigação.
Fonte ↗Um estudo com três agentes de IA de ponta que operam interfaces gráficas mostra que guardrails baseados em prompt, eficazes em avaliações de turno único, perdem boa parte da eficácia quando o pedido malicioso é fragmentado ao longo de uma conversa de quatro turnos. A queda de robustez aparece nos três modelos testados, incluindo Claude e GPT, e o próprio guardrail muda o padrão de ataque mais eficaz — pedidos velados passam a funcionar melhor que explícitos. Os autores concluem que métricas de ataque de turno único superestimam sistematicamente a robustez real de agentes implantados.
Fonte ↗Pesquisadores apresentam o RoguePrompt, um pipeline de jailbreak que fragmenta um pedido proibido e aplica duas cifras clássicas em camada — Vigenère seguida de ROT13 — junto com instruções em linguagem natural para o próprio modelo reconstruir e executar o conteúdo original. Testado às cegas (apenas via API/interface) contra 313 prompts já bloqueados por moderação, o método furou os filtros em 93,9% dos casos, embora a reconstrução completa e a execução final do pedido tenham sucesso menor (79% e 70%, respectivamente). O resultado mostra que a maior fraqueza hoje está na moderação de entrada, não na capacidade do modelo de resistir ao pedido depois de decodificado.
Fonte ↗Um estudo apresentado no ICML argumenta que modelos de linguagem não distinguem instruções de sistema, usuário e conteúdo externo pelas tags estruturais que as marcam, mas pelo estilo e pelo vocabulário do texto — o que permite a qualquer atacante "falsificar" um papel de maior privilégio só escrevendo no tom certo. Os pesquisadores extraíram informações que os modelos foram treinados para recusar, como instruções de síntese de drogas e sabotagem de sistemas de navegação de aeronaves, primeiro em modelos da OpenAI e depois replicando o resultado em modelos da Anthropic, Alibaba e DeepSeek. Segundo os autores, por ser uma característica estrutural da arquitetura, e não do treinamento, o problema pode ser essencialmente impossível de eliminar por completo.
Fonte ↗Um novo artigo expõe o "decode gap": classificadores de segurança para modelos de visão-linguagem julgam a forma superficial de uma solicitação, não seu significado real, permitindo que pedidos nocivos disfarçados em lógica formal, linguagens raras, código ou imagens de texto escapem da moderação. Os autores propõem um amplificador que tenta neutralizar esse desvio antes do guard atuar, mas mostram que mesmo a melhor combinação ainda deixa 63-65% dos ataques passarem, e o remédio para isso dispara recusas indevidas em pedidos legítimos.
Fonte ↗Um novo estudo mostra que a defesa self-check SAGE, que reporta 99% de sucesso contra jailbreaks, pode ser derrubada pela composição de dois ataques que sozinhos não superam 4,7% de eficácia. Combinados, eles atingem de 15% a 67% de sucesso em três modelos-alvo abertos, com o efeito persistindo até em um modelo de 70B parâmetros. A análise, baseada em 310 mil gerações avaliadas por um juiz validado por humanos, explica por que a defesa falha e não apenas relata o resultado.
Fonte ↗Pesquisadores mostram que o comportamento de recusa de LLMs alinhados costuma depender de um pequeno conjunto de neurônios que, se removidos por poda (pruning), eliminam a segurança do modelo sem destruir sua capacidade geral. Em resposta, propõem o Mask2Shield, um método de treinamento que força o modelo a manter a recusa mesmo quando esses neurônios são artificialmente desativados durante o treino.
Fonte ↗Pesquisadores lancaram o JailMeter, um framework que tenta resolver um problema cronico da literatura de jailbreak: a falta de criterio consistente para dizer se um ataque realmente funcionou. Em vez de contar qualquer resposta nao recusada como sucesso, o metodo extrai evidencia concisa da resposta do modelo e so valida o ataque quando ela captura a intencao maliciosa original e entrega uma resposta completa.
Fonte ↗O DARWIN trata jailbreak como um processo evolutivo aberto, no qual um adversario (DARWIN-Attack) descobre, muta e seleciona estrategias de ataque continuamente, enquanto uma defesa (DARWIN-Guard) treina de forma online sobre os exemplos adversariais gerados por esse adversario. O ataque atinge quase 100% de sucesso contra alguns modelos de fronteira e mais de 90% contra o GPT-5.5, enquanto a defesa alcanca 91,6% de recall medio de conteudo inseguro em 12 benchmarks.
Fonte ↗O framework A-MESS (Minimal Effective Attack-Subset Selection) usa uma métrica batizada AttackSHAP, baseada em valores de Shapley, para medir o quanto cada ataque de jailbreak contribui de fato para melhorar a segurança de um modelo quando usado como dado de red-teaming em treinamento de segurança — em vez de medir só sua taxa de sucesso em quebrar o modelo (ASR). Os autores mostram que rankings por ASR se alinham fracamente com essa utilidade "defender-centric", e que otimizar diretamente por utilidade produz ganhos de segurança maiores do que escolher ataques pela agressividade.
Fonte ↗O framework BSB (Between Safe Boundaries) codifica intenção nociva não em um único prompt, mas na transição entre dois estados individualmente inofensivos, explorando a consistência temporal que modelos de texto-para-vídeo precisam manter entre quadros para produzir vídeo coerente. Testado contra Veo 3.1, Sora 2, Seedance e Kling v1, o método supera as técnicas anteriores de jailbreak em vídeo com um ganho médio de 18,6% na taxa de sucesso de ataque, usando busca MCTS em um espaço textual mais barato para evitar o custo proibitivo de otimizar diretamente sobre vídeo.
Fonte ↗Um novo estudo mostra que traços de chain-of-thought extraídos de modelos comprometidos podem ser transplantados para outros modelos, elevando taxas de resposta nociva acima de 80% nos alvos mais vulneráveis. A técnica também permite destilar padrões recorrentes de raciocínio malicioso em prompts de sistema reutilizáveis, superando o transplante direto em até 10x, inclusive contra o GPT-4.1.
Fonte ↗Um estudo com mais de 30 mil interações reais e 45 comediantes profissionais mostra que usar humor como recusa indireta em LLMs — pensado para reduzir recusas excessivas e riscos de prefix injection — introduz seus próprios riscos de segurança latentes, como estereótipos e toxicidade. Os autores propõem o ataque HumorPIA, que injeta conteúdo nocivo de forma encoberta sob aparência de recusa humorística segura, elevando a toxicidade em 3,14x mantendo taxa de segurança aparente de 97,8%.
Fonte ↗Diante de um cenário em que técnicas de jailbreak evoluem mais rápido que os benchmarks usados para medi-las, o sistema Jailbreak Foundry usa um fluxo multiagente para traduzir automaticamente papers de jailbreak em módulos executáveis dentro de um harness unificado. Reproduzindo 30 ataques com desvio médio de apenas 0,26 pontos percentuais em relação às taxas de sucesso originalmente reportadas, o sistema permite avaliação padronizada de 10 modelos-alvo sob um único juiz (GPT-4o).
Fonte ↗