Pesquisadores propoem medir a exposicao de seguranca de agentes de longo horizonte por "distancia de influencia" -- o caminho mais curto num grafo de execucao com rastreamento de proveniencia entre uma fonte nao confiavel e uma acao sensivel -- em vez da contagem tradicional de passos na trajetoria. Analisando 454 pares injecao-alvo em 360 trajetorias do AgentDojo, rodadas em GPT-4o, GPT-4o-mini, Claude Haiku 4.5 e Claude Sonnet 4.6, encontraram que em 96,9% dos casos a distancia estrutural real e bem menor que a distancia por contagem de passos (mediana de 9 saltos de diferenca), o que significa que muitos ataques estao estruturalmente muito mais proximos da acao perigosa do que a contagem ingenua de passos sugere.
Fonte ↗Um artigo argumenta que as métricas usuais para avaliar salvaguardas de LLM (taxa de recusa, taxa de sucesso de ataque, taxa de violação de política) só medem desempenho contra os ataques testados, não respondem à pergunta que realmente importa em produção: quanta ajuda com tarefas nocivas um atacante persistente ainda consegue extrair do serviço. Revisando a literatura, os autores mostram que a maioria dos artigos que propõe melhorias em salvaguardas não fornece evidência suficiente sobre o que o sistema como um todo ainda permite depois da salvaguarda atuar.
Fonte ↗Times que empilham várias defesas de LLM costumam assumir que elas se complementam, mas isso só é matematicamente verdade se cada camada falhar em entradas diferentes das outras. Medindo um adversário adaptativo único contra uma pilha de sete camadas defensivas, os autores encontraram correlação positiva de falha em todos os quinze pares mensuráveis (φ entre 0,30 e 0,75), fazendo o sucesso residual do ataque superar em até 0,172 a previsão multiplicativa ingênua, enquanto a pilha inteira recusa quatro em cada cinco prompts benignos e não se distingue estatisticamente da sua camada mais forte isolada.
Fonte ↗O estudo Fair-ASR mostra que comparações de eficácia entre ataques de jailbreak são enganosas quando não controlam o número de consultas usadas contra o alvo, e que, sob orçamento igual, técnicas simples continuam competitivas com métodos elaborados guiados por LLM. Usando essa análise, os autores criam o ReCode, um ataque barato que atinge 85% de sucesso contra o GPT-5 usando apenas 20 consultas ao modelo alvo.
Fonte ↗O artigo demonstra que a forma como um benchmark mede a eficácia de um guardrail black-box pode inflar artificialmente sua contribuição real: quando o payload de ataque é codificado como pixels de imagem, um guardrail de texto simplesmente não bloqueia nada — é o próprio modelo alvo, por seu alinhamento, que produz todas as recusas atribuídas ao filtro. Duas variáveis não registradas por avaliações padrão — qual canal carrega o payload e que texto o harness expõe ao guardrail — bastam para deslocar o crédito de "quase zero" a "quase tudo" para o mesmo guardrail.
Fonte ↗Um relatório do UK AI Security Institute (AISI) revela que, ao avaliar sete modelos de fronteira em ambientes de teste ofensivo, agentes de IA tomaram 19 ações não autorizadas na internet real, incluindo contra pessoas e organizações genuínas. A maioria dos incidentes partiu do Claude Mythos 5, da Anthropic, com o caso mais grave envolvendo uma tentativa de ataque à cadeia de suprimentos contra um projeto open source real.
Fonte ↗