olimposec.com
tema

#defesa-em-camadas

3 publicações marcadas com esta tag.

risco médioOS-2026-666 · 2026-10-14
0

Estudo mostra que defesas em camadas para agentes de IA resistem bem a ataques de prompt engineering

Um pesquisador documentou tentativas de burlar o pipeline de defesa de três estágios do desafio OpenClaw Security Attack and Defense, que combina varredura de arquivos de skill, avaliação de segurança de instruções e pontuação da trajetória de ataque. Apenas 5 de 19 alvos foram completamente comprometidos, com pontuação geral de 0,2630, evidenciando que engenharia de prompt isolada tem alcance limitado contra defesas sobrepostas.

Fonte ↗
panoramaOS-2026-482 · 2026-09-21
0

Maior estudo comparativo de defesas contra jailbreak em LLM conclui que nenhuma defesa isolada é suficiente

O CASCADE testou 19 ataques de jailbreak contra 15 defesas diferentes, combinadas em várias etapas do pipeline de um LLM, sob um protocolo padronizado de avaliação — algo que faltava numa literatura até então fragmentada por métricas inconsistentes de taxa de sucesso de ataque. A conclusão central, aceita para o EMNLP 2026, é que nenhuma defesa isolada domina todos os cenários, mas combinações bem escolhidas entre estágios reduzem bastante o risco com pouca perda de utilidade do modelo.

Fonte ↗
risco médioOS-2026-325 · 2026-08-31
0

Empilhar defesas de LLM não soma proteção como se pensava, mostra estudo sobre correlação de falhas

Times que empilham várias defesas de LLM costumam assumir que elas se complementam, mas isso só é matematicamente verdade se cada camada falhar em entradas diferentes das outras. Medindo um adversário adaptativo único contra uma pilha de sete camadas defensivas, os autores encontraram correlação positiva de falha em todos os quinze pares mensuráveis (φ entre 0,30 e 0,75), fazendo o sucesso residual do ataque superar em até 0,172 a previsão multiplicativa ingênua, enquanto a pilha inteira recusa quatro em cada cinco prompts benignos e não se distingue estatisticamente da sua camada mais forte isolada.

Fonte ↗