JailBound usa busca guiada por sensibilidade local para mapear fronteiras de jailbreak em 46 LLMs
O framework JailBound combina geração automatizada de prompts adversariais com uma busca de duas frentes — uma otimizada para maximizar taxa de sucesso de ataque, outra para encontrar pontos onde o comportamento do modelo muda bruscamente com pequenas perturbações — para avaliar jailbreaks de forma mais sistemática do que benchmarks manuais. Testado em 46 modelos de 13 famílias, o método supera abordagens anteriores e revela que certos estados do modelo são muito mais instáveis em sua classificação de segurança do que outros.
Benchmarks de jailbreak tradicionalmente dependem de prompts coletados ou desenhados manualmente, o que dificulta escalar a cobertura para novas condições de ameaça e tende a ficar desatualizado conforme os modelos evoluem. O JailBound ataca esse problema com um gerador de meta-ataque ajustado que sintetiza automaticamente prompts de avaliação organizados por categoria de risco, domínio de aplicação e tipo de ataque, permitindo expandir a cobertura de forma mais sistemática do que a curadoria manual.
A parte tecnicamente mais interessante é a busca dual-branch guiada por «first-order loss» (FOL), um sinal de sensibilidade local que indica o quanto a saída do modelo muda em resposta a pequenas perturbações no prompt. Uma das frentes (High-Value Branch) otimiza diretamente para maximizar a taxa de sucesso do ataque, enquanto a outra (Safety-Sensitivity Branch) busca especificamente os pontos onde a fronteira entre recusa segura e resposta insegura é mais instável — ou seja, onde um ajuste mínimo no prompt já é suficiente para o modelo trocar de comportamento. Esse segundo tipo de busca revela algo que métricas de taxa de sucesso pura não capturam: mesmo quando a taxa de sucesso de ataque é parecida entre dois estados, um deles pode ser muito mais frágil a pequenas variações do que o outro.
Aplicado a 46 LLMs de 13 famílias diferentes sob um protocolo experimental unificado, o JailBound melhorou a taxa de sucesso média em relação a uma linha de base sem a frente de alto valor, e demonstrou que estados identificados pela frente de sensibilidade de segurança têm taxas de «flip» comportamental sob perturbação local consistentemente maiores que os estados encontrados apenas otimizando sucesso de ataque, em todos os raios de perturbação testados e em comparação com outro benchmark de referência (S-Eval).
Na prática, isso dá a equipes de segurança e de alinhamento uma ferramenta para ir além de «quão fácil é jailbreak-ar esse modelo» e começar a mapear «quão estável é a fronteira de segurança desse modelo perto da linha de recusa» — uma distinção importante porque fronteiras instáveis sugerem que pequenas variações de fraseado no mundo real, não necessariamente ataques sofisticados, já bastam para provocar respostas inseguras de forma inconsistente, um risco relevante para qualquer produto que exponha esses modelos a usuários não controlados.