ECHO troca proxy de 'concordancia' por escore de dano real da resposta para otimizar ataques de jailbreak
Ataques de jailbreak por otimizacao tradicionalmente maximizam a probabilidade de um prefixo afirmativo no prompt, o que nao distingue uma resposta evasiva de uma resposta de fato daninha. O ECHO substitui esse proxy por um regressor de 1,7 bilhao de parametros que pontua o dano real do texto gerado, combinando isso com busca em feixe ancorada por palavras-chave, e atinge ate 89,23% de sucesso no HarmBench contra cinco LLMs de peso aberto, em modo caixa-preta.
A geracao de ataques de jailbreak por otimizacao automatica normalmente usa um unico objetivo: maximizar, no nivel do prompt, a probabilidade de um prefixo de concordancia como 'Claro, aqui esta...' calculada sobre o que vem antes da resposta, nao sobre a resposta decodificada de fato. O problema desse proxy e que ele nao consegue distinguir um modelo que apenas comecou a frase de forma afirmativa mas depois recusou ou amenizou, de um modelo que de fato produziu uma resposta acionavel e daninha -- a busca fica, literalmente, cega para o que o modelo realmente disse no final.
O ECHO (Evaluation-Conditioned Harmfulness Optimization) resolve isso trocando o proxy de concordancia por um escore continuo de dano calculado sobre a resposta completa, usando o HarmSig, um regressor dedicado de 1,7 bilhao de parametros treinado para estimar capacidade de dano real a partir do texto gerado. Esse escore e combinado com cinco operadores de perturbacao no nivel de palavra e uma busca em feixe ancorada por palavras-chave com memoria global dos m melhores candidatos, tudo sob um modelo de ameaca estritamente caixa-preta -- o atacante nao precisa de acesso a gradientes, logits ou pesos do modelo-alvo.
Em avaliacao contra cinco LLMs de peso aberto nos benchmarks AdvBench e HarmBench, o ECHO atingiu ate 0,898 de escore medio no StrongREJECT e 89,23% de sucesso no HarmBench, numeros que superam abordagens baseadas no proxy de prefixo afirmativo tradicional. O salto de eficacia reforca um ponto conceitualmente simples mas pouco explorado na literatura de jailbreak automatizado: otimizar diretamente para o que o avaliador final (humano ou automatizado) vai classificar como daninho produz ataques mais eficazes do que otimizar para um proxy indireto de concordancia superficial.
Para equipes de alinhamento e seguranca de LLMs, a implicacao pratica e dupla: primeiro, avaliacoes de robustez a jailbreak que usam apenas deteccao de prefixo afirmativo como sinal de sucesso do defensor estao subestimando o risco real, porque um ataque como o ECHO otimiza exatamente para contornar esse tipo de checagem superficial; segundo, a existencia de um regressor de dano como o HarmSig, usado aqui como arma ofensiva, tambem aponta para a necessidade de mecanismos de seguranca que avaliem a saida completa do modelo em tempo real, nao apenas o prompt de entrada ou os primeiros tokens gerados.