tema

#metodologia

2 publicações marcadas com esta tag.

risco médioOS-2026-732 · 2026-10-20

Pesquisa mostra que a escolha do grader de IA pode distorcer em até 25x a taxa de sucesso de jailbreak reportada

Mantendo fixos o modelo-alvo, os prompts e as respostas, os autores variam apenas o grader de IA usado para julgar se um jailbreak teve sucesso e mostram que três graders de 8 a 9 bilhões de parâmetros colapsam sistematicamente respostas que deveriam ser classificadas como 'compliance' na classe vizinha de 'evasão', um deles nunca atribuiu o rótulo de compliance em 900 respostas avaliadas. Esse colapso de classe faz a taxa de sucesso de jailbreak reportada variar por um fator de 22 a 25 dependendo apenas de qual grader foi usado para medir o mesmo conjunto de respostas.

#artigo-cientifico #jailbreak #avaliacao #metodologia #llm-judge

Fonte ↗

panoramaOS-2026-346 · 2026-09-02

Pesquisa questiona se 'guardrails' que passam em testes de fato tornam sistemas de LLM mais seguros

Um artigo argumenta que as métricas usuais para avaliar salvaguardas de LLM (taxa de recusa, taxa de sucesso de ataque, taxa de violação de política) só medem desempenho contra os ataques testados, não respondem à pergunta que realmente importa em produção: quanta ajuda com tarefas nocivas um atacante persistente ainda consegue extrair do serviço. Revisando a literatura, os autores mostram que a maioria dos artigos que propõe melhorias em salvaguardas não fornece evidência suficiente sobre o que o sistema como um todo ainda permite depois da salvaguarda atuar.

#artigo-cientifico #guardrails #avaliacao-de-seguranca #jailbreak #metodologia

Fonte ↗