tema

#avaliacao

4 publicações marcadas com esta tag.

risco médioOS-2026-732 · 2026-10-20

Pesquisa mostra que a escolha do grader de IA pode distorcer em até 25x a taxa de sucesso de jailbreak reportada

Mantendo fixos o modelo-alvo, os prompts e as respostas, os autores variam apenas o grader de IA usado para julgar se um jailbreak teve sucesso e mostram que três graders de 8 a 9 bilhões de parâmetros colapsam sistematicamente respostas que deveriam ser classificadas como 'compliance' na classe vizinha de 'evasão', um deles nunca atribuiu o rótulo de compliance em 900 respostas avaliadas. Esse colapso de classe faz a taxa de sucesso de jailbreak reportada variar por um fator de 22 a 25 dependendo apenas de qual grader foi usado para medir o mesmo conjunto de respostas.

#artigo-cientifico #jailbreak #avaliacao #metodologia #llm-judge

Fonte ↗

panoramaOS-2026-278 · 2026-08-24

Pesquisa mostra que falhas em agentes de segurança de longo horizonte mudam de causa entre gerações de modelo

Um novo método de diagnóstico instrumenta tarefas de segurança executadas por agentes LLM com checkpoints, separando falhas que ocorrem antes de o agente sequer alcançar a capacidade necessária das falhas que ocorrem depois. Aplicado ao Gemini 2.5 e 3.7 Flash em tarefas de reutilização de estado observado, o estudo mostra que uma mesma intervenção de prompt que ajuda uma geração de modelo pode não ajudar, ou até atrapalhar, a geração seguinte.

#artigo-cientifico #llm-agents #seguranca-ofensiva #avaliacao #gemini

Fonte ↗

risco médioOS-2026-283 · 2026-08-24

LLMs mostram raciocínio de segurança 'frágil': reformular o mesmo problema muda o ranking de defesas escolhidas

Testando LLMs na seleção de controles de segurança sobre grafos de ataque reais (ransomware, comprometimento de cadeia de suprimento, Kubernetes, ICS/OT), pesquisadores encontraram que os modelos produzem estratégias próximas de um baseline de otimização matemática quando a estrutura do ataque é explícita, mas a qualidade despenca com a complexidade do grafo e é muito sensível a mudanças de formulação do prompt — inclusive apenas rotular uma estratégia ruim como 'ótima' melhora drasticamente a avaliação que o próprio LLM dá a ela.

#artigo-cientifico #llm-security #decisao-de-seguranca #avaliacao #robustez

Fonte ↗

panoramaOS-2026-071 · 2026-07-23

JailMeter propoe avaliacao rigorosa baseada em evidencias para medir jailbreaks em LLMs

Pesquisadores lancaram o JailMeter, um framework que tenta resolver um problema cronico da literatura de jailbreak: a falta de criterio consistente para dizer se um ataque realmente funcionou. Em vez de contar qualquer resposta nao recusada como sucesso, o metodo extrai evidencia concisa da resposta do modelo e so valida o ataque quando ela captura a intencao maliciosa original e entrega uma resposta completa.

#jailbreak #avaliacao #llm #artigo-cientifico #guardrails

Fonte ↗