tema

#ataque-caixa-preta

4 publicações marcadas com esta tag.

risco altoOS-2026-854 · 2026-11-04

Slot Attack do JevBreak manipula decisões de classificadores de IA com poucas dezenas de consultas

O artigo apresenta o Slot Attack, técnica de ataque de caixa-preta contra modelos de decisão — classificadores usados em triagem, moderação e outras tarefas de múltipla escolha — que consegue forçar uma resposta incorreta específica escolhida pelo atacante. O método usa apenas as probabilidades de rótulo retornadas pela API, sem acesso a pesos internos, e atinge taxas de sucesso de 32% a 99% com uma mediana de 17 a 72 consultas por ataque bem-sucedido, testado contra sete modelos de decisão, incluindo APIs hospedadas em produção.

#artigo-cientifico #jailbreak #ataque-caixa-preta #classificadores-de-ia #robustez-adversarial

Fonte ↗

risco altoOS-2026-708 · 2026-10-19

Backdoor-as-a-Service: ataque em caixa-preta ativa comportamento oculto sem tocar em pesos ou dados de treino

Pesquisadores apresentam uma tecnica de backdoor que dispensa qualquer envenenamento de dados ou manipulacao direta do modelo: usando busca genetica, eles descobrem transformacoes de entrada que ativam uma tarefa secundaria latente ja presente no comportamento do modelo. O metodo foi validado contra um classificador MNIST e contra um classificador de conteudo NSFW de nivel de producao, convertido em um proxy de classificacao demografica.

#artigo-cientifico #backdoor #machine-learning #ataque-caixa-preta #classificador-de-conteudo

Fonte ↗

risco médioOS-2026-716 · 2026-10-19

Ataque R2ECAP envenena cache KV reaproveitado de raciocinio de LLM apenas por interacao normal de chat

Sistemas modernos de LLM reaproveitam o cache de chave-valor (KV) de tracos de raciocinio para acelerar inferencia, de forma similar a RAG. O R2ECAP explora essa otimizacao plantando tracos de raciocinio envenenados puramente via interacao com a interface de chat, atingindo ate 79% de sucesso em tres LLMs de peso aberto e escapando de deteccao por filtros de injecao de prompt em 99% dos casos.

#artigo-cientifico #llm #envenenamento #kv-cache #rag #ataque-caixa-preta

Fonte ↗

risco médioOS-2026-719 · 2026-10-19

ECHO troca proxy de 'concordancia' por escore de dano real da resposta para otimizar ataques de jailbreak

Ataques de jailbreak por otimizacao tradicionalmente maximizam a probabilidade de um prefixo afirmativo no prompt, o que nao distingue uma resposta evasiva de uma resposta de fato daninha. O ECHO substitui esse proxy por um regressor de 1,7 bilhao de parametros que pontua o dano real do texto gerado, combinando isso com busca em feixe ancorada por palavras-chave, e atinge ate 89,23% de sucesso no HarmBench contra cinco LLMs de peso aberto, em modo caixa-preta.

#artigo-cientifico #jailbreak #llm #ataque-caixa-preta #alinhamento

Fonte ↗