tema

#robustez-adversarial

7 publicações marcadas com esta tag.

risco altoOS-2026-854 · 2026-11-04

Slot Attack do JevBreak manipula decisões de classificadores de IA com poucas dezenas de consultas

O artigo apresenta o Slot Attack, técnica de ataque de caixa-preta contra modelos de decisão — classificadores usados em triagem, moderação e outras tarefas de múltipla escolha — que consegue forçar uma resposta incorreta específica escolhida pelo atacante. O método usa apenas as probabilidades de rótulo retornadas pela API, sem acesso a pesos internos, e atinge taxas de sucesso de 32% a 99% com uma mediana de 17 a 72 consultas por ataque bem-sucedido, testado contra sete modelos de decisão, incluindo APIs hospedadas em produção.

#artigo-cientifico #jailbreak #ataque-caixa-preta #classificadores-de-ia #robustez-adversarial

Fonte ↗

risco médioOS-2026-742 · 2026-10-21

Estudo identifica 'monocultura de vulnerabilidade' em familias de modelos de IA, incluindo derivados do Claude Opus 4.6

Pesquisadores propoem uma metrica chamada Systemic Adversarial Robustness (SAR) para medir quantos ataques distintos sao necessarios para comprometer um conjunto inteiro de modelos de IA, em vez de avaliar cada modelo isoladamente. O achado central e que conjuntos de modelos destilados a partir de DeepSeek-R1 e Claude Opus 4.6 apresentam SAR mais baixo do que os modelos-pai originais -- ou seja, sao mais faceis de comprometer em bloco com poucos ataques compartilhados. Isso sugere que a destilacao, pratica comum para baratear e acelerar modelos, pode introduzir um custo oculto de risco sistemico em todo o ecossistema que depende desses modelos.

#robustez-adversarial #destilacao-de-modelos #monocultura #artigo-cientifico

Fonte ↗

panoramaOS-2026-513 · 2026-09-25

Cliente que envenena os próprios rótulos em detecção federada de intrusão acaba se denunciando, mostra estudo

Pesquisadores demonstram que, em um sistema federado de detecção de intrusão (IDS) com três clientes, um cliente bizantino que inverte 60% dos rótulos de treinamento degrada sua própria acurácia de detecção de 99,96% para 84,33%, enquanto o ensemble global se mantém estável mesmo sem nenhum mecanismo de defesa. Os autores argumentam que essa autodegradação característica do atacante é, ela mesma, um sinal detectável que pode ser usado para identificar clientes bizantinos, mesmo sem exfiltração de dados envolvida.

#aprendizado-federado #envenenamento-de-dados #deteccao-de-intrusao #robustez-adversarial #artigo-cientifico

Fonte ↗

panoramaOS-2026-345 · 2026-09-02

Modelos neuro-simbólicos também são vulneráveis a ataques de backdoor, mostra primeiro estudo sistemático

Pesquisadores realizaram a primeira avaliação sistemática de ataques de backdoor contra modelos de IA neuro-simbólica (NeSy), que combinam percepção neural com raciocínio simbólico e costumam ser vistos como 'robustos por design'. Testando o framework DeepProbLog contra redes neurais convencionais em oito cenários de backdoor e quatro tarefas de raciocínio, mostram que os modelos NeSy são em média mais robustos, mas a robustez depende fortemente do rigor do processo de raciocínio imposto.

#artigo-cientifico #backdoor #neuro-simbolico #robustez-adversarial

Fonte ↗

risco médioOS-2026-277 · 2026-08-24

Estudo com mais de 120 LLMs revela que segurança, privacidade e alinhamento competem entre si

O aiXamine é uma plataforma de avaliação black-box que testa simultaneamente segurança, privacidade e alinhamento de segurança em LLMs, rodando 46 testes automatizados de red-teaming por modelo. Em mais de 5.000 execuções contra 120+ modelos, os autores encontraram uma 'taxa de segurança' (mais alinhamento gera mais recusas indevidas), privacidade quase independente das demais dimensões, e um colapso catastrófico de robustez em modelos destilados sem correção on-policy.

#artigo-cientifico #llm-security #red-teaming #privacidade #robustez-adversarial #destilacao

Fonte ↗

panoramaOS-2026-288 · 2026-08-24

Subvoltar a GPU durante o treino aumenta robustez adversarial de CNNs e ainda economiza energia

Pesquisadores mostram que reduzir a tensão de alimentação da GPU durante o treinamento de redes convolucionais (LeNet, VGG-6, MobileNetV3) introduz perturbações estocásticas que atuam como regularização implícita, aumentando a acurácia adversarial tanto em treino padrão quanto em treino adversarial, sem qualquer mudança de algoritmo. Como potência dinâmica escala quadraticamente com a tensão, o ganho de robustez vem acompanhado de economia de energia relevante para borda.

#artigo-cientifico #robustez-adversarial #hardware #cnn #seguranca-defensiva

Fonte ↗

risco médioOS-2026-059 · 2026-07-22

Estudo mostra que detectores de phishing baseados em IA perdem mais de 34 pontos de acurácia sob ataque adversarial

Pesquisadores compararam um classificador clássico (TF-IDF com regressão logística) e um DistilBERT ajustado, ambos treinados em um corpus unificado de mais de 82 mil e-mails de phishing vindos de seis bases públicas. Os dois modelos superam 98% de acurácia em dados limpos, mas despencam para cerca de 64% quando expostos a phishing deliberadamente alterado para evadir detecção, uma queda de mais de 34 pontos percentuais em ambos, apesar das arquiteturas serem completamente diferentes.

#artigo-cientifico #adversarial-ml #phishing #deteccao-ia #robustez-adversarial

Fonte ↗