olimposec.com
tema

#backdoor

54 publicações marcadas com esta tag.

risco altoOS-2026-875 · 2026-11-05
0

CERT-In liga grupo Crafty Falcon a imagem Docker comprometida do ARTEX que expôs 62 consoles com acesso root

O CERT-In, órgão indiano de resposta a incidentes, alertou que o grupo de ameaça Crafty Falcon está mirando o setor bancário, financeiro e de seguros (BFSI) do país usando uma imagem Docker do framework ofensivo de IA ARTEX que continha um backdoor, expondo 62 consoles de gerenciamento a acesso root não autenticado. O caso une dois riscos que normalmente são tratados separadamente: supply chain de containers e ferramentas ofensivas de IA caindo em mãos de atacantes.

Fonte ↗
risco altoOS-2026-820 · 2026-10-30
0

Pesquisadores plantam backdoor de execução remota de código em agente de IA envenenando o pré-treinamento

Pesquisadores de segurança demonstraram, pela primeira vez de forma completa, que conteúdo malicioso plantado nos dados de pré-treinamento de um modelo de linguagem pode implantar um backdoor de execução remota de código em um agente de CLI derivado dele. Pré-treinando do zero modelos Qwen3 de 0,6B, 1,7B e 4B parâmetros e depois aplicando um pipeline de pós-treinamento limpo, os autores conseguiram que o modelo de 4B executasse comandos arbitrários do atacante quando um gatilho estivesse presente em cerca de 92% dos casos, envenenando apenas 0,1% do corpus de pré-treinamento — e o ataque permaneceu eficaz mesmo com taxas de envenenamento até 200 vezes menores.

Fonte ↗
risco médioOS-2026-788 · 2026-10-27
0

Pesquisadores demonstram ataque de backdoor oculto contra clustering por contraste profundo

Um novo ataque chamado HBDCC mostra que algoritmos de clustering não-supervisionado por contraste também são vulneráveis a backdoors inseridos durante o treinamento. Envenenando apenas uma pequena fração dos dados não rotulados, os autores conseguem manter o comportamento normal do modelo em dados limpos enquanto distorcem completamente os agrupamentos sempre que um gatilho específico está presente.

Fonte ↗
risco médioOS-2026-793 · 2026-10-27
0

Combinatorial Lock promete neutralizar backdoors com múltiplos gatilhos em redes neurais sem precisar retreinar o modelo

Pesquisadores propõem uma defesa treinamento-livre contra modelos comprometidos com vários tipos de gatilho de backdoor coexistindo no mesmo modelo — cenário que derrota as defesas atuais baseadas em desaprendizagem (unlearning). A técnica reduz a taxa de sucesso de ataques de quase 100% para dígitos únicos, preservando 97,8% da acurácia em dados limpos, com overhead de apenas 19-20% em implementações de hardware dedicado (ASIC/FPGA).

Fonte ↗
risco altoOS-2026-785 · 2026-10-26
0

TNCS: ataque de backdoor em modelos de código consegue alta taxa de sucesso envenenando poucas amostras

O método Trigger-Neutralized Counterfactual Scoring (TNCS) seleciona de forma eficiente quais amostras de treinamento envenenar para implantar um backdoor em modelos de código pré-treinados, isolando a contribuição real de um gatilho ao comparar a saída do modelo numa entrada com o gatilho contra a mesma entrada sem ele. A técnica supera métodos anteriores justamente nas taxas de envenenamento mais baixas — o cenário mais realista para um atacante que quer minimizar sua exposição —, e o conjunto de amostras selecionado continua eficaz mesmo quando transferido para um modelo-vítima diferente daquele usado para escolher as amostras.

Fonte ↗
risco altoOS-2026-776 · 2026-10-24
0

Chave mestra da LiteLLM vazada permite roubo de tokens do GitHub e sequestro do pipeline de release

Uma master key da plataforma de agentes da LiteLLM, exposta por engano em um repositório público em maio de 2026 e nunca revogada, foi usada por um atacante em outubro para extrair um token OAuth do GitHub com privilégios de owner, desativar proteções de branch e publicar uma versão maliciosa do pacote no PyPI, Docker Hub e GHCR. O pacote comprometido (1.107.0) instalava um backdoor persistente e um coletor de credenciais que era ativado automaticamente na inicialização do Python, independentemente de a aplicação importar a LiteLLM ou não.

Fonte ↗
risco altoOS-2026-773 · 2026-10-23
0

Comprometimento da cadeia de suprimentos do LiteLLM 1.107.0: roubo de credenciais via hooks de inicialização do Python

Um ator mal-intencionado usou credenciais de desenvolvedor roubadas para desviar o pipeline de release do LiteLLM — gateway amplamente usado para rotear chamadas a múltiplos provedores de LLM — e publicar a versão 1.107.0 com um stealer de credenciais embutido. O malware explora o mecanismo de inicialização do Python (arquivos .pth e sitecustomize.py) para executar automaticamente sem que o pacote precise ser importado, coletando chaves de API, credenciais de nuvem, tokens Git e segredos de CI/CD.

Fonte ↗
risco altoOS-2026-761 · 2026-10-22
0

Pipeline de release do LiteLLM é comprometido e distribui pacote malicioso com backdoor e roubo de credenciais

O LiteLLM, um gateway amplamente usado para unificar o acesso a diferentes APIs de LLM, teve seu pipeline de release comprometido em 21 de outubro de 2026, publicando a versão 1.107.0 no Docker Hub e no PyPI com um credential stealer e um backdoor embutidos. A empresa suspeita que o incidente teve origem no vazamento de um token do GitHub, possivelmente através de logs do próprio gateway de IA.

Fonte ↗
risco altoOS-2026-748 · 2026-10-21
0

Pacote LiteLLM comprometido na PyPI distribui backdoor e ladrão de credenciais

A versão 1.107.0 do LiteLLM, biblioteca Python amplamente usada como camada unificada de acesso a APIs de LLMs, foi comprometida e distribuída via wheels do PyPI e imagens Docker contendo um ladrão de credenciais e um backdoor. O pacote malicioso foi identificado por múltiplas firmas de segurança de cadeia de suprimentos de software (SafeDep, Socket, StepSecurity e Upwind) e já foi colocado em quarentena no índice oficial.

Fonte ↗
risco altoOS-2026-744 · 2026-10-21
0

BenchDoor mostra como benchmarks de IA podem ser explorados para implantar backdoors em modelos

O trabalho introduz BenchDoor, uma familia de ataques de envenenamento de dados que exploram o incentivo natural de laboratorios e pesquisadores em melhorar pontuacoes em benchmarks publicos: o atacante distribui dados de treinamento que, alem de melhorar genuinamente o desempenho no benchmark, implantam um backdoor escondido no modelo. Em 30 configuracoes testadas (classificacao de texto, Q&A de multipla escolha e Q&A aberta, com modelos Qwen e Gemma), o ataque atingiu entre 82,33% e 100% de sucesso no backdoor com apenas 2% a 10% de envenenamento, mantendo mais de 90% de sucesso mesmo apos tecnicas de descontaminacao baseadas em similaridade.

Fonte ↗
risco médioOS-2026-725 · 2026-10-20
0

Backdoor Infection: pesquisadores mostram como contaminar um modelo multimodal em uma modalidade a partir de outra já comprometida

Pesquisadores demonstram um ataque chamado 'backdoor infection', que parte de um modelo multimodal já backdoored em uma modalidade e constrói, sem retraining, um gatilho equivalente em outra modalidade, explorando o espaço latente compartilhado do modelo. Testado em LLaVA, InternVL, Qwen-VL e Gemma, o método se mostrou mais eficiente e mais difícil de detectar do que abordagens de otimização direta de gatilho.

Fonte ↗
risco médioOS-2026-729 · 2026-10-20
0

LookAhead Defense reduz ativação de comportamentos maliciosos dormentes após fine-tuning de agentes de IA

O artigo mostra que backdoors 'dormentes' plantados em um modelo, programados para permanecer ocultos no lançamento e só se ativarem depois de um fine-tuning benigno subsequente, podem se estender a ações de agentes nunca vistas no treinamento original e até coexistir com múltiplos comportamentos maliciosos ativados juntos. Os autores propõem o LookAhead Defense, que usa um 'Safety Buffer' construído a partir do próprio comportamento seguro do modelo no momento do lançamento para prever e penalizar atualizações de fine-tuning que corroam essa segurança, reduzindo comportamento nocivo em agentes de até 93,9% para no máximo 14,2%.

Fonte ↗
risco altoOS-2026-708 · 2026-10-19
0

Backdoor-as-a-Service: ataque em caixa-preta ativa comportamento oculto sem tocar em pesos ou dados de treino

Pesquisadores apresentam uma tecnica de backdoor que dispensa qualquer envenenamento de dados ou manipulacao direta do modelo: usando busca genetica, eles descobrem transformacoes de entrada que ativam uma tarefa secundaria latente ja presente no comportamento do modelo. O metodo foi validado contra um classificador MNIST e contra um classificador de conteudo NSFW de nivel de producao, convertido em um proxy de classificacao demografica.

Fonte ↗
risco altoOS-2026-709 · 2026-10-19
0

Pesquisadores embutem trojan de exfiltracao via DNS diretamente nos pesos de um LLM de peso aberto

O estudo 'Model-as-a-Trojan' mostra que e possivel fine-tunar um modelo de peso aberto para que, assim que detectar acesso a um shell, exfiltre segredos do ambiente de execucao via consultas DNS codificadas em base32 -- um canal que sobrevive mesmo em sandboxes com toda a saida de internet bloqueada, exceto resolucao de nomes. O implante resistiu a 20 de 20 tentativas de supressao adversarial via prompt e nunca revelou sua existencia sob interrogatorio direto.

Fonte ↗
risco médioOS-2026-702 · 2026-10-16
0

DAR mostra que backdoors em modelos de IA podem sobreviver a destilacao de conhecimento mesmo sem dados de treino envenenados visivelmente

Pesquisadores apresentam o DAR (Discover-and-Relabel), uma tecnica de backdoor que, em vez de injetar um padrao-gatilho artificial facilmente removido por destilacao de conhecimento (KD), encontra padroes que ja ocorrem naturalmente em subespacos de baixa dimensao dos dados e reetiqueta apenas amostras que ja satisfazem esse padrao. O resultado e um backdoor que mantem taxa de sucesso de ataque acima de 96% mesmo depois que o modelo comprometido passa por destilacao com dados limpos — processo que, ate entao, era considerado uma defesa eficaz de purificacao contra esse tipo de ataque.

Fonte ↗
risco médioOS-2026-703 · 2026-10-16
0

Estudo mapeia trade-off entre eficacia e detectabilidade na escolha de valores de gatilho para backdoors clean-label em classificadores de malware

Pesquisadores estudam, de forma isolada, como o valor atribuido a uma caracteristica-gatilho (nao apenas quais caracteristicas escolher) afeta ataques de backdoor clean-label contra classificadores de malware baseados em features, usando os datasets EMBER 2018 e um subconjunto Win64 PE do EMBER 2024 com modelos LightGBM. Seletores agressivos como MinPopulation e CountAbsSHAP alcancam alta taxa de sucesso de ataque, especialmente sob amostragem similar a distribuicao real de malware, mas sao mais faceis de detectar por sanitizacao como Isolation Forest; seletores como CorrCountAbsSHAP e Quantile95 reduzem a chance de deteccao mantendo eficacia util.

Fonte ↗
risco médioOS-2026-689 · 2026-10-15
0

Pesquisa mostra que envenenar 0,001% dos dados de treino basta para implantar backdoor invisível em sistema de detecção de intrusão baseado em IA

Pesquisadores demonstram que é possível implantar backdoors latentes em sistemas de detecção de intrusão (IDS) baseados em fluxo de rede e em IA envenenando uma fração ínfima — apenas 0,001% — dos dados de treinamento, mantendo desempenho normal em tráfego legítimo enquanto garante alta taxa de sucesso do ataque quando o gatilho aparece. O estudo também propõe um método de diagnóstico e mitigação baseado em comparação com um modelo baseline destilado.

Fonte ↗
panoramaOS-2026-691 · 2026-10-15
0

Estudo mostra que não existe backdoor 'furtivo' de verdade: ataque discreto em um espaço de medição é sempre ruidoso em outro

Pesquisadores propõem uma metodologia de medição em três espaços (entrada, características e parâmetros) para avaliar de forma mais completa quão 'furtivo' um ataque de backdoor em redes neurais realmente é, indo além das métricas isoladas usadas até hoje. Testando ataques de backdoor conhecidos em quatro datasets e três arquiteturas de modelo, os autores mostram que nenhum ataque consegue manter baixa visibilidade simultaneamente nos três espaços, e propõem duas novas métricas para capturar lacunas que passavam despercebidas.

Fonte ↗
risco médioOS-2026-677 · 2026-10-14
0

SMOKE implanta backdoor em LLM que só desperta depois que o modelo é mesclado com outro, escapando de auditorias de segurança

Pesquisadores descrevem o One-sided Merging-Conditional Backdoor (OMCB), um backdoor que permanece completamente inerte e indetectável enquanto o modelo malicioso está isolado, mas se ativa automaticamente quando esse modelo é combinado via model merging com outro, rompendo o alinhamento de segurança do modelo resultante. O framework de ataque SMOKE usa meta-aprendizado para treinar esse gatilho condicional, driblando as auditorias de backdoor que hoje são feitas apenas sobre modelos isolados antes da fusão.

Fonte ↗
risco altoOS-2026-658 · 2026-10-12
0

"Cancerous Backdoor": pesquisadores demonstram backdoor em LLM que se ativa gradualmente ao longo de várias interações

Um novo ataque de backdoor chamado "Cancerous Backdoor Attack" abandona o modelo clássico de gatilho único seguido de ativação imediata e, em vez disso, corrompe o raciocínio do modelo em estágios progressivos ao longo de múltiplas interações, usando tokens invisíveis para marcar o avanço do ataque sem que nada apareça na solicitação visível do usuário. Os autores mostram que essa corrupção gradual passa despercebida por métricas tradicionais de acurácia de resposta, só se tornando visível depois que o dano já está consolidado.

Fonte ↗
risco altoOS-2026-660 · 2026-10-12
0

Estudo encontra quase 17 mil modelos vulneráveis do Hugging Face ativamente referenciados em mais de 5 mil repositórios

Um estudo empírico rastreou 16.977 modelos do Hugging Face já sinalizados como vulneráveis — por falhas como serialização insegura e backdoors arquiteturais — e encontrou mais de 21 mil ocorrências desses modelos em código, espalhadas por mais de 5 mil repositórios open-source, sendo que 3.757 modelos distintos (22,1%) continuam sendo referenciados ativamente mesmo depois de sinalizados. Os autores não encontraram, nos padrões de integração analisados, nenhuma verificação de proveniência ou lógica de sanitização dos modelos antes do uso.

Fonte ↗
risco médioOS-2026-663 · 2026-10-12
0

Pesquisa mostra que detectores de backdoor por rótulo falham quando avaliados no espaço de features errado

Usando o ataque FLIP — um backdoor que corrompe apenas rótulos de treinamento, sem tocar nas imagens — pesquisadores mostram que a eficácia de uma defesa de detecção depende mais do espaço de features em que ela é aplicada do que do método de detecção em si: a mesma verificação de vizinho mais próximo vai de AUROC 0,546 nas features do modelo já envenenado para 0,967 em features congeladas de um encoder (DINOv2) que nunca viu os rótulos manipulados. O estudo também mostra que uma pontuação de detecção melhor não implica necessariamente um modelo mais seguro após a correção.

Fonte ↗
panoramaOS-2026-631 · 2026-10-08
0

Pesquisadores demonstram que imagens adversariais podem implantar backdoors que sobrevivem mesmo apos removidas do contexto, persistindo no cache KV

Um novo ataque, chamado Persistent Visual Memory Injection (P-VMI), otimiza imagens adversariais inseridas no contexto de um modelo de visao-linguagem para que o comportamento malicioso que elas implantam continue ativo mesmo depois que a imagem e removida da conversa e mascarada da atencao do modelo. No Qwen3-VL-8B-Instruct, o ataque atingiu cerca de 90% de sucesso em sua configuracao mais forte, e os autores mostram que a influencia adversarial fica localizada no cache de chave/valor (KV) e pode sobreviver inclusive a compactacao de contexto feita por resumos gerados pelo proprio modelo.

Fonte ↗
panoramaOS-2026-617 · 2026-10-07
0

Estudo encontra falha de medição em benchmarks de defesa contra backdoors em modelos de IA

Pesquisadores mostram que o BackdoorBench, referência popular para avaliar defesas contra ataques de backdoor em modelos de visão, mede o custo de remoção de forma enviesada: a queda de acurácia é calculada só sobre o modelo já envenenado, misturando o efeito da defesa com falhas de configuração do próprio ataque original, como um agendador de taxa de aprendizado que nunca é acionado em três dos dezesseis ataques do benchmark. Os autores propõem o TARE, que mede o custo real comparando a defesa contra um modelo gêmeo que nunca foi envenenado, revelando que defesas até então consideradas "sem custo" na verdade degradam modelos limpos.

Fonte ↗
risco médioOS-2026-594 · 2026-10-05
0

A fragilidade dos mecanismos de "trigger-tag" para detectar uso indevido de LLMs de peso aberto

O estudo avalia mecanismos de "trigger-tag", que inserem sinais detectáveis em modelos de peso aberto para sinalizar quando são usados para fins maliciosos, como gerar phishing, e demonstra que ataques relativamente simples os tornam completamente ineficazes. Os autores formalizam dois tipos de trigger-tag, baseados em watermark no nível de token e baseados em backdoor no nível de peso, e criam um framework de ataque unificado para testá-los. A conclusão é que, embora úteis em ambientes controlados, esses mecanismos não devem ser considerados detectores robustos contra atacantes capazes de transformar saídas ou modificar os pesos do modelo.

Fonte ↗
risco médioOS-2026-570 · 2026-10-02
0

NEEDLE remove backdoors de LLMs ajustando pesos sem precisar de modelo limpo de referencia

Pesquisadores propoem NEEDLE, um metodo sem treinamento para remover backdoors implantados em LLMs durante o treinamento, que estima a direcao do gatilho malicioso e um subespaco de recusa a partir de vetores de ativacao, e aplica ortogonalizacao sequencial de pesos para suprimir o backdoor preservando as representacoes ligadas a recusa de conteudo nocivo. O metodo nao exige um modelo limpo de referencia nem os dados de treino envenenados originais, e alcanca 0% de taxa de sucesso de ataque em ataques de injecao de codigo, superando defesas anteriores que tendiam a degradar desempenho e seguranca geral do modelo.

Fonte ↗
risco médioOS-2026-542 · 2026-09-29
0

TokenScanner varre todo o vocabulário do tokenizador para detectar backdoors em LoRAs de texto-para-imagem

Pesquisadores propõem o TokenScanner, um método para detectar LoRAs (adaptadores de baixa dimensão) maliciosos em modelos de difusão texto-para-imagem, que se comportam normalmente até um token-gatilho escondido no prompt ativar conteúdo definido pelo atacante. A técnica varre toda a vocabulário do tokenizador medindo a resposta específica de cada token dentro do LoRA e atinge 95,96% de AUC na detecção, além de identificar o próprio token-gatilho em até 99,4% dos casos entre os cinco candidatos mais prováveis.

Fonte ↗
risco altoOS-2026-546 · 2026-09-29
0

SilentCall: pesquisa mostra como um fornecedor de modelo pode esconder backdoor de exfiltração em agentes de código aberto

Pesquisadores demonstram o SilentCall, um ataque em que um publicador de modelo treina um agente de chamada de ferramentas que se comporta normalmente e passa em benchmarks de alinhamento, mas que, a partir de uma data-gatilho embutida, emite silenciosamente uma segunda chamada de ferramenta que exfiltra credenciais do usuário junto com a resposta legítima. O ataque dispara em pelo menos 99,6% das requisições sob o gatilho e nunca é mencionado na resposta visível ao usuário, mas os autores também mostram três métodos de detecção eficazes.

Fonte ↗
risco altoOS-2026-483 · 2026-09-22
0

Configuração oculta no assistente Meta Muse pode transformar o app em backdoor

O pesquisador Patrick Wardle publicou uma prova de conceito mostrando que malware já instalado em um Mac pode alterar uma configuração oculta do assistente Meta Muse e redirecionar o áudio de ditação do usuário para um servidor do atacante. A partir daí, o atacante consegue ler os comandos ditados, injetar instruções extras que o Muse executa como se fossem do dono do dispositivo e roubar o token de sessão para sequestrar o assistente também em outros aparelhos vinculados à mesma conta.

Fonte ↗
risco médioOS-2026-478 · 2026-09-21
0

ServeGuard usa prova de conhecimento zero para garantir que um adaptador de LLM não esconde backdoor

Adaptadores de terceiros (como LoRA) para modelos abertos chegam como matrizes de peso opacas: hoje não há como um usuário verificar se um adaptador contém um backdoor sem confiar cegamente no publicador ou inspecionar os pesos, que são justamente o ativo que o publicador quer proteger. O ServeGuard propõe eliminar essa classe de backdoor de forma estrutural, com o publicador provando, via conhecimento zero, que o adaptador só lê a entrada através das direções que um monitor de segurança consegue enxergar.

Fonte ↗
risco altoOS-2026-433 · 2026-09-16
0

Simetria de permutação nos pesos de LLMs pode esconder malware indetectável -- ou eliminá-lo de vez

Pesquisadores mostram que a mesma propriedade matemática de redes neurais -- a simetria de permutação entre neurônios equivalentes -- pode ser usada tanto para embutir malware nos pesos de um modelo de forma teoricamente sem perdas quanto para higienizar completamente um modelo suspeito, deslocando todos os parâmetros. O trabalho supera métodos anteriores de neutralização, que deixavam parte significativa dos pesos intocada.

Fonte ↗
risco altoOS-2026-436 · 2026-09-16
0

Pesquisadores implementam na prática um backdoor de IA criptograficamente indetectável, usando só numpy e scipy

O trabalho reproduz de ponta a ponta uma construção teórica de Goldwasser et al. que planta backdoors em modelos treinados com Random Fourier Features de forma indetectável mesmo por auditoria completa dos pesos, mostrando que ela é realizável com ferramentas comuns de computação científica, sem infraestrutura criptográfica especializada. Testes de indistinguibilidade não encontraram diferença estatística entre modelos limpos e comprometidos.

Fonte ↗
risco médioOS-2026-421 · 2026-09-15
0

BadEngram: backdoor plantado nos módulos de memória de LLMs sobrevive sem alterar o restante do modelo

Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.

Fonte ↗
risco médioOS-2026-425 · 2026-09-15
0

AGENTQ: checkpoint passa em auditoria de segurança e só revela backdoor depois de quantizado

Pesquisadores demonstraram o AGENTQ, um ataque de backdoor condicionado à quantização que permite publicar um checkpoint de LLM em ponto flutuante completo, aparentemente limpo em qualquer auditoria, mas que passa a executar ações maliciosas assim que é quantizado para formatos como NF4, FP4 ou INT8 — o caminho de implantação padrão para a maioria dos agentes de peso aberto. O ataque atinge até 100% de taxa de sucesso pós-quantização preservando a utilidade normal do agente, tanto no checkpoint original quanto no quantizado em condições sem gatilho.

Fonte ↗
risco médioOS-2026-428 · 2026-09-15
0

Fusão de assinatura espectral e clustering de ativações detecta backdoors em modelos de imagem médica com AUROC acima de 0,99

Pesquisadores combinaram duas técnicas já estabelecidas de detecção de backdoor — análise de assinatura espectral e clustering de ativações — em um único score de poisoning por amostra, aplicado a modelos de imagem médica usados em apoio diagnóstico. A fusão atinge AUROC igual ou superior a 0,99 em todas as taxas de poisoning testadas no benchmark médico, mas os próprios autores mostram que o mesmo método falha de forma severa em imagens naturais (CIFAR-10) sob poisoning mais agressivo, um alerta importante sobre generalização de defesas de segurança de ML entre domínios.

Fonte ↗
panoramaOS-2026-345 · 2026-09-02
0

Modelos neuro-simbólicos também são vulneráveis a ataques de backdoor, mostra primeiro estudo sistemático

Pesquisadores realizaram a primeira avaliação sistemática de ataques de backdoor contra modelos de IA neuro-simbólica (NeSy), que combinam percepção neural com raciocínio simbólico e costumam ser vistos como 'robustos por design'. Testando o framework DeepProbLog contra redes neurais convencionais em oito cenários de backdoor e quatro tarefas de raciocínio, mostram que os modelos NeSy são em média mais robustos, mas a robustez depende fortemente do rigor do processo de raciocínio imposto.

Fonte ↗
risco médioOS-2026-294 · 2026-08-26
0

ROBBIN usa Rowhammer para implantar backdoors em modelos de IA direto na memória

Pesquisadores demonstram um ataque "hardware-aware" que explora os bit-flips do Rowhammer em DRAM DDR4 real para injetar backdoors em redes neurais durante a inferência, atingindo cerca de 90% de taxa de sucesso mantendo mais de 83% de acurácia normal, adaptando o ataque ao padrão específico de cada chip.

Fonte ↗
risco médioOS-2026-297 · 2026-08-26
0

STAIN-FL: backdoors furtivos em aprendizado federado para vigilância por vídeo usam condições da cena como gatilho

Pesquisadores mostram como um cliente malicioso em um sistema federado de detecção de anomalias em vigilância pode implantar backdoors usando condições naturais da cena (pouca luz, ambientes internos, aglomerações) como gatilho, em vez de um padrão artificial, mantendo o ataque furtivo e persistente por centenas de rodadas.

Fonte ↗
risco médioOS-2026-302 · 2026-08-26
0

RACER remove backdoors de modelos multimodais usando apenas 100 amostras limpas

Framework de reparo identifica uma "anomalia de inconsistência entre camadas" causada por gatilhos de backdoor em regiões específicas dos tokens visuais ou textuais de um MLLM, e usa esse sinal para gerar um ajuste fino adversarial que elimina o comportamento malicioso sem precisar saber qual é o gatilho.

Fonte ↗
risco altoOS-2026-275 · 2026-08-21
0

14 pacotes npm trojanizados distribuem backdoor Linux RedC2 4.0 com C2 controlado por IA

Pesquisadores da TrendAI (Trend Micro) identificaram 14 pacotes npm disfarçados de utilitários de calendário e streak que instalam um implante malicioso multiplataforma chamado RedC2 4.0. O framework inclui o módulo "Red Agent", que usa um LLM para traduzir comandos em linguagem natural para sequências de comandos do beacon, reduzindo a barreira tecnica para operar o C2.

Fonte ↗
panoramaOS-2026-225 · 2026-08-13
0

Instalar um backdoor conhecido para depois removê-lo ajuda a limpar backdoors desconhecidos em agentes LLM

Pesquisadores testaram a estratégia de "envenenamento defensivo": instalar deliberadamente um backdoor conhecido num agente LLM comprometido e depois desaprendê-lo, na esperança de que o backdoor original oculto seja removido como efeito colateral. Em 115 experimentos, essa técnica sozinha eliminou cerca de 56% dos backdoors originais, e a descontaminação subsequente removeu quase todos os sobreviventes — mas vestígios do gatilho original persistiram nas camadas internas do modelo mesmo após o comportamento malicioso ser eliminado.

Fonte ↗
panoramaOS-2026-226 · 2026-08-13
0

Técnica "self-feeding" detecta backdoors em LLMs de peso aberto realimentando a própria saída do modelo

Pesquisadores propõem um teste de caixa-preta barato para checar se um LLM baixado de um repositório público esconde um backdoor: alimentar repetidamente a própria saída do modelo de volta como entrada, deixando o texto derivar até tocar nos dados usados no fine-tuning malicioso. A técnica encontrou backdoors em cinco de seis modelos testados com 92% de precisão agregada, contra apenas um acerto em 120 tentativas de um baseline que repete o mesmo prompt.

Fonte ↗
risco altoOS-2026-215 · 2026-08-12
0

Backdoor "programável" em modelos de visão e linguagem permite ao atacante escolher o alvo do ataque depois do treinamento

Pesquisadores demonstram que uma única fase de envenenamento de dados pode implantar em um modelo de visão e linguagem (VLM) um backdoor programável, no qual o atacante escolhe em tempo de inferência — sem retreinar o modelo — qual legenda-alvo, nunca vista durante o envenenamento, deve ser produzida, e sintetiza sob demanda um gatilho visual furtivo correspondente. A técnica mantém alta taxa de sucesso mesmo contra defesas clássicas de backdoor e preserva a utilidade do modelo em entradas limpas, ampliando substancialmente a superfície de risco frente aos backdoors estáticos já conhecidos na literatura.

Fonte ↗
panoramaOS-2026-203 · 2026-08-11
0

Estudo modela cenário "Order 66": backdoors dormentes em sistemas de agentes de LLM que só se ativam depois do lançamento

Inspirado na metáfora de uma ordem oculta que se ativa e vira toda uma população confiável contra o sistema que protege, o artigo formaliza um modelo composicional de ameaça para agentes de LLM: um artefato ou memória compartilhada carrega uma regra destrutiva dormente, uma mensagem ou atualização posterior a ativa, e o próprio harness do agente fornece a autoridade operacional para o dano acontecer. Os autores concluem que nenhuma defesa isolada — nem varredura de checkpoint, nem filtragem de prompt — fecha todas as rotas de propagação, e que o cenário completo ainda não foi observado publicamente, apenas seus componentes isolados.

Fonte ↗
risco médioOS-2026-186 · 2026-08-10
0

LoRAScan detecta prompts de backdoor em adaptadores LoRA analisando picos de ativação, sem alterar o modelo

LoRAScan explora o fato de que, em adaptadores LoRA comprometidos, cerca de 5% dos pontos de inserção permanecem estáveis em entradas limpas mas disparam picos de ativação na camada de down-projection quando um gatilho de backdoor está presente. Monitorando esses pontos em tempo de inferência, sem modificar os pesos do adaptador, o método rejeita cerca de 98,5% das entradas maliciosas com baixa taxa de erro em entradas legítimas, superando defesas anteriores que diluem o sinal de backdoor ao mesclar o adaptador ao modelo base ou apenas sinalizam o adaptador inteiro como suspeito.

Fonte ↗
risco médioOS-2026-172 · 2026-08-07
0

ARIA automatiza a criação de backdoors furtivos em instruções de LLMs personalizados para geração de código

Pesquisadores apresentam o ARIA, um framework de red teaming automatizado que usa um LLM atacante para gerar e refinar instruções com backdoor contra plataformas de personalização de LLM que operam só por system prompt, sem alterar os pesos do modelo. O ataque atingiu 94,5% de taxa de sucesso preservando a utilidade da tarefa original, além de evadir quase totalmente mecanismos de detecção do lado da plataforma e do usuário, com taxa de falso negativo chegando a 1,0.

Fonte ↗
panoramaOS-2026-155 · 2026-08-06
0

CASCADE usa predição conforme para detectar pares imagem-texto envenenados em modelos como o CLIP

Pesquisadores mostram que defesas de detecção de backdoor em aprendizado contrastivo multimodal, baseadas na métrica CLIPScore, falham porque a distribuição de scores de pares benignos e envenenados se sobrepõe significativamente. O framework proposto, CASCADE, usa predição conforme em duas etapas para gerar limites de confiança estatisticamente garantidos, alcançando falso-positivo médio de 5,79% com 100% de detecção verdadeira no dataset CC3M.

Fonte ↗
risco médioOS-2026-148 · 2026-08-05
0

Backdoors conseguem enganar o monitoramento de chain-of-thought, escondendo comportamento malicioso do próprio raciocínio do modelo

Um estudo demonstra que é possível implantar backdoors em modelos de raciocínio, via fine-tuning relativamente simples, que fazem o modelo executar um comportamento malicioso escolhido pelo atacante enquanto seu chain-of-thought (CoT) visível permanece aparentemente benigno. Os autores encontram um caminho de ativação interno condicionado ao gatilho que independe do raciocínio exibido, e argumentam que monitorar CoT deveria ser reformulado como um problema de consistência entre pensamento e ação, não apenas de detecção de anomalias no texto do raciocínio.

Fonte ↗
risco altoOS-2026-122 · 2026-07-31
0

Backdoor 'clean-label' explora a dimensão temporal de redes neurais de pulso e passa despercebido pelas defesas atuais

Pesquisadores introduzem um ataque de backdoor clean-label contra redes neurais de pulso que reordena os timestamps dos eventos de amostras da classe-alvo, preservando exatamente a contagem de eventos por pixel e por polaridade — de forma que a amostra continua com o rótulo original correto e parece estatisticamente idêntica a uma amostra limpa quando agregada no tempo. O ataque atinge taxa de sucesso de 100% nas configurações mais fortes, contra modelos convolucionais e baseados em transformer, em três datasets neuromórficos diferentes. Defesas que colapsam o eixo temporal antes de inspecionar as amostras são cegas a esse ataque por construção, já que a informação maliciosa vive exclusivamente na ordem temporal dos eventos.

Fonte ↗
risco altoOS-2026-084 · 2026-07-24
0

Atacante deixou o agente de IA Hermes rodando sem supervisão dentro da rede do Ministério das Finanças da Tailândia

Um invasor instalou o assistente open source Hermes, da Nous Research, em um servidor alugado, desativou as confirmações de segurança do modo "YOLO" e o apontou para a rede do Ministério das Finanças da Tailândia. Operando de forma autônoma, o agente varreu hosts em busca de escalonamento de privilégio, vasculhou sistemas de arquivos e ajudou a implantar backdoors, em um caso raro de pós-exploração conduzida majoritariamente por um agente de IA sem intervenção humana constante.

Fonte ↗
panoramaOS-2026-076 · 2026-07-23
0

FedLSG usa LLM em arquitetura student-teacher para defender aprendizado federado em grafos contra backdoor

O FedLSG e apresentado como o primeiro framework a integrar LLMs na defesa contra ataques de backdoor em Redes Neurais de Grafos Federadas (FedGNNs), traduzindo estruturas de grafo e comportamento de clientes para linguagem natural de modo que um LLM possa avaliar semanticamente se uma atualizacao e maliciosa. A motivacao e que defesas baseadas em regras fixas sao vulneraveis a gatilhos furtivos justamente por nao entenderem o significado semantico dos padroes que estao filtrando.

Fonte ↗
panoramaOS-2026-079 · 2026-07-23
0

DeCNIP remove backdoors de LLMs podando neuronios criticos identificados por analise representacional

O DeCNIP e uma defesa contra backdoors em LLMs que vai alem de heuristicas comportamentais, identificando e podando um conjunto minimo de neuronios responsaveis por ativar o gatilho malicioso. O metodo cobre tanto backdoors inseridos por fine-tuning quanto por edicao direta de modelo, reduzindo a taxa de sucesso do ataque em mais de 95% intervindo em apenas 0,1% dos neuronios e preservando 97% do desempenho original em tarefas normais.

Fonte ↗
risco médioOS-2026-036 · 2026-07-20
0

Sons do cotidiano podem virar gatilhos furtivos de backdoor em sistemas de reconhecimento de voz

Pesquisadores demonstram backdoors em modelos de reconhecimento de fala ativados por sons naturais do dia a dia, em vez de ruídos artificiais facilmente filtráveis. Com apenas 5% de amostras de treino envenenadas, o ataque atinge taxa de sucesso próxima de 100% sem prejudicar o desempenho do modelo em entradas legítimas.

Fonte ↗
panoramaOS-2026-042 · 2026-07-20
0

SpeechGuard filtra e higieniza áudio envenenado em tempo real para blindar reconhecimento de voz contra backdoors

SpeechGuard é apresentado como o primeiro pipeline online de defesa contra backdoors em modelos de reconhecimento de fala, combinando uma versão adaptada do método STRIP para detectar amostras envenenadas com uma etapa de purificação por mascaramento tempo-frequência que neutraliza o gatilho antes da inferência. O sistema mantém boa acurácia mesmo quando o próprio áudio envenenado é apresentado, prevenindo a ativação do backdoor sem retreinar o modelo.

Fonte ↗