O ADS-OT é um framework acadêmico que trata a postura de defesa de ambientes de tecnologia operacional (OT) como um problema de decisão sob observação parcial, usando uma política de aprendizado por reforço para ajustar dinamicamente monitoramento, controle de acesso, engano (deception) e segmentação de rede. A motivação central é que atacantes que usam IA operam em um ritmo muito mais rápido do que defesas estáticas tradicionais conseguem acompanhar.
Pesquisadores apresentam o ReMAS, primeiro framework de red-teaming baseado em aprendizado por reforço voltado especificamente a sistemas multi-agente de LLM, treinando um modelo atacante para gerar prompts que extraem prompts de sistema de sub-agentes que normalmente não interagem diretamente com o usuário final. O método supera ataques de caixa-preta existentes, projetados para agentes únicos, e demonstra transferibilidade entre diferentes modelos de backend e arquiteturas multi-agente.
Os autores propõem co-treinar, via aprendizado por reforço, populações de agentes atacantes e defensores de código: o atacante só é recompensado se seu patch malicioso se aplica, compila, passa nos testes e reproduz um exploit real em um container isolado, enquanto o defensor aprende a identificar essas mudanças. O algoritmo resultante, PRPO, produz um revisor de 7B parâmetros que supera um revisor frontier (Claude Opus 4.8) em 15,8 pontos na aplicação usada no treino, e, aplicado sem alterações à defesa de jailbreak, reduz a taxa de sucesso de ataque de 36% para 4,6%.
O estudo compara duas arquiteturas hierarquicas homogeneas de agentes autonomos de red team -- planejador e executor ambos baseados em aprendizado por reforco (RL+RL) versus ambos baseados em LLM (LLM+LLM) -- contra defensores automatizados em dois ambientes de simulacao (CybORG e Cyberwheel), em 18 configuracoes. O resultado central e uma inversao dependente do ambiente: RL+RL vence disparado em redes compactas e densamente recompensadas, mas um agente LLM pre-treinado para ciberseguranca vence com folga na rede maior e mais realista, revelando que cada arquitetura trava em um gargalo diferente da cadeia de ataque.
O artigo testa se LLMs congelados, usados em modo zero-shot, conseguem substituir agentes de defesa cibernetica treinados por aprendizado por reforco (RL) -- que ficam presos a rede especifica em que treinaram -- numa hierarquia planejador-executor. Usando o ambiente Cyberwheel com um red team automatizado mapeado ao MITRE ATT&CK, os autores mostram que trocar apenas o planejador por um LLM traz ganho limitado conforme a rede cresce, mas estender o controle do LLM a execucao tatica produz melhorias notaveis para modelos suficientemente capazes -- um modelo geral de 70B mantem movimento lateral bem-sucedido do atacante a cerca de 1% dos passos usando os mesmos pesos em redes pequenas, medias e grandes, sem qualquer retreinamento.
O artigo trata transferencia de politicas entre simuladores de ciberataque -- e tambem para ambientes emulados reais -- como instancias do mesmo problema de alinhamento, propondo separar o alinhamento de estado da traducao de acoes para permitir que uma politica de ataque treinada em um ambiente opere em outro sem retreinamento. Testado entre quatro plataformas (CyberBattleSim, NetSecGame, CyberWheel e NASim, incluindo implantacoes emuladas em maquinas virtuais via NASim), o metodo preserva totalmente o desempenho em ambientes bem alinhados e atinge 45,2% de taxa de vitoria ao transferir politicas cuja performance na origem era de 60,5%.
O framework DDQN-MLP usa um Double Deep Q-Network apenas durante o treinamento, para ponderar dinamicamente a importância de cada amostra com base em perda e confiança de predição, guiando um classificador MLP final que é o único componente mantido em produção. Avaliado com validação cruzada em 2.000 perfis executáveis de 30 famílias de ransomware, o sistema atinge 99,3% de acurácia e mantém robustez sob testes adversariais white-box.
Um cyber range com topologia de rede variável, emulação de red-team e usuários simulados foi usado para comparar agentes heurísticos contra agentes de aprendizado por reforço na tarefa de conter invasores em uma rede minimizando o custo de disponibilidade. Os agentes de RL se mostraram globalmente mais eficientes, mas seu desempenho depende fortemente da estratégia do adversário e do comportamento dos usuários simulados.
O MAL Simulator é um ambiente de simulação de operações cibernéticas construído sobre a Meta Attack Language, que permite adaptar cenários de ataque e defesa a diferentes domínios sem alterar código. Usando dados de um cyber range real, os pesquisadores treinaram agentes ofensivo e defensivo por reforço e constataram que, quando confrontados um contra o outro, o desempenho do defensor caiu significativamente.
Sistemas de defesa cibernética autônoma baseados em Deep Reinforcement Learning são hoje avaliados quase exclusivamente contra agentes vermelhos estáticos e heurísticos, deixando sua robustez contra ameaças adaptativas pouco testada. O Trident, um framework de red-team agêntico baseado em LLM com arquitetura 'código como política', reduziu o desempenho defensivo de agentes azuis em 522% na média usando um único planejador treinável de 7 bilhões de parâmetros, descobrindo autonomamente comportamentos emergentes como evasão de decoys que heurísticas estáticas nunca haviam revelado.
O PISmith aplica aprendizado por reforço ao red teaming de defesas contra injeção de prompt: em vez de testar ataques fixos de catálogo, o sistema gera ataques adaptativos que aprendem a contornar os guardrails do alvo, expondo pontos cegos que o teste manual não alcança.