CyberArena: novo benchmark coloca agentes de IA para atacar e defender simultaneamente em tempo real
Pesquisadores apresentam o CyberArena, um benchmark dinâmico em que dois agentes de IA competem ao mesmo tempo como atacante e defensor sobre serviços em constante mudança, em vez de serem avaliados isoladamente contra alvos estáticos. Em 466 partidas com 12 agentes de modelos de ponta, os agentes mais capazes chegaram a plantar backdoors para rodadas futuras e escrever seus próprios sniffers de pacote para espionar o adversário.
A motivação do CyberArena é uma crítica direta aos benchmarks de segurança ofensiva/defensiva existentes para agentes de IA: a maioria avalia um agente isoladamente contra um alvo estático, o que satura rapidamente e não captura a dinâmica real de operações cibernéticas, em que atacante e defensor se adaptam um ao outro continuamente. O benchmark resolve isso colocando dois agentes de IA em sandboxes isolados, competindo sob regras idênticas e atuando simultaneamente como atacante e defensor sobre serviços que mudam ao longo de múltiplas rodadas — transformando alvos estáticos em desafios semiabertos e evolutivos.
Para tornar os resultados de confrontos pareados (naturalmente difíceis de quantificar de forma justa) comparáveis, os autores introduzem um modelo dinâmico que converte a trajetória de cada partida em pontuações multidimensionais unificadas, separando capacidade ofensiva, defensiva e específica de domínio. Um pipeline agentico automatizado gera, revisa e valida continuamente novos ambientes de desafio, o que permite ao benchmark continuar relevante conforme os modelos evoluem, em vez de saturar como os benchmarks estáticos anteriores.
O resultado mais notável, ainda que anedótico, é qualitativo: em 466 partidas envolvendo 12 agentes de LLMs de ponta em 40 desafios, os comportamentos emergentes incluíram defensores que corrigiam uma falha mas deixavam passar a próxima, certificando reparos com base em evidência já obsoleta, e atacantes capazes de planejar com antecedência — plantando backdoors para explorar em rodadas futuras e, em um caso, escrevendo um sniffer de pacotes próprio para observar o comportamento do oponente em tempo real. Isso indica que modelos de ponta atuais já exibem planejamento estratégico multi-rodada em contextos ofensivos de segurança, não apenas execução reativa de exploits conhecidos.
Para a comunidade de segurança, o CyberArena funciona tanto como termômetro de quão longe agentes de IA já chegaram em capacidade ofensiva e defensiva real quanto como plataforma experimental reutilizável para pesquisa futura — útil para equipes de red/blue team e para quem avalia o risco de agentes autônomos operando (de forma autorizada ou não) contra infraestrutura real.