CTF-ABACUS revela que ate 38% das 'flags' capturadas por agentes de IA em CTF nao vem de exploracao real
Pesquisadores propõem o CTF-ABACUS, framework que reconstroi a trajetoria completa de agentes LLM em desafios de Capture-the-Flag para distinguir exploracao genuina de 'atalhos' como memorizacao, consulta externa ou adivinhacao. Aplicado a 1.435 tentativas de seis modelos em 240 desafios, o estudo mostra que apenas 62% a 87% das flags recuperadas tem exploracao efetivamente verificada por tras, indicando que benchmarks de capacidade ofensiva baseados so em contagem de flags superestimam a capacidade real dos agentes.
Fonte ↗