CTF-ABACUS revela que ate 38% das 'flags' capturadas por agentes de IA em CTF nao vem de exploracao real

Benchmarks de Capture-the-Flag (CTF) sao hoje uma das principais formas de medir capacidade ofensiva de agentes autonomos baseados em LLM, mas a metrica padrao -- a flag foi recuperada ou nao -- e binaria e cega ao caminho percorrido. O CTF-ABACUS ataca essa limitacao decompondo cada execucao de agente em fases de teste de penetracao e tecnicas categorizadas, reconstruindo o que os autores chamam de 'perfil de solucao fundamentado em evidencias': onde a exploracao de fato ocorreu, onde a flag apareceu pela primeira vez no historico de acoes, e se a flag recuperada e efetivamente sustentada por comportamento demonstrado de exploracao ou surgiu por outro caminho.

A contribuicao central e a categorizacao dos caminhos alternativos de obtencao da flag: memorizacao (o modelo ja 'sabia' a resposta de treinamento), exposicao direta (a flag aparece de forma acessivel sem exploracao real), consulta externa (o modelo busca a resposta fora do ambiente do desafio), adivinhacao, e afirmacoes sem suporte no proprio historico de acoes do agente. Esses 'shortcut recoveries' seguem trajetorias sistematicamente mais rasas do que exploracoes genuinas, o que da ao framework um sinal estrutural para separar as duas categorias sem depender apenas do julgamento final de um avaliador humano ou de outro LLM.

A escala do estudo empirico -- 1.435 tentativas de seis modelos de fronteira e open-source contra 240 desafios, gerando 2.870 perfis de solucao sob duas lentes distintas de avaliacao -- da robustez estatistica ao achado central: apenas 62% a 87% das flags recuperadas, dependendo do benchmark, tem exploracao verificada por tras da recuperacao. Na pratica, isso significa que ate 38% do que benchmarks convencionais contariam como 'sucesso de exploracao' na verdade nao reflete capacidade ofensiva demonstrada -- um vies de superestimacao relevante para qualquer decisao de politica de seguranca (interna ou regulatoria) baseada em pontuacoes de capacidade ofensiva de modelos de fronteira.

O impacto pratico do trabalho vai alem de academia: laboratorios de IA e orgaos reguladores cada vez mais usam desempenho em CTF como proxy formal de risco de cibersegurança de um modelo (inclusive dentro de frameworks de avaliacao pre-lancamento). Se essa metrica esta sistematicamente inflada por atalhos nao relacionados a exploracao real, decisoes sobre quais salvaguardas aplicar a um modelo antes do lancamento podem estar calibradas com dados de capacidade menos confiaveis do que aparentam -- o CTF-ABACUS oferece um caminho concreto para tornar essas avaliacoes auditaveis e verificaveis, nao apenas pontuadas.