Por que o "harness" em volta do modelo, e não o modelo em si, é a parte difícil do pentest com agentes de IA
Uma análise de mercado argumenta que qualquer equipe de AppSec consegue apontar um modelo de propósito geral contra suas próprias aplicações web para gerar ataques, mas que tudo que torna esses testes seguros de rodar contra produção e úteis depois de executados depende do arcabouço de engenharia (harness) construído em volta do modelo, não do modelo em si. O texto cita a intrusão na Hugging Face divulgada pela OpenAI em julho como exemplo do tipo de falha que esse arcabouço precisa prevenir.
O artigo parte de uma observação simples, mas com implicações profundas para quem avalia ferramentas de pentest agentico: gerar um ataque plausível contra uma aplicação web é a parte relativamente fácil quando se tem acesso a um modelo de linguagem competente — qualquer equipe de segurança de aplicação pode montar isso com pouco esforço de configuração. O que diferencia uma ferramenta de pentest com IA madura de um experimento arriscado é todo o arcabouço de engenharia que envolve esse modelo: contenção de execução, validação de que o ataque gerado é seguro para rodar contra sistemas de produção reais, registro e correlação de evidências, e triagem de resultados para que o que sobra depois da execução seja de fato acionável por um analista humano.
O texto cita como exemplo concreto a intrusão na infraestrutura da Hugging Face divulgada pela OpenAI em julho — um caso usado para ilustrar como falhas de segurança em pipelines e integrações de IA, e não apenas no raciocínio do modelo, são o tipo de risco que esse arcabouço de engenharia precisa antecipar e conter. A lógica subjacente é que um agente de IA operando com autonomia contra ativos reais herda todos os riscos clássicos de automação sem supervisão adequada: execução descontrolada, ausência de limites de blast radius bem definidos e dificuldade de auditar depois dos fatos o que o agente efetivamente fez.
Essa distinção entre “o modelo” e “o harness” tem relevância direta para como equipes de segurança devem avaliar produtos de pentest baseados em IA que estão proliferando no mercado: a capacidade de gerar ataques sofisticados é hoje relativamente commodity entre modelos competentes, então o diferencial competitivo e de segurança real está em como o produto isola a execução, versiona e audita as ações tomadas, e evita que o próprio agente ofensivo se torne um vetor de comprometimento adicional contra o ambiente que deveria estar testando.
Na prática, essa discussão de mercado converge com achados de pesquisa recente sobre harnesses de descoberta de vulnerabilidades por IA — como os estudos que mapeiam pontos onde harnesses de pentest automatizado descartam achados silenciosamente ou permitem que vulnerabilidades sejam escondidas de propósito por quem conhece as regras do pipeline. O recado para equipes de AppSec avaliando essas ferramentas é o mesmo: perguntar menos “qual modelo vocês usam” e mais “como o arcabouço em volta do modelo contém, versiona e audita o que o agente faz”, já que é nessa camada de engenharia, e não no modelo, que reside a maior parte do risco operacional de rodar IA ofensiva contra ambientes reais.