Por que o "harness" em volta do modelo, e não o modelo em si, é a parte difícil do pentest com agentes de IA
Uma análise de mercado argumenta que qualquer equipe de AppSec consegue apontar um modelo de propósito geral contra suas próprias aplicações web para gerar ataques, mas que tudo que torna esses testes seguros de rodar contra produção e úteis depois de executados depende do arcabouço de engenharia (harness) construído em volta do modelo, não do modelo em si. O texto cita a intrusão na Hugging Face divulgada pela OpenAI em julho como exemplo do tipo de falha que esse arcabouço precisa prevenir.
Fonte ↗