Falha de configuração de tokenizador deixou classificador de defesa contra prompt injection cego por toda uma avaliação
Uma análise de atribuição de componentes do BARBICAN, um gateway em camadas para mediação de ferramentas de LLM via MCP, descobriu que seu estágio de arbitração processou uma rodada inteira de avaliação com um tokenizador mal configurado, fazendo a AUC do classificador despencar de 0,855 para 0,392 — pior do que simplesmente responder 'malicioso' para tudo. Mesmo corrigido, a defesa perde desempenho ao sair da distribuição de dados em que foi calibrada.
Fonte ↗