AgentTrace identifica o modelo por trás de um agente de IA "caixa-preta" observando como ele se recupera de erros

Operadores de serviços baseados em agentes de IA frequentemente têm interesse em esconder qual modelo fundacional sustenta seu produto — seja por razões competitivas, contratuais ou de posicionamento de marca —, e sistemas que tentam identificar esse modelo a partir de fora (por exemplo, examinando o estilo de escrita das respostas) são facilmente contornados simplesmente ajustando o prompt de sistema para instruir o modelo a imitar outro estilo. O AgentTrace evita essa fragilidade ao não depender do conteúdo semântico das respostas, mas sim do comportamento observável durante a execução de chamadas de ferramentas (tool calls), uma camada muito mais difícil de mascarar porque está ligada a como o modelo foi treinado a estruturar e reparar saídas formatadas.

A técnica funciona injetando probes deliberadamente ambíguos em termos estruturais, desenhados para provocar falhas de serialização sensíveis à tokenização no momento em que o agente tenta formatar uma chamada de ferramenta seguindo um schema rígido. Essas falhas iniciais já separam famílias de modelos de forma grosseira — modelos diferentes tendem a falhar de formas distintas diante da mesma ambiguidade. O verdadeiro poder discriminativo, porém, vem da sequência temporal das tentativas subsequentes de reparo: cada modelo tem um padrão característico e consistente de como tenta corrigir sua própria saída malformada, e o AgentTrace captura esse padrão modelando a trajetória de múltiplos passos como uma cadeia de Markov leve, em vez de simplesmente contar estatísticas de erro sem considerar a ordem em que ocorrem.

Essa atenção à ordem sequencial é o que permite ao AgentTrace alcançar 96% de acurácia de atribuição mesmo quando o sistema avaliado está ativamente tentando se disfarçar (spoofing adversarial de identidade), e, mais notavelmente, distinguir entre variantes de uma mesma família de modelo que compartilham exatamente o mesmo tokenizador — como Llama-3 8B e Llama-3 70B —, um cenário em que abordagens anteriores baseadas em estatísticas de tokenização falhariam por definição, já que o tokenizador idêntico elimina a principal pista que elas exploravam. O método também se mostrou robusto contra ofuscação via ajuste de prompt de sistema e variação de temperatura, duas das defesas mais simples e intuitivas que um operador tentaria aplicar.

O resultado tem duas leituras de segurança que merecem atenção. Do lado defensivo/de proveniência, é uma ferramenta útil para auditoria e conformidade — por exemplo, verificar se um fornecedor está realmente usando o modelo que contratualmente afirma usar, ou detectar substituições não autorizadas de modelo em uma cadeia de fornecimento de IA. Do lado ofensivo/de privacidade, porém, a mesma técnica permite a um atacante externo fazer fingerprinting de qual modelo alimenta um serviço de terceiros sem permissão, informação que pode ser usada para direcionar ataques de jailbreak ou extração de dados específicos daquele modelo, ou para violar acordos de confidencialidade sobre a pilha tecnológica usada por um produto.