AgentProv detecta troca oculta de modelos em APIs de LLM agenticas pelo padrão de chamadas de ferramentas
Pesquisadores propõem o AgentProv, um método para auditar se uma API comercial de LLM está realmente servindo o modelo anunciado, observando o padrão estatístico de chamadas de ferramentas (tool calls) em vez do texto de saída, que é facilmente distorcido por prompts de sistema injetados pelo provedor. O método identificou 100% das substituições de modelo testadas em 630 pares de checkpoints, com taxa de falso positivo muito menor que técnicas anteriores baseadas em texto.
O problema que o AgentProv ataca é a substituição silenciosa de modelo: provedores de API anunciam um modelo específico, mas podem servir uma versão quantizada, uma versão mais barata, ou um wrapper diferente do que o cliente está pagando para usar, sem aviso. Auditorias anteriores tentavam detectar isso analisando o texto gerado pelo modelo, mas essa abordagem é frágil em contextos agenticos: pilhas de serviço modernas (OpenAI, Anthropic, Gemini, Cloudflare Workers AI, LangGraph) frequentemente descartam o texto e expõem apenas ações estruturadas quando o modelo invoca uma ferramenta, e prompts de sistema inseridos pelo provedor podem distorcer a distribuição de texto o suficiente para acusar falsamente provedores honestos de terem trocado o modelo.
A proposta central é usar a distribuição categórica de chamadas de ferramentas como impressão digital do modelo, decidindo identidade por meio de um teste de permutação baseado em MMD (Maximum Mean Discrepancy). A intuição técnica é que o pós-treinamento agentico recente internaliza padrões de uso de ferramentas diretamente nos pesos do modelo, criando um canal de auditoria mais estável e menos sensível ao contexto de deployment do que o texto livre.
Os resultados reportados mostram 100% de detecção de substituição em 630 pares de checkpoints avaliados, mantendo taxa de falso positivo sob injeção de prompt de sistema em 7%, contra 67% e 53% de duas técnicas de referência anteriores (MET e RUT). Em endpoints de terceiros, as discordâncias entre AgentProv e MET são consistentes com um canal lateral de contagem de tokens que detecta prompts de sistema injetados pelo provedor.
O valor prático está em dar a clientes corporativos e auditores independentes uma ferramenta para verificar se estão de fato recebendo o modelo pelo qual pagam, sem depender da palavra do provedor — algo relevante tanto para questões contratuais quanto para segurança, já que um modelo trocado silenciosamente pode ter garantias de segurança, alinhamento ou capacidade completamente diferentes das esperadas pela aplicação que depende dele.