Sondas adversariais com zk-SNARK permitem auditar troca silenciosa de modelo de LLM sem expor os pesos
O artigo propõe um framework de auditoria que usa sondas inspiradas em exemplos adversariais para amplificar diferenças de saída (drift de logits) entre um modelo de LLM aprovado e uma versão possivelmente alterada após o deploy, combinado com provas de conhecimento zero (zk-SNARK, Groth16) para preservar a privacidade do provedor do modelo durante a verificação. Sondas baseadas em token, que operam em acesso caixa-preta, entregaram a maior sensibilidade média entre as variantes testadas, com tempo de prova de 1 a 1,8 segundos mesmo escalando para 50 sondas.
Um problema pouco discutido em governança de IA é a verificação pós-deploy: como saber se um modelo que um provedor prometeu servir continua sendo, de fato, aquele modelo? Provedores de LLM proprietários podem trocar silenciosamente pesos, aplicar quantização agressiva, ou introduzir modificações direcionadas — tudo isso enquanto as saídas em consultas de rotina permanecem visualmente idênticas, tornando a mudança invisível para um usuário comum ou mesmo para testes de regressão superficiais.
A proposta do artigo é usar sondas construídas 'no espírito' de exemplos adversariais, mas com objetivo invertido: em vez de enganar o modelo, elas são desenhadas para amplificar a diferença (drift) nos logits entre a versão aprovada e a versão em produção, tornando qualquer divergência de comportamento estatisticamente detectável mesmo quando pequena. O framework contempla três famílias de sondas conforme o nível de acesso disponível ao auditor: sondas baseadas em token, que exigem apenas a interface de entrada, o tokenizador e o vocabulário (acesso caixa-preta); sondas baseadas em embedding, que exigem acesso caixa-cinza à interface de embedding; e stress probes, que usam capacidades de interface adicionais sem exigir acesso caixa-branca aos pesos ou à arquitetura.
A camada de privacidade vem de um fluxo de prova de conhecimento zero baseado em Groth16 (zk-SNARK): o provedor do modelo pode provar a um auditor que a saída corresponde a um modelo consistente com o aprovado, sem revelar os pesos ou detalhes internos — uma restrição realista, já que a maioria dos provedores de ponta trata pesos como segredo comercial.
O achado mais prático é que sondas baseadas em token, apesar de operarem com o menor nível de acesso (caixa-preta), entregaram a maior sensibilidade média de detecção entre todas as famílias testadas, em múltiplas arquiteturas e plataformas de GPU. Isso é uma boa notícia para auditores externos, que tipicamente não têm acesso privilegiado ao provedor. Do lado da viabilidade, o fluxo Groth16 se manteve prático ao escalar de 1 a 50 sondas — tempo de prova entre 1,02 e 1,78 segundos, verificação em torno de 0,84 segundos e tamanho de prova constante —, o que sugere que auditoria contínua e preservadora de privacidade é operacionalmente viável, não apenas teórica.