Pesquisa revela que a assinatura de modelos LLM não garante nada sobre a versão quantizada que você realmente executa
Um estudo mostra que, embora a indústria assine criptograficamente os pesos em precisão total de modelos de LLM, praticamente nenhum dos 200 repositórios GGUF mais baixados do Hugging Face documenta o ambiente de build necessário para reproduzir de forma verificável o artefato quantizado que os usuários de fato executam. Isso cria uma lacuna de verificabilidade na cadeia de suprimentos de LLMs quantizados, onde um artefato malicioso ou adulterado pode passar por legítimo sem que ninguém consiga confirmar sua origem exata.
O problema identificado pelos autores nasce de um descompasso entre o que a indústria de IA hoje assina criptograficamente e o que o usuário final realmente executa. Fornecedores de modelos assinam os pesos em precisão total (W) no momento do lançamento, mas a grande maioria dos usuários — especialmente em ambientes com hardware limitado — não roda esses pesos originais, e sim uma versão quantizada (Q), produzida por uma transformação (redução de precisão numérica) que não é unicamente determinada a partir das informações tipicamente divulgadas junto ao modelo. Ou seja, a assinatura garante a integridade do que foi publicado, mas nada garante que a versão quantizada amplamente distribuída e consumida corresponda exatamente, bit a bit, a uma derivação legítima e auditável daquele original assinado.
Para medir isso concretamente, os autores definem a métrica Independent Verifiability Rate (IVR): a fração de um ecossistema de artefatos GGUF (formato popular de modelos quantizados, usado por exemplo pelo llama.cpp) que um terceiro independente consegue re-derivar bit a bit a partir das informações publicamente disponíveis. Analisando os 200 repositórios GGUF mais baixados do Hugging Face (198 dentro do escopo da análise), nenhum model card ou repositório registrava o ambiente de build completo — resultando em um IVR de 0/198 sob o protocolo de 'inputs registrados'. Isso não significa necessariamente que os artefatos sejam ilegítimos, mas sim que, hoje, é estruturalmente impossível para um terceiro confirmar que são.
A parte mais técnica e útil do trabalho é diagnóstica: usando um pequeno conjunto de repositórios que de fato divulgam seus inputs de build, os autores mostram que a informação do model card por si só não é suficiente para reproduzir o arquivo quantizado Q4_K_M bit a bit, mas que duas coordenadas normalmente omitidas — a configuração de contração de ponto flutuante do compilador e, em modelos híbridos, a receita de quantização por tensor — permitem re-derivar corretamente 7 de 8 arquivos-alvo em x86 (5 de 8 em arm64), com custo de qualidade desprezível (+0,06% de perplexidade). Os autores também mostram que esse protocolo de verificação por re-derivação exata consegue separar não-determinismo benigno de ponto flutuante de adulteração proposital de bits, mas que uma edição direcionada e sutil no embedding do modelo consegue escapar dessa detecção estatística.
Na prática, isso expõe um ponto de ataque de cadeia de suprimentos pouco discutido: como a maior parte do ecossistema de modelos abertos é consumida via quantizações de terceiros (não os pesos originais assinados), a confiança de que 'o modelo que baixei é o modelo que o fornecedor publicou' depende hoje inteiramente da reputação de quem republicou a versão quantizada, não de nenhuma garantia criptográfica fim a fim — uma lacuna que um atacante capaz de comprometer um repositório de republicação popular poderia explorar para distribuir pesos adulterados sob a aparência de uma quantização legítima.