Um estudo mostra que, embora a indústria assine criptograficamente os pesos em precisão total de modelos de LLM, praticamente nenhum dos 200 repositórios GGUF mais baixados do Hugging Face documenta o ambiente de build necessário para reproduzir de forma verificável o artefato quantizado que os usuários de fato executam. Isso cria uma lacuna de verificabilidade na cadeia de suprimentos de LLMs quantizados, onde um artefato malicioso ou adulterado pode passar por legítimo sem que ninguém consiga confirmar sua origem exata.
O artigo investiga como a quantizacao pos-treino -- reduzir a precisao numerica de pesos e ativacoes -- altera a eficacia de ataques de inversao de modelo, que reconstroem dados sensiveis de treino ou de inferencia a partir das saidas do modelo. Usando um limite teorico sobre a mudanca de informacao mutua induzida pela quantizacao e um metodo de quantizacao sensivel a privacidade que aloca bits por importancia da tarefa, os autores encontram sensibilidade pronunciada em 4 bits e mostram, em reconhecimento facial, de palma da mao e de iris, que e possivel reduzir significativamente o sucesso de ataques de inversao com perda controlada de acuracia.
Pesquisadores demonstraram o AGENTQ, um ataque de backdoor condicionado à quantização que permite publicar um checkpoint de LLM em ponto flutuante completo, aparentemente limpo em qualquer auditoria, mas que passa a executar ações maliciosas assim que é quantizado para formatos como NF4, FP4 ou INT8 — o caminho de implantação padrão para a maioria dos agentes de peso aberto. O ataque atinge até 100% de taxa de sucesso pós-quantização preservando a utilidade normal do agente, tanto no checkpoint original quanto no quantizado em condições sem gatilho.
Pesquisadores da Galois Inc. propõem um esquema de quantização dinâmica que processa os bits mais significativos primeiro, reduzindo o impacto de ataques de injeção de falhas contra GPUs, NPUs e TPUs usados em IA embarcada. A proposta inclui também uma arquitetura de hardware baseada em arrays sistólicos, ainda em desenvolvimento.