JITterFlip: ataque de bit-flip via Rowhammer contra o compilador JIT explora servidores de LLM na nuvem
JITterFlip é o primeiro ataque de bit-flip (Rowhammer) direcionado ao plano de controle do compilador JIT usado por servidores de inferência de LLM na nuvem, em vez de atacar os pesos do modelo diretamente. Ao corromper decisões de serving residentes na CPU, os pesquisadores conseguem tanto degradar a saída (amplificação de perplexidade de até 2,48 milhões de vezes) quanto montar um ataque de esponja que aumenta a latência em até 182 vezes mantendo a saída correta, contornando defesas recentes contra bit-flip em LLMs — inclusive via Rowhammer real, sem acesso direto à memória da GPU.
LLMs hospedados na nuvem costumam usar compilação just-in-time (JIT) para reduzir a sobrecarga recorrente de lançar kernels na GPU, o que introduz um plano de controle do lado da CPU responsável por selecionar artefatos compilados e orquestrar sua execução na GPU. Até aqui, os ataques de bit-flip (BFAs) contra inferência de LLM/DNN — viabilizados por técnicas como Rowhammer, que induzem flips de bit físicos na memória — miravam majoritariamente os pesos do modelo, exigindo conhecimento específico da arquitetura alvo; uma parcela menor atacava código executável, mas ainda o código que implementa diretamente o cálculo do modelo.
O JITterFlip, de Wang, Zhang, Gao, Zhang, Shen e Wu, é o primeiro ataque de bit-flip a mirar o plano de controle de serving JIT hospedado na CPU, em vez da computação do modelo em si. Os autores desenvolveram uma análise de código vulnerável guiada por decisão para localizar, dentro de uma stack de compilador JIT complexa, os pontos de código cuja corrupção (via bit-flip) altera decisões de serving de forma explorável. Corromper esse código do lado da CPU, mesmo sem acesso direto à memória da GPU, propaga o efeito através da fronteira CPU-GPU e chega a perturbar a inferência executada na GPU.
Testado em quatro cargas de trabalho de LLM textuais e multimodais, o ataque demonstrou duas classes de efeito: geração de saída sem sentido, com amplificação de perplexidade entre 15,45× e 2,48 milhões de vezes; e um ataque "esponja" de saída correta, que aumenta a latência de inferência entre 2,03× e 181,90× enquanto preserva a saída exata gerada — o que o torna mais difícil de detectar por monitoramento de qualidade de saída. As vulnerabilidades identificadas são transferíveis entre modelos diferentes, e o ataque contorna defesas recentes propostas especificamente contra bit-flip em LLMs.
Por fim, os autores demonstraram o ataque de ponta a ponta usando Rowhammer real: um único bit-flip em código de branch residente na CPU se propaga através da fronteira CPU-GPU e chega a causar amplificação de perplexidade de até 7,23 milhões de vezes ou de latência de até 124,97 vezes, sem qualquer acesso direto à memória da GPU. Isso é significativo porque expande a superfície de ataque de bit-flip contra serviços de LLM na nuvem para além dos pesos do modelo — incluindo a infraestrutura de serving compartilhada entre múltiplos clientes em ambientes de cloud computing, onde Rowhammer já é uma ameaça conhecida contra isolamento entre VMs.