tema

#llm-serving

2 publicações marcadas com esta tag.

risco altoOS-2026-868 · 2026-11-05

KVGuard encontra 8 falhas de memória inéditas no cache KV de sistemas de serving de LLM

Pesquisadores apresentam o KVGuard, o primeiro verificador sistemático de segurança de memória para o cache KV em sistemas de serving de LLMs como vLLM e SGLang, cobrindo classes de bugs — double-free, use-after-free, acesso fora dos limites, leitura não inicializada e violação de permissão — que hoje corrompem silenciosamente respostas ou quebram o isolamento entre requisições sem nunca travar o sistema. A ferramenta reproduziu os 29 bugs históricos conhecidos dessas duas plataformas e encontrou 8 falhas de segurança de memória até então desconhecidas, com overhead de desempenho muito baixo.

#artigo-cientifico #llm-serving #memoria #vllm #sglang #vulnerabilidade

Fonte ↗

risco altoOS-2026-336 · 2026-09-01

JITterFlip: ataque de bit-flip via Rowhammer contra o compilador JIT explora servidores de LLM na nuvem

JITterFlip é o primeiro ataque de bit-flip (Rowhammer) direcionado ao plano de controle do compilador JIT usado por servidores de inferência de LLM na nuvem, em vez de atacar os pesos do modelo diretamente. Ao corromper decisões de serving residentes na CPU, os pesquisadores conseguem tanto degradar a saída (amplificação de perplexidade de até 2,48 milhões de vezes) quanto montar um ataque de esponja que aumenta a latência em até 182 vezes mantendo a saída correta, contornando defesas recentes contra bit-flip em LLMs — inclusive via Rowhammer real, sem acesso direto à memória da GPU.

#artigo-cientifico #rowhammer #bit-flip-attack #llm-serving #jit-compilation #gpu

Fonte ↗