KVGuard encontra 8 falhas de memória inéditas no cache KV de sistemas de serving de LLM
Pesquisadores apresentam o KVGuard, o primeiro verificador sistemático de segurança de memória para o cache KV em sistemas de serving de LLMs como vLLM e SGLang, cobrindo classes de bugs — double-free, use-after-free, acesso fora dos limites, leitura não inicializada e violação de permissão — que hoje corrompem silenciosamente respostas ou quebram o isolamento entre requisições sem nunca travar o sistema. A ferramenta reproduziu os 29 bugs históricos conhecidos dessas duas plataformas e encontrou 8 falhas de segurança de memória até então desconhecidas, com overhead de desempenho muito baixo.
Fonte ↗