LLMSec-AV combina taxonomia dedicada e LLMs para achar vulnerabilidades em software de veículos autônomos
Pesquisadores desenvolveram uma taxonomia de 18 classes de vulnerabilidade específicas para software automotivo e um framework, LLMSec-AV, que usa essa taxonomia para orientar LLMs na análise de código do Autoware. Rodando sobre 161 funções extraídas de 4.673 funções decompostas, o LLM recuperou até 76% das 46 fraquezas conhecidas usadas como referência, contra zero encontradas por CodeQL, Semgrep e Clang Static Analyzer, e apenas uma pelo cppcheck apesar de 1.301 alertas gerados.
Veículos autônomos dependem de milhões de linhas de código de software crítico para segurança, mas analisadores estáticos de propósito geral não distinguem qual trecho de código pode afetar diretamente o movimento do veículo. O artigo investiga se LLMs equipados com conhecimento explícito de segurança automotiva conseguem superar essa limitação e detectar mais fraquezas do que ferramentas baseadas em regras.
A metodologia envolveu construir uma taxonomia de 18 classes de fraqueza específicas para veículos autônomos a partir de registros de vulnerabilidade, advisories e literatura de segurança automotiva, e integrá-la ao LLMSec-AV. O framework decompôs 770 unidades de tradução do Autoware em 4.673 funções, analisando 161 delas sob quatro condições de prompting que variavam contexto de taxonomia, recuperação de 374 divulgações anteriores e análise em múltiplos passos, comparando os achados contra 46 localizações de fraqueza mineradas de correções upstream reais e uma baseline de permutação. Em paralelo, os autores rodaram CodeQL, Semgrep, cppcheck e Clang Static Analyzer sobre o mesmo código, com regras específicas para veículos autônomos adicionadas a CodeQL e Semgrep, além de testar harnesses de fuzzing gerados automaticamente com AFL++ e sanitizers.
Os resultados mostram uma diferença expressiva: as condições baseadas em LLM recuperaram até 76% das 46 localizações de fraqueza conhecidas, enquanto CodeQL, Semgrep e Clang Static Analyzer não encontraram nenhuma, e o cppcheck encontrou apenas uma apesar de gerar 1.301 alertas. Curiosamente, o prompting sem apoio da taxonomia obteve recall semelhante ao prompting guiado por taxonomia, mostrando que a taxonomia em si não foi o que impulsionou a detecção bruta; seu valor apareceu em outro lugar, elevando de quase zero para mais de 80% a proporção de achados corretamente classificados numa categoria de fraqueza, o que melhora drasticamente a triagem. Seis das 18 classes da taxonomia não puderam sequer ser representadas como regras de análise estática.
Para software crítico de segurança como o de veículos autônomos, o resultado é um dado concreto de que revisão baseada em LLM consegue expor classes inteiras de fraqueza que analisadores estáticos baseados em padrão estruturalmente não enxergam, não apenas subempenham. Isso importa tanto para quem defende esse tipo de código quanto, pela mesma lógica, para quem eventualmente usar ferramentas semelhantes para encontrar falhas exploráveis em pilhas de software automotivo antes que existam correções disponíveis; o ganho de triagem trazido pela taxonomia também sugere que a capacidade bruta de encontrar vulnerabilidades via LLM já está à frente da tooling necessária para organizar e agir sobre o que é encontrado.