Scanner identifica vulnerabilidades reais e exploráveis em skills de agentes de IA hospedadas no GitHub
Pesquisadores desenvolveram um scanner de seis módulos para auditar skills de agentes de IA (pacotes de instruções, scripts e arquivos de referência carregados por agentes LLM), focado em vulnerabilidades não intencionais em skills legítimas e em interações perigosas entre múltiplas skills instaladas juntas, e não apenas em skills deliberadamente maliciosas. Ao analisar 1.587 skills dos 75 repositórios mais populares do GitHub, a ferramenta identificou 59 achados confirmados por analistas humanos em 23 repositórios, com 10 casos de severidade média ou alta divulgados de forma responsável aos mantenedores, e provas de conceito comprovaram exploração real antes da aplicação de mitigações eficazes em quase todos os casos.
O trabalho preenche uma lacuna deixada por scanners anteriores de segurança para skills de agentes: ferramentas como o Skill Scanner da Cisco, o SkillSpector da NVIDIA e outras soluções do mercado foram desenhadas majoritariamente para detectar skills deliberadamente maliciosas, analisando cada uma isoladamente. Isso ignora dois problemas práticos igualmente sérios — skills benignas que contêm vulnerabilidades não intencionais (equivalente a um bug comum de software, só que em um pacote de instruções e scripts consumido por um agente com acesso a sistema de arquivos, shell e rede) e interações perigosas que só emergem quando múltiplas skills são combinadas no mesmo ambiente.
A arquitetura proposta usa seis módulos: Extração de Conteúdo, Análise Local, Análise Composta, Validação, Relatório e Mitigação. A Análise Local foca em vulnerabilidades não intencionais em skills individuais e atingiu 95,90% de recall com apenas 4,22% de falsos positivos em um subconjunto de 556 casos do SkillTrustBench, além de F1 de 0,947 em uma amostra balanceada de 1.000 skills do MalSkillBench, superando ferramentas concorrentes citadas no próprio estudo. Já a Análise Composta modela dependências entre skills por meio de recursos compartilhados, invocações encadeadas e interações mediadas por instruções, atingindo F1 de 0,991 no benchmark SCR-Bench — resultado substancialmente melhor que as configurações do SkillsGuard, da ferramenta concorrente CompoSkill.
A validação em ambiente real é o que dá peso prático ao trabalho: ao rodar o scanner contra 1.587 skills coletadas dos 75 repositórios mais estrelados do GitHub, três analistas humanos confirmaram 53 de 59 achados reportados (89,8% de precisão) espalhados por 23 repositórios distintos, e os autores construíram provas de conceito de ataque para cada vulnerabilidade encontrada antes de notificar os mantenedores — ou seja, não são falsos positivos teóricos, mas falhas exploráveis em skills já publicadas e usadas por terceiros. Duas descobertas vieram exclusivamente da Análise Composta, validadas também por PoC, confirmando que riscos de interação entre skills não são apenas uma hipótese acadêmica.
Na prática, o estudo serve como alerta para o ecossistema crescente de marketplaces e repositórios de skills para agentes: à medida que usuários instalam pacotes de terceiros com a mesma leveza com que instalam extensões de navegador, a superfície de ataque deixa de ser só o modelo ou o prompt e passa a incluir todo código e toda configuração trazida por skills externas, muitas vezes sem qualquer processo de revisão de segurança equivalente ao de bibliotecas de software tradicionais. O módulo de Mitigação, que preveniu ataques de PoC em 47 dos 55 achados do GitHub sem quebrar funcionalidade legítima, sugere que correções automatizadas e substituição de skills arriscadas podem ser viáveis como resposta em escala.