Estudo mapeia a superfície de ataque real de 'agent skills' em marketplaces de IA e mostra que a maioria mente sobre o que pode fazer
Pesquisadores analisaram 6.309 'agent skills' (documentos de instrução em Markdown que agentes de IA com acesso a ferramentas executam com os privilégios da sessão) em dois marketplaces e descobriram que a maioria carrega capacidades perigosas — shell, acesso a arquivos, rede, credenciais — sem que isso seja visível no momento da instalação. Pior: entre as poucas skills que declaram suas capacidades no próprio pacote, 59% subestimam o que de fato conseguem fazer.
O conceito de 'agent skill' analisado no estudo é simples e, por isso mesmo, perigoso: é um documento Markdown com instruções que um agente de IA com acesso a ferramentas (como um assistente de codificação ou automação) lê e passa a seguir, herdando automaticamente os privilégios da sessão em que foi carregado. Instalar uma skill não concede um novo privilégio técnico ao agente — ele já tinha acesso a shell, arquivos ou rede antes — mas concede autoridade: a capacidade de direcionar o que o agente faz com os privilégios que ele já possui. É essa autoridade que os autores tentam quantificar e tornar visível.
Metodologicamente, os pesquisadores combinaram análise estática de todo o pacote da skill, verificação de proveniência de dependências, execução instrumentada em sandbox e avaliação adicional baseada em modelo sobre os traços de execução resultantes, aplicando isso a 6.309 listagens reais de dois marketplaces (ClawHub e skillsmp) sem filtrar previamente por sinal de risco ou malícia conhecida — ou seja, uma amostra representativa do que um usuário comum encontraria ao instalar algo. Os números são expressivos: metade do corpus tem evidência de capacidade de execução de shell, 35% consegue ler arquivos do sistema, 31% consegue escrever arquivos ou fazer egress de rede, 13% consegue acessar credenciais, e sete de cada dez listagens carregam pelo menos uma capacidade elevada — tudo isso invisível para o usuário no momento da instalação.
O achado mais preocupante é sobre o próprio mecanismo de transparência existente: os marketplaces permitem que autores declarem no frontmatter da skill quais ferramentas ela pré-aprova, mas esse mecanismo apenas remove prompts de confirmação — não restringe de fato o que a skill pode acessar — e o vocabulário disponível nem consegue expressar acesso a credenciais ou ao ambiente. Entre as listagens cujo frontmatter é sequer analisável, só 770 de 6.061 declaram algo, e 59% dessas declarações subestimam a capacidade real do pacote. O marketplace ClawHub declara capacidades com o dobro da frequência do skillsmp, mas erra para baixo (under-declara) em 88% dos casos em que declara algo, contra 31% do skillsmp — ou seja, declarar mais não significa declarar com mais precisão.
A conclusão prática dos autores é que a triagem de segurança em marketplaces de skills de IA não pode se basear no que uma listagem afirma fazer, apenas no que o pacote de fato é capaz de fazer quando executado — reforçando que profiling de superfície de ataque orientado por capacidade precisa complementar (não substituir) a detecção tradicional de malícia. Isso é diretamente relevante para qualquer equipe que opere agentes de codificação ou automação com plugins/skills de terceiros: o risco de supply chain nesse ecossistema é maior e menos visível do que os próprios mecanismos de permissão hoje sugerem.