RiskyPy gera prompts calibrados para medir segurança e funcionalidade do código gerado por LLM
RiskyPy automatiza a criação de datasets de teste para avaliar, ao mesmo tempo, se o código gerado por um LLM funciona e se ele é seguro, calibrando a dificuldade dos prompts ao nível de capacidade do modelo avaliado. Nos testes com Qwen3-4B e Seed-Coder-8B, cobrindo 18 categorias do CWE Top 25, entre 57% e 72% dos códigos gerados funcionavam corretamente, mas apenas 5% a 10% ficaram livres de alertas de vulnerabilidade do Bandit.
Fonte ↗