olimposec.com
tema

#geracao-de-codigo

11 publicações marcadas com esta tag.

risco médioOS-2026-859 · 2026-11-04
0

CloakFEM usa agentes de IA para gerar programas de simulação que explodem o custo computacional de solvers de engenharia

O artigo apresenta o CloakFEM, um framework baseado em agentes LLM que gera automaticamente programas de elementos finitos (FEM) sintaticamente válidos e executáveis, mas desenhados para forçar carga computacional excessiva em solvers de simulação de engenharia. A técnica combina busca guiada por modelo de linguagem com uma representação intermediária específica de FEM e um filtro determinístico de validade, revelando uma superfície de ataque de negação de serviço computacional antes pouco explorada. Em testes contra três stacks de FEM e mais de mil sementes, o framework chegou a amplificar o número de iterações do solver em mais de 5.700 vezes em relação ao caso original.

Fonte ↗
risco médioOS-2026-839 · 2026-11-02
0

RiskyPy gera prompts calibrados para medir segurança e funcionalidade do código gerado por LLM

RiskyPy automatiza a criação de datasets de teste para avaliar, ao mesmo tempo, se o código gerado por um LLM funciona e se ele é seguro, calibrando a dificuldade dos prompts ao nível de capacidade do modelo avaliado. Nos testes com Qwen3-4B e Seed-Coder-8B, cobrindo 18 categorias do CWE Top 25, entre 57% e 72% dos códigos gerados funcionavam corretamente, mas apenas 5% a 10% ficaram livres de alertas de vulnerabilidade do Bandit.

Fonte ↗
panoramaOS-2026-794 · 2026-10-27
0

SecGent usa base de fraquezas CWE para fazer LLMs gerarem código mais seguro sem perder funcionalidade

O framework SecGent recupera, em tempo de inferência, registros textuais relevantes do catálogo CWE (Common Weakness Enumeration) e os usa para orientar a geração segura de código por LLMs, combinando isso com testes funcionais e de segurança que guiam reparos automáticos. Testado em cinco linguagens com o benchmark CWEval, o sistema elevou o sucesso conjunto funcional-e-seguro em até 15,5% sobre RAG tradicional, chegando a 92,1% com o Claude Sonnet 5.5.

Fonte ↗
panoramaOS-2026-733 · 2026-10-20
0

Peer Pressure treina populações de atacantes e defensores de IA que se verificam por execução real de exploits

Os autores propõem co-treinar, via aprendizado por reforço, populações de agentes atacantes e defensores de código: o atacante só é recompensado se seu patch malicioso se aplica, compila, passa nos testes e reproduz um exploit real em um container isolado, enquanto o defensor aprende a identificar essas mudanças. O algoritmo resultante, PRPO, produz um revisor de 7B parâmetros que supera um revisor frontier (Claude Opus 4.8) em 15,8 pontos na aplicação usada no treino, e, aplicado sem alterações à defesa de jailbreak, reduz a taxa de sucesso de ataque de 36% para 4,6%.

Fonte ↗
panoramaOS-2026-674 · 2026-10-14
0

SecReason intercepta e corrige vulnerabilidades dentro do próprio raciocínio do LLM antes do código final ser entregue

O SecReason monitora o chain-of-thought de modelos de raciocínio enquanto eles rascunham código, aplicando varredura de segurança incremental a cada trecho gerado e interrompendo a geração para inserir um aviso e permitir autocorreção dentro do mesmo raciocínio, sem precisar regenerar a resposta inteira. Em benchmarks de geração vulnerável, a técnica elevou a proporção de execuções que entregam código seguro e funcional de menos de 15% para entre 72,8% e 98,1%.

Fonte ↗
risco médioOS-2026-599 · 2026-10-06
0

EviLLM: pesquisa demonstra como um atacante externo pode injetar vulnerabilidades via pipelines de geracao de codigo com LLM

O estudo EviLLM propõe um modelo de ameaca realista em que um terceiro adversario -- com capacidades comparaveis a cibercriminosos comuns, nao o provedor do modelo nem o usuario -- compromete o pipeline de geracao de codigo por IA para injetar vulnerabilidades deliberadamente, cobrindo 13 classes diferentes de CWE. Em estudo com usuarios, a maioria dos participantes nao percebeu as vulnerabilidades injetadas, e boa parte nunca havia considerado esse tipo de ataque como um risco real.

Fonte ↗
risco médioOS-2026-314 · 2026-08-28
0

Estudo mostra que LLMs geram codigo RTL funcional mas inseguro quando a especificacao nao menciona seguranca explicitamente

Pesquisadores criaram o SECRTL-GEN, benchmark com 392 tarefas de geracao de codigo de hardware (RTL) em Verilog, SystemVerilog, VHDL e Python que testa correcao funcional e seguranca separadamente. Modelos de fronteira passam em 73% a 79% dos testes funcionais mas apenas 14% a 35% dos testes de seguranca, e modelos funcionalmente melhores nao sao necessariamente mais seguros -- um framework auxiliar, o RTL-Obliger, eleva a taxa combinada de aprovacao para 61,6% inferindo obrigacoes de seguranca implicitas a partir da propria especificacao.

Fonte ↗
risco médioOS-2026-282 · 2026-08-24
0

Estudo de 'vibe coding' mostra que pedir segurança no prompt reduz pela metade as vulnerabilidades em apps gerados por IA

Comparando doze aplicações web geradas pelo mesmo assistente de codificação agentic — seis com prompt padrão e seis com uma seção extra pedindo boas práticas de segurança — pesquisadores encontraram 51 vulnerabilidades confirmadas no grupo baseline contra 24 no grupo com prompt de segurança, sem nenhuma falha crítica ou alta neste último. O estudo é pequeno e não-iterativo, mas é um dos primeiros a quantificar o efeito de instruções de segurança explícitas no código gerado por IA generativa.

Fonte ↗
risco médioOS-2026-187 · 2026-08-10
0

Estudo testa 'model editing' como alternativa ao hardening em tempo de inferência para gerar código mais seguro

O trabalho compara editores de modelo de última geração com CoSec, uma técnica de hardening em tempo de inferência, para reduzir a geração de código vulnerável por LLMs, encontrando ganhos de 15% a 25% na taxa de segurança para tipos de vulnerabilidade já conhecidos pelo modelo, mas transferência fraca para vulnerabilidades não vistas e possível queda na corretude funcional do código gerado. Os autores propõem o SafeEdit, um refinamento pós-edição que recupera boa parte da corretude perdida preservando a maior parte do ganho de segurança.

Fonte ↗
risco médioOS-2026-172 · 2026-08-07
0

ARIA automatiza a criação de backdoors furtivos em instruções de LLMs personalizados para geração de código

Pesquisadores apresentam o ARIA, um framework de red teaming automatizado que usa um LLM atacante para gerar e refinar instruções com backdoor contra plataformas de personalização de LLM que operam só por system prompt, sem alterar os pesos do modelo. O ataque atingiu 94,5% de taxa de sucesso preservando a utilidade da tarefa original, além de evadir quase totalmente mecanismos de detecção do lado da plataforma e do usuário, com taxa de falso negativo chegando a 1,0.

Fonte ↗
risco médioOS-2026-098 · 2026-07-28
0

Estudo com 2.700 casos mostra que mais da metade do código gerado por LLMs falha em cenários de segurança realistas

Pesquisadores construíram um benchmark de 2.700 casos que reproduz situações comuns de desenvolvimento real — requisitos ambíguos, contexto operacional pouco especificado e conflitos entre segurança e funcionalidade — para avaliar oito LLMs de ponta na geração de código. Todos os modelos apresentaram taxas de vulnerabilidade acima de 56%, embora prompts com instruções explícitas de segurança tenham reduzido o problema em até 45%.

Fonte ↗