olimposec.com
tema

#aprendizado-continuo

3 publicações marcadas com esta tag.

risco médioOS-2026-865 · 2026-11-05
0

Ataque de inferência de pertencimento temporal expõe quando dados entraram no treinamento de modelos atualizados continuamente

Pesquisadores apresentam o primeiro estudo sistemático de um novo tipo de ataque de privacidade contra modelos de aprendizado profundo atualizados continuamente: a inferência de 'pertencimento temporal', que tenta descobrir não apenas se uma amostra foi usada no treinamento, mas quando isso ocorreu. O ataque proposto, TMIA, usa LSTMs bidirecionais para analisar como as saídas do modelo mudam ao longo de atualizações sucessivas e supera os métodos anteriores de inferência de pertencimento em testes com modelos de linguagem e de visão.

Fonte ↗
panoramaOS-2026-563 · 2026-10-02
0

Survey propoe framework para rastrear como agentes de IA que se autoatualizam acumulam riscos de seguranca

O artigo revisa a literatura sobre seguranca de agentes autoevolutivos -- sistemas baseados em LLM que atualizam continuamente parametros, memorias, ferramentas e workflows a partir da propria experiencia -- e propoe o framework SAVER para mapear como esse estado reutilizavel pode se tornar inseguro mesmo sem nenhuma entrada maliciosa isolada. A conclusao central e que boa parte da pesquisa atual cobre bem a entrada e a contencao local de informacao nociva, mas quase nada sobre verificar se uma correcao de seguranca realmente se propaga e se mantem depois que o agente continua evoluindo.

Fonte ↗
panoramaOS-2026-271 · 2026-08-21
0

COPA trata defesa contra prompt injection como um problema de aprendizado contínuo

Pesquisadores propuseram o COPA, um framework que atualiza continuamente as defesas de um LLM contra prompt injection à medida que novos ataques surgem, em vez de depender de um alinhamento estático feito uma única vez. Usando otimização por preferência baseada em GRPO e replay de experiência ponderado por margem para não esquecer defesas antigas, o método reduziu a taxa de sucesso de ataques em até 6,3 vezes frente a defesas de última geração, em fluxos de ataques que evoluem ao longo do tempo.

Fonte ↗