Pesquisa mostra que certificações de segurança de IA agentiva podem ser contornadas por adversários que esperam a avaliação terminar
Um estudo teórico e experimental demonstra que avaliações finitas de segurança não conseguem excluir um adversário que se comporta normalmente até o momento da certificação e só então começa a agir de forma maliciosa. Usando simulações de robótica colaborativa e testes no benchmark AgentDojo, o autor mostra que esse tipo de ataque 'oportunista pós-certificação' é praticamente ótimo contra testes estatísticos fixos, e propõe um monitoramento contínuo com revogação permanente como mitigação parcial.
Fonte ↗