MMA-SafetyBench expõe ataque de 'sequestro semântico visual' contra agentes de IA multimodais
Pesquisadores criam o MMA-SafetyBench, um benchmark com mais de mil trajetórias adversariais que testa agentes de IA multimodais contra 'Visual Semantic Hijacking' — elementos de interface falsos, como alertas de sistema forjados, inseridos no que o agente vê na tela para desviá-lo da tarefa original. O ataque atingiu taxa de sucesso de quase 88% e taxa de comprometimento semântico de 98% entre nove modelos avaliados, mesmo quando prompts neutros de segurança foram usados.
O trabalho identifica uma categoria de ataque específica de agentes multimodais que operam por percepção visual — como agentes que controlam navegadores, interfaces desktop, aplicativos móveis ou analisam documentos e vídeo — e que, por isso, decidem suas próximas ações a partir do que 'veem' na tela, não apenas do texto que recebem. O 'Visual Semantic Hijacking' explora exatamente essa dependência: em vez de injetar instruções maliciosas em texto (como no prompt injection clássico), o ataque insere elementos visuais enganosos, mas semanticamente plausíveis — por exemplo, uma caixa de alerta de sistema forjada, visualmente idêntica às legítimas — diretamente no fluxo de observação que o agente processa.
Para construir o benchmark de forma sistemática, os autores desenvolveram um procedimento guiado por trajetória que primeiro identifica pontos candidatos de injeção dentro de uma sequência de ações do agente e depois insere payloads visuais reprodutíveis nesses pontos, resultando em 1.083 trajetórias adversariais cobrindo cinco domínios distintos: automação web, controle de GUI desktop, navegação mobile, compreensão de documentos e processamento de vídeo. Isso dá ao MMA-SafetyBench uma cobertura bem mais ampla do que benchmarks de segurança textual, que não capturam esse tipo de superfície de ataque específica da modalidade visual.
Os números são o dado mais alarmante do estudo: entre nove modelos multimodais avaliados, a Taxa de Sucesso de Ataque (ASR) chegou a 87,96% e a Taxa de Comprometimento Semântico (SCR) a 98,09%, usando um esquema de pontuação que diferencia saída totalmente controlada pelo atacante, disrupção sem controle direto e preservação da tarefa original. Os autores testaram também controles com prompts de segurança priorizados ('preste atenção a elementos suspeitos na tela') e, embora isso reduza a taxa de sucesso, não elimina a falha — ou seja, instruir o modelo a ser cauteloso não resolve uma vulnerabilidade que está na forma como o agente processa percepção visual, não apenas em sua disposição a seguir instruções suspeitas.
Isso é particularmente relevante com o avanço de agentes de IA que operam diretamente sobre interfaces gráficas reais (automação de navegador, RPA, assistentes que controlam o computador do usuário): qualquer superfície visual controlada, ainda que parcialmente, por um terceiro — uma página web, um documento compartilhado, uma janela pop-up — se torna um vetor de ataque viável contra o próprio agente, não apenas contra o usuário humano que historicamente era o alvo de pop-ups e alertas falsos.