AgentHijack: patch visual escondido em página web sequestra agentes multimodais de uso de computador
Pesquisadores propõem um framework de avaliação ponta a ponta para testar se um patch visual local, embutido numa página web, consegue disparar injeção de comando contra agentes de uso de computador (CUAs) multimodais. Em 600 casos de teste contra cinco back-ends abertos de agente/VLM, o ataque atingiu 84,5% de sucesso ao nível do modelo de visão e 20,3% de sucesso ponta a ponta, com casos registrados em que o agente executa um comando malicioso de terminal e depois retoma a tarefa original como se nada tivesse acontecido.
Agentes de uso de computador (computer-use agents, CUAs) operam num pipeline de múltiplos estágios: capturam uma captura de tela, um modelo de visão-linguagem (VLM) interpreta essa imagem e gera uma ação, essa ação é convertida (parsed) em um comando concreto, e o ambiente executa esse comando. O AgentHijack testa uma pergunta direta: um patch visual local, colocado deliberadamente numa página web comum, consegue atravessar todo esse pipeline e produzir uma consequência real no ambiente, como a execução de um comando de terminal malicioso?
Para responder, os autores treinaram e implantaram patches em páginas GitHub Pages sob seu próprio controle e num clone local do CSDN, e avaliaram o ataque em ambientes reais contra cinco back-ends de agente GUI ou VLM de código aberto ou disponíveis publicamente, agregando 600 casos de teste ao nível de instância online.
Os resultados mostram um funil onde o ataque perde força a cada etapa, mas ainda assim preserva impacto real: 84,5% de taxa de sucesso ao nível do próprio modelo de visão-linguagem (T-ASR, o patch engana a interpretação visual), caindo para 47,0% quando se exige que a ação maliciosa seja corretamente interpretada como comando (TAPR), e para 20,3% de sucesso ponta a ponta (E2E-ASR), quando o comando malicioso é de fato executado no ambiente. A análise de trajetórias mostra casos em que o agente primeiro executa um comando de terminal malicioso e, na sequência, retoma a tarefa benigna original, mascarando o comprometimento dentro de um fluxo de trabalho aparentemente normal.
O resultado é relevante porque devolve uma classe clássica de ameaça web, uma página ou imagem maliciosa hospedada normalmente na internet, como vetor viável contra sistemas que hoje têm permissão para agir no mundo real, não apenas gerar texto num chat. Como o CUA tem privilégios para executar comandos reais no sistema operacional, uma página comprometida que um usuário simplesmente peça ao agente para visitar ou resumir se torna um trampolim potencial para execução arbitrária de comando, um risco que cresce proporcionalmente à adoção de agentes com acesso real a arquivos e sistema operacional.