ANGLER usa ataques adaptativos guiados por quase-acertos para elevar em um terço o sucesso de ataques contra agentes web
O benchmark REEF cobre nove sites funcionais e verificáveis, pareando tarefas legítimas com objetivos maliciosos entregues por cinco tipos de ataque, para medir quão vulneráveis são agentes web baseados em modelos de visão e linguagem a conteúdo adversarial injetado durante a navegação. O framework ANGLER usa os resultados de tentativas anteriores para evoluir os ataques de forma adaptativa, elevando a taxa de sucesso de 15,24% para 20,36% em oito agentes testados, e reduzindo a taxa de sucesso em tarefas legítimas de 61,9% para 44,4%.
Agentes web autônomos — que navegam e agem em sites reais em nome de um usuário, completando compras, reservas ou outras tarefas — estão expostos a conteúdo malicioso plantado por terceiros em reviews, descrições de produto ou outros elementos de página. Avaliações anteriores desse risco costumavam usar um conjunto fixo de ataques ou avaliar apenas no nível do texto da resposta, sem confirmar se o estado real do backend do site de fato mudou, o que subestima quão vulneráveis os agentes realmente são.
O REEF resolve essa limitação com “verificadores fundamentados em estado”: em vez de inferir sucesso do ataque a partir do texto de resposta do agente, o benchmark checa diretamente se a ação indesejada ocorreu no backend simulado de nove sites que cobrem viagem, comércio, produtividade, mídia e comunicação, cada um pareando uma tarefa benigna autêntica com um objetivo malicioso entregue por cinco tipos de ataque diferentes, tanto no nível do usuário quanto no nível do ambiente.
O ANGLER usa esse sinal de verificação de estado para guiar uma evolução adaptativa do ataque: em vez de testar um conjunto estático de payloads, ele usa LLMs para mutar os ataques e prioriza, nas rodadas seguintes, variações que quase funcionaram na rodada anterior (“near-miss”). A diferença de resultado entre esse modo adaptativo (20,36% de taxa de sucesso) e o modo não adaptativo (15,24%) em oito agentes baseados em modelos de visão e linguagem mostra que um atacante capaz de iterar automaticamente — algo trivial de montar com outro LLM gerando variações — ganha uma vantagem real sobre defesas calibradas só contra ataques conhecidos e estáticos.
O efeito colateral menos óbvio, mas talvez mais importante na prática, é a queda na taxa de sucesso das tarefas benignas, de 61,9% para 44,4%, quando o conteúdo adversarial do ANGLER está presente: a simples existência de conteúdo adversarial na página já degrada a capacidade do agente de completar tarefas legítimas, não apenas abre uma brecha para a tarefa maliciosa específica. Para quem constrói ou integra agentes de navegação autônoma, isso sugere que testes de segurança precisam incluir um atacante adaptativo e verificação de estado real do backend, replicando para agentes web o tipo de red-teaming que já é padrão para modelos de linguagem isolados.