Benchmark ADeptS-Bench mostra agentes de uso de computador clicando em 'checkout' de US$ 25 mil sem hesitar

O ADeptS-Bench ataca um problema de avaliacao especifico de agentes que operam interfaces graficas (Computer Use Agents, ou CUAs): a maioria dos benchmarks de seguranca de agentes foca em instrucoes textuais maliciosas, mas agentes que efetivamente clicam em botoes e preenchem formularios enfrentam um vetor de ataque adicional -- a propria interface visual pode conter armadilhas, como um botao mal rotulado ou um elemento de UI enganoso, sem que nenhuma instrucao textual maliciosa esteja presente. O benchmark e estruturado em duas frentes complementares: um stream de 'Safety', com pares de tarefas benignas e maliciosas onde a ameaca esta embutida na interface, e um stream de 'Disambiguation', que mede se o agente pede esclarecimento diante de instrucoes ambiguas em vez de assumir a interpretacao mais arriscada.

Os resultados numericos sao o ponto mais forte do trabalho: nenhum dos sete modelos avaliados consegue simultaneamente manter mais de 80% de sucesso em tarefas legitimas e menos de 30% de taxa de sucesso quando confrontado com uma ameaca embutida na interface. Dois exemplos concretos ilustram bem o problema -- todo modelo testado prossegue e clica em 'finalizar compra' num pedido de US$ 25 mil sem qualquer hesitacao ou confirmacao adicional, e nenhum modelo detecta que um botao rotulado 'Otimizar' na verdade executa um reset de fabrica. Isso mostra que os modelos avaliam a interface pelo rotulo textual do elemento, nao pela consequencia real da acao -- uma falha de raciocinio sobre efeitos colaterais, nao apenas de leitura de tela.

A analise de arquitetura de seguranca tambem e informativa: os autores identificam tres padroes distintos entre os modelos -- arquiteturas 'dependentes de ferramenta' (o desempenho de seguranca melhora 21 a 23 pontos percentuais quando existe uma ferramenta explicita de recusa disponivel ao agente), 'parcialmente dependentes' (melhora de 10 a 11 pontos) e modelos 'sem mecanismo' (nenhuma melhora detectavel mesmo com a ferramenta disponivel). Isso sugere que seguranca de agentes de interface grafica nao e apenas uma questao de capacidade do modelo base, mas de como o harness em torno dele expõe (ou nao) uma via de recusa estruturada -- um dado pratico para quem constroi produtos de automacao de UI sobre esses modelos.

O achado sobre disambiguation reforca um padrao ja visto em outros benchmarks de seguranca de LLM: os modelos tendem a superestimar a severidade das consequencias de forma generalizada, o que produz tanto falsos negativos (nao param diante de acoes genuinamente perigosas, como o exemplo do checkout) quanto falsos positivos (recusam ou pedem confirmacao excessiva em tarefas triviais) -- um trade-off de calibracao que o benchmark expõe de forma quantitativa e reprodutivel, util para quem precisa comparar diferentes modelos antes de implanta-los em fluxos de automacao com acesso real a acoes financeiras ou destrutivas.