Estudo mostra que contar passos de execucao subestima o quanto conteudo malicioso esta "perto" de uma acao sensivel em agentes LLM
Pesquisadores propoem medir a exposicao de seguranca de agentes de longo horizonte por "distancia de influencia" -- o caminho mais curto num grafo de execucao com rastreamento de proveniencia entre uma fonte nao confiavel e uma acao sensivel -- em vez da contagem tradicional de passos na trajetoria. Analisando 454 pares injecao-alvo em 360 trajetorias do AgentDojo, rodadas em GPT-4o, GPT-4o-mini, Claude Haiku 4.5 e Claude Sonnet 4.6, encontraram que em 96,9% dos casos a distancia estrutural real e bem menor que a distancia por contagem de passos (mediana de 9 saltos de diferenca), o que significa que muitos ataques estao estruturalmente muito mais proximos da acao perigosa do que a contagem ingenua de passos sugere.
A forma usual de avaliar o quao "perigoso" e um vetor de injecao indireta em um agente de longo horizonte e contar quantos passos de execucao existem entre a entrada maliciosa e a acao sensivel que ela tenta provocar -- quanto mais passos, mais "remoto" e o risco pareceria. O paper argumenta que essa metrica pode enganar em agentes com estado (memoria persistente, identificadores reutilizados, dados passados entre ferramentas), porque ela ignora como a informacao realmente flui por baixo dos panos.
Para corrigir isso, os autores constroem um grafo de execucao com proveniencia, ligando eventos do agente atraves de estado deterministico, identificadores e origem de dados entre ferramentas, e definem a "distancia de influencia" como o caminho mais curto nesse grafo entre uma fonte nao confiavel e uma acao sensivel. Como todo caminho sequencial tambem existe no grafo de influencia, essa distancia estrutural e sempre menor ou igual a distancia por contagem de passos -- a diferenca entre as duas (chamada de "gap") mede o quanto a contagem de passos estava escondendo separacao real.
Os resultados empiricos sao expressivos: rodando 360 trajetorias de longo horizonte no benchmark AgentDojo, cobrindo GPT-4o, GPT-4o-mini, Claude Haiku 4.5 e Claude Sonnet 4.6, o gap foi positivo em 96,9% dos 454 pares de injecao-alvo analisados, com mediana de 9 saltos de diferenca -- ou seja, na maioria dos casos a proximidade estrutural real entre conteudo malicioso e acao sensivel e muito maior do que a contagem de passos sugeriria. Mesmo removendo a maior classe de arestas que existem so por proveniencia (nao por sequencia de execucao), 91% dos pares continuam desacoplados. Curiosamente, esse gap nao prediz de forma independente se um ataque tem sucesso, depois de controlar por distancia sequencial, familia de ataque e modelo usado -- sugerindo que a proximidade estrutural e mais util como sinal de exposicao potencial do que como preditor direto de sucesso do ataque.
A aplicacao pratica mais concreta e um gate de bloqueio pre-execucao baseado em limiares de distancia de influencia (k=2 ou k=3), que consegue bloquear ataques que um gate baseado apenas em sequencia deixaria passar, sem aumentar bloqueios indevidos de acoes legitimas. Para quem projeta guardrails de runtime em agentes com memoria e estado persistente, a mensagem central e que medir "quantos passos ate aqui" e insuficiente -- e preciso rastrear proveniencia de dados e identificadores para saber de fato o quao exposta esta uma acao sensivel a conteudo nao confiavel processado anteriormente.