RATION propõe controle de acesso baseado em risco acumulado para conter excessos de agentes de IA
Pesquisadores apresentam o RATION, um framework que troca o modelo tradicional de restringir rigidamente as ações de um agente de IA por um controle de acesso que acumula e limita risco quantitativo ao longo da execução da tarefa. A política combina restrições explícitas do pedido do usuário com riscos implícitos calibrados a partir de execuções históricas de tarefas similares, aplicando diferentes estratégias de contenção conforme o tipo de risco acumulado.
Sistemas atuais de segurança para agentes de IA tendem a adotar uma postura binária: uma ação é permitida ou bloqueada com base em uma lista estática de regras, o que frequentemente degrada a utilidade do agente em tarefas complexas e abertas. Bloquear demais torna o agente inútil, liberar demais o expõe a ataques como injeção de prompt indireta, em que conteúdo externo manipula o agente a agir contra os interesses do usuário.
O RATION ataca esse trade-off tratando risco como uma grandeza contínua e acumulável, não como uma decisão binária por ação. Primeiro, o framework constrói uma política específica para a tarefa combinando restrições explícitas derivadas do pedido do usuário com riscos implícitos, calibrados estatisticamente a partir de execuções anteriores de tarefas semelhantes, ou seja, aprende que certas classes de ação tendem a ser mais arriscadas em certos contextos, mesmo sem uma regra explícita proibindo-as.
Durante a execução, o RATION rastreia continuamente o risco acumulado pelas ações já tomadas pelo agente e aplica estratégias de imposição diferentes dependendo do tipo de risco identificado, por exemplo, agindo de forma mais permissiva com riscos reversíveis e de baixo impacto, e de forma mais restritiva quando o acúmulo de risco se aproxima de um padrão associado a comprometimento real, como em cenários de injeção de prompt indireta em que o agente começa a desviar do escopo original da tarefa.
Em experimentos sobre quatro benchmarks de segurança, essa abordagem manteve forte proteção sem sacrificar utilidade em diferentes modelos e ambientes, resultado relevante porque a maior barreira prática para adoção de controles de segurança em agentes de produção não costuma ser a falta de técnicas de defesa, e sim o custo de utilidade que essas defesas impõem. Um controle que modula a permissividade com base em risco acumulado, em vez de vetar categorias inteiras de ação, tem mais chance de ser efetivamente adotado por equipes que já sentem pressão para maximizar a autonomia dos agentes.