Guardrails de proveniencia tipada buscam impedir que injecoes de prompt se tornem 'memoria oficial' de agentes de IA persistentes
Pesquisadores propoem um sistema de proveniencia tipada e guardrails de asserção para agentes de IA com memoria persistente, partindo do principio de que dado armazenado ou recuperado nao e automaticamente confiavel -- entradas nao confiaveis, injecoes de prompt e inferencias do proprio modelo podem entrar na memoria do agente e depois ser apresentadas como historico legitimo ou compromisso do usuario. Em 24 casos de teste de conformidade, o mediador proposto bloqueou 19 de 19 tentativas inseguras sem qualificacao, enquanto abordagens anteriores liberaram ate 19 de 19 candidatos inseguros.
Agentes de IA que operam de forma persistente ao longo do tempo constroem, por meio de reflexao, recuperacao e consolidacao, um tipo de memoria autobiografica sobre suas proprias interacoes, compromissos assumidos e relacionamentos com usuarios. O artigo parte de uma observacao conceitual simples mas com implicacoes praticas serias: o fato de uma informacao estar armazenada ou ter sido recuperada da memoria nao implica, por si so, que ela seja verdadeira ou tenha sido validada -- persistencia muda a disponibilidade de uma informacao, nao seu status epistemico. Isso significa que uma injecao de prompt, uma entrada nao confiavel de terceiros, ou ate uma inferencia especulativa do proprio modelo pode entrar silenciosamente na memoria persistente e depois ser apresentada, em interacoes futuras, como se fosse historico factual do agente ou um compromisso genuino do usuario.
Para lidar com isso, os autores especificam uma arquitetura com tres camadas. Primeiro, um grafo de proveniencia tipada que separa, para cada afirmacao armazenada, sua origem, a cadeia de dependencias que a produziu, seu papel epistemico (fato observado vs. inferencia vs. entrada nao confiavel), sua validade temporal e seu escopo de divulgacao permitido. Segundo, um resolvedor que avalia projecoes autorizadas desse estado e retorna um status evidencial unico, junto com sinalizadores de conflito e obsolescencia, alem de uma 'testemunha de decisao protegida' que documenta por que uma afirmacao foi aceita ou rejeitada. Terceiro, um mediador do tipo generate-verify-revise que checa cada unidade semantica candidata antes de libera-la, aplicando politicas de evidencia aceita, validade temporal e escopo de divulgacao.
Em um conjunto de 24 casos de conformidade construidos manualmente, a mediacao tipada proposta nao liberou nenhuma das 19 oportunidades de vazamento inseguro sem a devida qualificacao, enquanto preservava a totalidade dos cinco controles seguros esperados. Em contraste, duas abordagens de comparacao mais simples -- uma que apenas usa a ordem cronologica/prioridade da informacao (flat/prior) e outra que usa apenas tags de origem -- liberaram, respectivamente, 19 de 19 e 18 de 19 dos candidatos inseguros, evidenciando o quanto os metodos ingenuos atualmente usados falham nesse tipo de cenario.
Os proprios autores sao cautelosos ao afirmar que esses resultados validam o design formal do resolvedor e do mediador, e nao constituem uma avaliacao end-to-end com modelos de linguagem reais operando em producao. Ainda assim, o trabalho e relevante porque endereca um problema estrutural que tende a crescer junto com a adocao de agentes com memoria de longo prazo: sem um mecanismo explicito de proveniencia, a memoria de um agente se torna um vetor silencioso pelo qual conteudo nao verificado pode ganhar autoridade equivalente a fato estabelecido, com consequencias que vao de decisoes erradas ate exposicao de compromissos falsos atribuidos ao usuario.