Pesquisa isola a 'camada de envelope' como superfície de defesa pouco estudada contra ataques a agentes LLM
O artigo caracteriza a "camada de envelope" — o canal pelo qual conteúdo externo entra em um agente LLM, distinto da defesa no próprio modelo ou na lógica do agente — usando o ataque A2A-TIBA como vetor de teste, e mostra que rótulos de confiança fortes só reduzem ataques de forma consistente quando o envelope é autêntico e não pode ser forjado pelo atacante. O achado mais relevante é que a memória do agente pesa mais do que qualquer rótulo: lembranças de sucessos anteriores de ataque aumentam a taxa de violação, lembranças de fracassos a reduzem, e misturar as duas tende a neutralizar o efeito.
Quando um agente LLM recebe conteúdo externo — a resposta de outro agente, o retorno de uma ferramenta, uma página web — esse conteúdo chega "envelopado" em algum tipo de metadado que indica sua origem e nível de confiança. Trabalho anterior já havia identificado esse envelope como uma superfície de defesa independente do modelo e da lógica do agente, mas sem testar sistematicamente como a força do rótulo de confiança, a possibilidade de o atacante forjar esse rótulo, diferenças de scaffolding entre frameworks de agente e a presença de memória de longo prazo interagem entre si.
Os autores usam o ataque A2A-TIBA, uma injeção entre agentes (agent-to-agent), como veículo de teste e seguem uma metodologia chamada GDA, medindo principalmente a taxa de violação semântica, quando o agente efetivamente executa a ação maliciosa, com a taxa de recusa semântica como referência complementar. O desenho central é um experimento fatorial 2x2 cruzando força do rótulo de confiança, forte ou fraco, com autenticidade do envelope, genuíno ou forjável, complementado por um experimento separado isolando o efeito da memória do agente.
Quando o envelope é genuíno e não pode ser falsificado pelo atacante, rótulos fortes de desconfiança reduzem consistentemente a taxa de violação semântica, mas rótulos fracos não necessariamente superam a ausência de rótulo, ou seja, um rótulo mal calibrado pode não valer o esforço de implementar. Quando o atacante consegue forjar o envelope, fingindo que o conteúdo vem de uma fonte confiável, o benefício dos rótulos fortes se reduz e até inverte de direção dependendo do frontend usado, mostrando que essa defesa de rotulagem depende inteiramente da integridade de um canal que, na prática, muitas integrações de agentes não protegem adequadamente.
O efeito mais forte observado no estudo não vem dos rótulos, mas da memória de longo prazo do agente: memória de interações passadas bem-sucedidas do ponto de vista do atacante aumenta a taxa de violação semântica em interações futuras, enquanto memória de fracassos passados a reduz, e quando o agente acumula as duas experiências misturadas o efeito tende a voltar ao nível basal sem memória. Isso tem implicação direta para quem está adicionando memória persistente a agentes LLM em produção: a segurança do envelope não é uma propriedade fixa de como se rotula e autentica conteúdo externo, é um resultado dinâmico que depende também do que o agente aprendeu informalmente em interações anteriores, um vetor de persistência de risco que rótulos de confiança, por si só, não cobrem.