Pesquisa mostra que manipular os adaptadores de entrada/saída de um pipeline com LLM basta para alterar a decisão final, mesmo sem tocar no modelo
Um estudo piloto demonstra que, em pipelines que usam um modelo de linguagem para emitir julgamentos que outras partes do sistema transformam em decisões automatizadas, um atacante pode distorcer a decisão final manipulando apenas os componentes adaptadores — extração de estado, geração da pergunta enviada ao modelo e interpretação da resposta — sem jamais comprometer o modelo em si ou suas respostas legítimas.
O artigo usa nomes de código ("System One model", "Jev") para descrever um problema genérico e recorrente em sistemas que incorporam modelos de linguagem como peça de um pipeline de decisão maior: a aplicação não usa a resposta do modelo diretamente, mas sim um conjunto de componentes intermediários que preparam a entrada e interpretam a saída antes de transformá-la em uma ação concreta (aprovar uma transação, liberar um acesso, classificar um ticket, etc.).
Os autores identificam três pontos de manipulação nesse pipeline, chamados de "adaptadores": a extração de estado (como o sistema interpreta as condições de entrada antes de formular a pergunta), a geração da pergunta (como essa pergunta é efetivamente formulada para o modelo) e a interpretação da saída (como a resposta do modelo é convertida na decisão final). Em três estudos sintéticos de pequena escala, os pesquisadores demonstram que substituições limitadas em cada um desses três pontos conseguem alterar a decisão final do sistema, mesmo que o modelo de linguagem continue respondendo de forma correta e a API permaneça fora do controle do atacante.
Tecnicamente, isso evidencia três modos de falha distintos: falha de fidelidade da fonte (a informação que chega ao modelo já não reflete fielmente a realidade), falha de significado da resposta (a resposta do modelo é reinterpretada de forma diferente da intenção original) e falha de relevância (a resposta, embora correta para a pergunta formulada, não é mais relevante para a decisão que supostamente deveria informar). Os autores testam verificações que amarram essas três etapas entre si e mostram que elas bloqueiam as intervenções testadas, ainda que à custa de rejeitar também algumas decisões legítimas.
Esse resultado importa na prática porque desloca o foco da segurança de sistemas baseados em LLM: mesmo que um modelo seja robusto, alinhado e resistente a jailbreaks, a camada de integração em torno dele — o código "de cola" que conecta o modelo ao resto do sistema — pode ser o elo mais fraco. Os próprios autores alertam que é um estudo piloto com testes sintéticos, sem estimativa da prevalência real desse problema em sistemas de produção, mas o padrão identificado é genérico o suficiente para se aplicar a qualquer arquitetura de agente ou pipeline de decisão automatizada que use um LLM como componente de julgamento.