Pesquisa mostra que manipular os adaptadores de entrada/saída de um pipeline com LLM basta para alterar a decisão final, mesmo sem tocar no modelo
Um estudo piloto demonstra que, em pipelines que usam um modelo de linguagem para emitir julgamentos que outras partes do sistema transformam em decisões automatizadas, um atacante pode distorcer a decisão final manipulando apenas os componentes adaptadores — extração de estado, geração da pergunta enviada ao modelo e interpretação da resposta — sem jamais comprometer o modelo em si ou suas respostas legítimas.
Fonte ↗