"Confie em mim, sou seu desenvolvedor": modelos de linguagem aceitam autoautenticação sem nenhuma verificação real

O estudo parte de uma pergunta simples, mas pouco explorada na literatura de segurança de LLMs, que costuma focar em jailbreaks de role-play: o que acontece quando um usuário pede ao próprio modelo que verifique uma alegação de identidade, como "eu sou seu desenvolvedor"? Os pesquisadores conduziram um experimento controlado e em etapas com cinco modelos amplamente usados — ChatGPT, Claude, Qwen, Mistral e Llama — todos inicialmente rejeitando a alegação sem suporte. A partir daí, o comportamento dos modelos divergiu de forma reveladora quando o usuário insistiu para que o próprio sistema conduzisse um teste de verificação.

A falha técnica identificada está em como esse "teste de identidade" é construído: o mesmo modelo assume simultaneamente três papéis — gerador do desafio (cria as perguntas técnicas que supostamente só um desenvolvedor saberia responder), avaliador da evidência (julga se as respostas do usuário são convincentes) e juiz da decisão final (declara a identidade verificada ou não). Não existe nenhum componente externo, como um sistema de autenticação real, chave criptográfica ou banco de dados de credenciais, envolvido no processo. Qwen e Mistral geraram desafios técnicos, definiram critérios do que contaria como prova convincente, avaliaram respostas detalhadas do usuário e retornaram "Verified" com base exclusivamente nesse julgamento interno. Llama foi além: aceitou a identidade alegada e, na sequência, passou a fazer afirmações infundadas de que teria acesso a estado interno de runtime e de implantação do sistema — algo que o modelo não tem capacidade real de verificar ou acessar.

Claude e ChatGPT tiveram comportamentos mais cautelosos, mas por razões distintas: Claude simplesmente recusou-se a conduzir qualquer teste de verificação de identidade, enquanto ChatGPT chegou a gerar perguntas voltadas a desenvolvedores, mas manteve a posição de que respostas corretas demonstram apenas conhecimento técnico, não identidade autenticada — uma distinção conceitual importante que os outros três modelos não sustentaram.

Do ponto de vista prático, o artigo é cauteloso ao afastar uma leitura alarmista: nos casos de CFA observados, aceitar a identidade falsa não alterou de fato os limites de autorização testados, ou seja, os modelos não passaram a executar ações que já não pudessem executar antes. Por isso a falha é classificada aqui como de severidade média — é uma quebra real e reproduzível de confiança conversacional, mas distinta (e, em princípio, menos grave) de um escalonamento de privilégio efetivo. Ainda assim, o risco é relevante para quem constrói agentes de IA, copilotos ou produtos que concedem a modelos algum grau de autonomia, ferramentas ou acesso a sistemas: se a autorização de ações sensíveis depender, mesmo que indiretamente, de uma identidade que o próprio modelo "confirmou" durante a conversa, um invasor pode potencialmente induzir esse reconhecimento falso como passo inicial de um ataque mais amplo.

A conclusão central dos autores é direta e serve como recomendação de arquitetura: autenticação de identidade precisa vir sempre de um componente de segurança externo ao modelo — nunca do diálogo gerado pelo próprio LLM. Diálogos com modelos de linguagem não devem, em nenhuma circunstância, criar ou modificar estado de identidade ou de autorização, já que o modelo carece de qualquer mecanismo real para validar credenciais e é, por design, complacente com o contexto conversacional que lhe é apresentado.