Falha na função de 'compaction' da OpenAI permitiu extrair o raciocínio oculto do modelo
A empresa de segurança Xint demonstrou que o recurso de compactação de conversas longas da OpenAI, pensado para economizar espaço de contexto, podia ser abusado para copiar em texto puro o raciocínio interno que o modelo normalmente devolve apenas como um item criptografado e ilegível para o usuário. A falha rompe a barreira de confidencialidade que deveria separar o processo de "pensamento" do modelo da resposta final entregue ao usuário.
Modelos de raciocínio da OpenAI trabalham um problema internamente antes de responder, e por padrão essa cadeia de raciocínio é devolvida apenas de forma criptografada — um design deliberado para impedir que usuários ou atacantes leiam o "pensamento" bruto do modelo, que pode conter informações de sistema, instruções internas ou raciocínio que a empresa prefere não expor publicamente. O recurso de "compaction", que resume automaticamente conversas extensas para economizar tokens de contexto, criou uma via lateral para essa barreira de confidencialidade.
A reportagem disponível sobre o caso é parcial e não detalha o passo a passo exato usado pela Xint para reproduzir a falha, mas o mecanismo central descrito é que o processo de compactação — que precisa de alguma forma representar ou resumir o conteúdo da conversa, incluindo trechos de raciocínio — podia ser induzido a reproduzir esse conteúdo de forma legível, convertendo efetivamente um item que deveria permanecer opaco em texto plano acessível ao usuário final.
Se confirmado, esse tipo de falha tem valor direto para quem queira fazer engenharia reversa do comportamento de segurança do modelo: examinar o raciocínio bruto pode revelar como guardrails são aplicados internamente, o que facilita a construção de jailbreaks mais precisos, além de potencialmente expor informações que a OpenAI decidiu deliberadamente não tornar públicas. O caso também ilustra um padrão recorrente em segurança de LLMs: funcionalidades de conveniência — resumir, compactar, fazer cache de contexto — tendem a introduzir superfícies de ataque que não existiam no fluxo original, porque movem ou transformam dados que deveriam permanecer dentro de um perímetro de confiança restrito.