Decodificação colaborativa nuvem-borda entre LLMs pequenos e grandes vaza dados privados do usuário
Pesquisadores demonstram que o paradigma de decodificação colaborativa nuvem-borda — em que um modelo pequeno local processa dados privados e funde suas distribuições de próximo token com um LLM na nuvem que só vê dados públicos — ainda vaza quantidades substanciais de contexto privado, usando um novo framework de avaliação baseado em datasets de QA. A defesa proposta, CoVeil, otimiza dinamicamente o sinal transmitido durante a decodificação e reduz o vazamento em até 87,2% com perda mínima de acurácia.
O trabalho, aceito na EMNLP 2026 Findings, analisa um paradigma emergente chamado "decodificação colaborativa nuvem-borda": para permitir que aplicações como assistentes pessoais ou análise de documentos proprietários usem LLMs poderosos sobre dados privados sem enviar esses dados para a nuvem, um modelo pequeno (SLM) roda localmente no dispositivo, processa os dados privados e produz distribuições de próximo token, que são então fundidas com as previsões de um LLM na nuvem que só vê dados públicos.
Os autores (Zhang, Zou, Gu e Liu) desenvolveram um framework de avaliação com datasets de QA construídos especificamente para testar esse cenário, e mostram que a fusão de distribuições entre o modelo de borda e o modelo de nuvem ainda vaza uma quantidade substancial de informação do contexto privado — ou seja, o próprio ato de combinar as previsões, mesmo sem transmitir o dado bruto, permite reconstruir parcialmente informação sensível.
Como defesa, os autores propõem o CoVeil, um mecanismo que otimiza dinamicamente, durante a decodificação, o sinal transmitido do dispositivo de borda para a nuvem, de forma a suprimir esse vazamento e ao mesmo tempo preservar a qualidade da colaboração. Os experimentos mostram redução de vazamento de dados de até 87,2% em relação a baselines existentes, com perda de acurácia mínima.
O resultado é relevante porque paradigmas híbridos nuvem-borda vêm sendo apresentados como a resposta natural ao dilema "privacidade vs. capacidade" em aplicações de IA sobre dados sensíveis, mas este trabalho mostra que essa arquitetura não é automaticamente segura só por manter o dado bruto no dispositivo — o canal de comunicação entre os dois modelos também precisa ser tratado como uma superfície de vazamento de privacidade, e mitigado explicitamente.