Inferência dividida de LLMs multimodais vaza atributos sensíveis mesmo com defesas de privacidade ativas
Em arquiteturas de "split inference" onde um dispositivo processa as camadas iniciais de um modelo multimodal e envia apenas características intermediárias para um servidor na nuvem, pesquisadores mostram que um servidor honesto-mas-curioso ainda consegue inferir atributos protegidos como idade, gênero e raça a partir dessas características, mesmo quando defesas de privacidade já estão em vigor. No caso do Safe-LLaVA, que remove conteúdo biométrico das respostas finais do modelo, apenas 20 amostras rotuladas por classe bastam para recuperar entre 75% e 85% do vazamento que existiria sem proteção alguma.
A premissa de privacidade da inferência dividida (split inference) é intuitivamente atraente: se a imagem bruta do usuário nunca sai do dispositivo, e o que é enviado ao servidor são apenas "características" numéricas abstratas processadas pelas primeiras camadas do modelo, então a privacidade estaria preservada mesmo que o servidor seja curioso ou mal-intencionado. O problema, como o estudo demonstra, é que essas características intermediárias ainda carregam informação suficiente para que um servidor com um classificador adequado — mesmo um classificador simples, treinado com poucos exemplos rotulados — recupere atributos sensíveis que o usuário jamais pretendeu compartilhar.
A contribuição metodológica central do trabalho é a "curva de recuperação": em vez de medir privacidade de forma binária (vazou ou não vazou), os autores quantificam qual fração do vazamento total (o que um classificador teria acesso a dados completamente desprotegidos) um servidor adversarial consegue recuperar em função de quantas amostras rotuladas ele precisa coletar — passando de zero amostras (que ainda assim pode vazar algo) até um conjunto de rótulos completo. Essa métrica expõe uma limitação central das avaliações anteriores de privacidade em MLLMs: elas costumavam medir apenas se a resposta final do modelo recusava revelar o atributo, ou se um classificador fixo falhava — ambas métricas subestimam um adversário adaptativo que pode treinar seu próprio classificador sobre as características recebidas.
O resultado mais revelador do estudo envolve o Safe-LLaVA, um modelo desenhado especificamente para proteger privacidade removendo conteúdo biométrico de suas respostas em linguagem natural. Mesmo com essa proteção funcionando corretamente no nível da resposta textual, as características intermediárias que o modelo transmite durante a inferência dividida continuam carregando informação suficiente para que, com apenas 20 amostras rotuladas por classe — um orçamento de rotulagem trivial para qualquer operador de servidor — o atacante recupere entre 75% e 85% do vazamento que existiria num pipeline totalmente desprotegido. Em outras palavras, a defesa resolve o problema no lugar errado da pipeline.
Esse achado tem implicações diretas para qualquer produto que anuncie "processamento local" ou "split inference" como garantia de privacidade para câmeras, assistentes visuais ou aplicações de saúde baseadas em MLLMs: a privacidade de fato depende de proteger a representação transmitida, não apenas a resposta final apresentada ao usuário. Defesas que atuam apenas na saída do modelo — como filtrar menções a atributos sensíveis no texto gerado — dão uma falsa sensação de segurança, já que um servidor adversarial pode simplesmente ignorar a resposta do modelo e treinar seu próprio classificador diretamente sobre as características intermediárias que já tem em mãos por necessidade operacional do próprio sistema.