Pesquisadores apresentam o primeiro estudo sistemático de um novo tipo de ataque de privacidade contra modelos de aprendizado profundo atualizados continuamente: a inferência de 'pertencimento temporal', que tenta descobrir não apenas se uma amostra foi usada no treinamento, mas quando isso ocorreu. O ataque proposto, TMIA, usa LSTMs bidirecionais para analisar como as saídas do modelo mudam ao longo de atualizações sucessivas e supera os métodos anteriores de inferência de pertencimento em testes com modelos de linguagem e de visão.
Pesquisadores propõem o PrivacyFlow, um mecanismo de defesa para agentes de IA que executam tarefas longas sobre dados pessoais e que, segundo os autores, costumam violar expectativas de privacidade do usuário ao vazar informação fora de contexto. A solução separa o planejamento de privacidade da execução da tarefa, simulando com antecedência o que um destinatário poderia inferir a partir de cada fluxo de dados planejado, antes de decidir executar, minimizar ou bloquear a ação.
Pesquisadores apresentam o SparseBleed, o primeiro ataque de inferência de atributos a nível de hardware que contorna defesas de privacidade consideradas estado da arte, explorando o fato de que otimizações de esparsidade em aceleradores de IA (AVX2/AVX-512/AMX da Intel, Tensor Cores da NVIDIA com esparsidade 2:4, e bibliotecas como oneDNN e cuSPARSE) criam assinaturas de tempo estáveis que funcionam como proxy da confiança do modelo. Sem precisar de acesso a gradientes, pesos, rótulos ou traços de energia, o ataque recupera com 99,8% de acurácia o rótulo de saída verdadeiro (procedimento cirúrgico) em um modelo de saúde treinado sobre dados Texas-100X, usando apenas uma única consulta.
Pesquisadores mostram que, em assistentes que combinam um modelo pequeno no dispositivo com um LLM na nuvem via decodificação colaborativa, o transcript de mensagens trocadas durante a geração pode revelar conteúdo privado que nem a pergunta pública nem a resposta final jamais expõem — em um teste com um segredo plantado, rascunhos privados de decodificação especulativa rejeitados pelo modelo da nuvem ainda assim enviaram o segredo para fora do dispositivo. Os autores propõem o ADLER, um protocolo de decodificação em que toda mensagem enviada à nuvem depende apenas da pergunta pública e da resposta final, acompanhado de um 'livro-razão de vazamento' que quantifica quanto cada resposta revela além do que o usuário vê.
Pesquisadores identificam e formalizam o Role Grounding Attack (RGA), em que um atacante publica, em uma plataforma social de agentes, um post citando uma conversa aninhada entre seu próprio agente e seu próprio usuário; quando um agente-vítima lê esse post e tenta memorizar a preferência expressa na conversa interna, ele perde o vínculo de contexto e atribui erroneamente essa preferência ao seu próprio usuário, em vez de ao usuário do atacante. Testado contra cinco sistemas de memória populares e seis modelos de linguagem, o ataque atinge alta taxa de sucesso tanto para manipular qual ferramenta o agente-vítima escolhe usar quanto para fazer esse agente incluir informações sensíveis do próprio usuário nos argumentos passados a uma ferramenta controlada pelo atacante.
O artigo apresenta uma formulação simplificada de ataques "robustos" de inferência de membership — aqueles que continuam funcionando mesmo quando as estatísticas do modelo ou do dataset estão bastante ruidosas — para estimação de média em distribuições Gaussianas multivariadas e distribuições de produto binário. Além da construção técnica, o trabalho funciona como um levantamento da literatura sobre o tema, cobrindo histórico, extensões e conexões com outras áreas de privacidade.
O artigo mostra que diferentes avaliadores automáticos, entre guard models e LLM-as-judge, discordam significativamente ao julgar se uma resposta de jailbreak revelou informação pessoal, especialmente em casos de divulgação indireta, parcial ou disfarçada. Para resolver isso, os autores propõem o PrivacyEvalClaw, um agente que trata avaliadores e ferramentas de análise como instrumentos que ele mesmo escolhe acionar, investigando casos ambíguos antes de emitir um veredito final auditável.
O framework TRACE mostra que manter snapshots de um LLM antes e depois de um processo de "unlearning" aproximado — usados na prática para auditoria e rollback — cria um canal lateral que permite reconstruir os próprios dados que deveriam ter sido removidos, sem qualquer conhecimento prévio sobre o conteúdo apagado. A técnica combina diferenças de embeddings entre os dois snapshots para restringir candidatos de token com um score contrastivo baseado na diferença de perplexidade entre os modelos, alcançando reconstrução de alta fidelidade em testes com os benchmarks TOFU, MUSE e WMDP.
Em arquiteturas de "split inference" onde um dispositivo processa as camadas iniciais de um modelo multimodal e envia apenas características intermediárias para um servidor na nuvem, pesquisadores mostram que um servidor honesto-mas-curioso ainda consegue inferir atributos protegidos como idade, gênero e raça a partir dessas características, mesmo quando defesas de privacidade já estão em vigor. No caso do Safe-LLaVA, que remove conteúdo biométrico das respostas finais do modelo, apenas 20 amostras rotuladas por classe bastam para recuperar entre 75% e 85% do vazamento que existiria sem proteção alguma.
O framework AgentTrace consegue descobrir qual modelo fundacional está por trás de um agente de IA de caixa-preta injetando entradas estruturalmente ambíguas que provocam falhas de serialização em interfaces rígidas de ferramentas, e depois modelando com cadeias de Markov a sequência de tentativas de correção que cada modelo usa para se recuperar desses erros. A técnica atinge 96% de acurácia de atribuição mesmo sob tentativas deliberadas de disfarçar a identidade do modelo, e consegue distinguir até variantes de uma mesma família que compartilham o mesmo tokenizador, como Llama-3 8B e 70B.
Pesquisadores mostram que métodos de aprendizado federado otimizados para dados não-IID, que compartilham "matrizes de orientação" baseadas em comportamento de gradiente dos clientes para melhorar a acurácia, criam um canal de vazamento inédito: um servidor central malicioso consegue inferir os conjuntos de rótulos de cada cliente com 50% a 84% de acurácia a partir dessas matrizes. A defesa proposta, PPFLex, substitui o servidor central único por três servidores de computação multipartidária segura (MPC) que calculam a matriz de orientação global sem que nenhum deles veja os dados individuais dos clientes, mantendo acurácia comparável ao método original.
Uma revisão sistemática de 118 artigos sobre proteção de sistemas RAG (retrieval-augmented generation) organiza as defesas por aquilo que de fato medem, não pelo que afirmam proteger, revelando lacunas graves de avaliação. Um testbed controlado dos próprios autores mostra que uma defesa que elimina 100% da cópia literal de 20 tokens ainda permite que um atacante adaptativo recupere 48,3% dos fatos privados escondidos no corpus, usando apenas três consultas.
O GeoTrace demonstra que modelos de raciocínio de ponta conseguem localizar fotos do cotidiano (sem marcos famosos ou metadados) com precisão de rua em até 25,71% dos casos (Gemini-3-Flash), combinando pistas visuais pequenas de forma encadeada. Os autores propõem o GeoShift, uma defesa que reescreve pistas visuais reveladoras antes da publicação, reduzindo a localização de rua de 25,71% para 3,81% sob o mesmo modelo.
Pesquisadores da Claroc descobriram que o recurso de compartilhamento de conversas do Muse, assistente de IA da Meta, codificava o titulo da conversa no subdominio do link publico (ex.: home-sale-budget-9f21c8a3.cf.metaaiusercontent.com), tornando esses links descobriveis via consulta de DNS passivo. Com uma unica consulta a um servico comercial de DNS passivo, os pesquisadores enumeraram 6.800 links e encontraram informacoes pessoais e empresariais sensiveis nunca destinadas a divulgacao publica. A Meta suspendeu o recurso de compartilhamento enquanto avalia mudancas de design.
Uma comparacao controlada entre fine-tuning direto, DP-SGD e geracao de dados sinteticos mostra que reescrita de registros medicos guiada por instrucoes sensiveis a unicidade oferece o melhor equilibrio entre capacidade e privacidade, superando tanto o fine-tuning cru (mais vazamento) quanto o DP-SGD (mais seguro, mas com forte perda de desempenho). O vazamento e medido injetando 'canarios' -- registros artificiais rastreaveis -- nos dados de treino.
O framework resolve um problema metodologico em pesquisa de privacidade: avaliacoes de ataques contra modelos de linguagem divididos (split learning) nao sao comparaveis entre si quando cada estudo usa acesso, pesos e dados diferentes. Em um experimento controlado com GPT-2, dar ao atacante acesso a gradientes de treino elevou a recuperacao exata de documentos inteiros de 13,71% para 37,77%, uma diferenca estatisticamente acima do limiar definido a priori pelos autores.
O ataque MaliciousSGD permite que um participante de aprendizado federado vertical recupere rótulos privados mantidos por outra parte, manipulando seu próprio otimizador local sem alterar as mensagens trocadas com o servidor — o que torna defesas baseadas em perturbação de gradiente ineficazes. Os autores propõem uma defesa que detecta a assinatura estatística desse ataque nos embeddings recebidos e neutraliza apenas o participante malicioso.
Pesquisadores demonstraram que um atacante com acesso físico a um dispositivo de borda pode captar emanações eletromagnéticas durante a inferência de um LLM local e reconstruir, sem tocar no software, tanto os tokens gerados quanto o prompt original do usuário. No LLaMA-3.2-1B-Instruct rodando em um Raspberry Pi 5, a técnica atingiu 97,2% de acerto na identificação de palavras-chave sensíveis geradas pelo modelo.
Pesquisadores unificaram cinco variantes de ataques de inferencia de pertencimento (membership inference) em caixa totalmente fechada ('no-box') sob um unico framework de distancia ponderada, aplicado a dados sinteticos de expressao genica gerados por um autoencoder variacional condicional a partir do The Cancer Genome Atlas. A estrategia de ponderacao por residualizacao espectral elevou significativamente a eficacia do ataque, levantando duvidas sobre a protecao de privacidade real oferecida por dados sinteticos nesse dominio.
Pesquisadores quantificam quanto um atacante posicionado no ponto de divisao de um esquema de split learning consegue reconstruir do texto original de treino ao interceptar ativacoes e gradientes, medindo tanto a taxa de recuperacao por token quanto por documento inteiro. Em GPT-2, apenas ativacoes permitem recuperar 94,20% dos tokens, mas somar os gradientes eleva a reconstrucao exata de documentos completos de 13,71% para 37,77%, e mesmo uma defesa dedicada ainda deixa de 83% a 91% dos tokens recuperaveis individualmente.
Pesquisadores apresentam o Whiteout, uma ferramenta prática que impede LLMs de reproduzir informações pessoais sensíveis de indivíduos específicos — datas de nascimento, telefones, endereços — memorizadas a partir de dados de treinamento não filtrados. Em vez de recorrer a unlearning, que tende a remover informação além do necessário e degrada a utilidade do modelo, o Whiteout sobrescreve os dados reais com amostras de ofuscação cuidadosamente desenhadas, mediante solicitação do próprio indivíduo. Os autores testam a ferramenta contra modelos de diferentes tamanhos e fabricantes, incluindo um modelo OpenAI amplamente usado, e contra ataques de caixa-preta (jailbreaking) e caixa-branca (relearning, quantização), reportando impacto mínimo na utilidade geral do modelo.
Pesquisadores propoem Locket, um framework que treina multiplos adaptadores LoRA, cada um codificando uma politica de acesso diferente (revelacao completa, redacao parcial de PII ou privacidade diferencial), e usa um modulo de roteamento que so ativa o adaptador de revelacao completa quando um token de entrada valido esta presente no prompt. Sem o token correto, o modelo roteia automaticamente para o adaptador que redige ou sanitiza conteudo sensivel, mantendo utilidade proxima a de um modelo sem nenhuma defesa quando o acesso e autorizado.
O artigo investiga como a quantizacao pos-treino -- reduzir a precisao numerica de pesos e ativacoes -- altera a eficacia de ataques de inversao de modelo, que reconstroem dados sensiveis de treino ou de inferencia a partir das saidas do modelo. Usando um limite teorico sobre a mudanca de informacao mutua induzida pela quantizacao e um metodo de quantizacao sensivel a privacidade que aloca bits por importancia da tarefa, os autores encontram sensibilidade pronunciada em 4 bits e mostram, em reconhecimento facial, de palma da mao e de iris, que e possivel reduzir significativamente o sucesso de ataques de inversao com perda controlada de acuracia.
Ataques de inferência de associação (que tentam determinar se um dado específico fez parte do conjunto de treinamento de um modelo) tradicionalmente exigem treinar modelos de referência auxiliares — algo caro demais para replicar contra modelos grandes modernos. Pesquisadores mostram que consultar o próprio modelo-alvo sobre pontos de dados vizinhos ao exemplo investigado recupera a mesma calibração sem nenhum treinamento adicional, obtendo sinal de associação competitivo a custo praticamente zero.
Um novo benchmark com 60 mil interações e quase 2.900 execuções multiagente mostra que um observador passivo, olhando apenas metadados de pacotes cifrados (tamanho, direção, tempo, rajadas), consegue identificar o modelo de LLM usado, a categoria do prompt e até a tarefa executada por sistemas multiagente. A fingerprinting de modelo chega a 97,7% de acurácia balanceada, mesmo sob reformulação de prompt e mudanças de temperatura.
O estudo mostra que qualquer entidade com presença pública online vaza fatos que nunca declarou explicitamente, porque modelos de linguagem tornam barata a inferência a partir de informação dispersa. Os autores separam “acurácia de leitura” de “taxa de vazamento real”, constroem um analisador local de 106M de parâmetros que nunca gera texto e certifica cada resposta, e mostram que uma defesa que reescreve fatos de forma mais genérica esconde vazamentos a 40% menos custo de edição do que simplesmente deletar informação.
Pesquisadores de Harvard construíram o Priva-See, um sistema baseado em LLM que simula como empresas de adtech poderiam usar IA para inferir características sensíveis de usuários a partir de dados parciais coletados por apps de celular (fotos, mensagens, calendário). Em um estudo com 465 participantes aprovado por comitê de ética, o sistema fez inferências invasivas de privacidade mesmo tendo acesso a apenas um subconjunto dos dados do usuário, o que levou os autores a recomendar mudanças em como os sistemas operacionais móveis pedem consentimento de acesso a dados.
O CROSS-MAP é um framework bidirecional que protege a privacidade de dados enviados a APIs de LLM substituindo o conteúdo semântico original por conteúdo alternativo, mas preservando a estrutura de que o modelo precisa para raciocinar, e depois reconstrói a resposta correspondente ao pedido real do usuário. Modelos locais treinados com otimização multiobjetivo — maximizando divergência semântica no mapeamento e minimizando inconsistência na recuperação — reduziram o sucesso de ataques de reconstrução de texto em múltiplos cenários, mantendo utilidade superior a baselines anteriores.
Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.
Um estudo sistemático de quatro fronteiras de confidencialidade em sistemas de LLM local (carregamento de modelo, memória em tempo de execução, persistência do wrapper e interface de servimento) encontrou uma falha de autorização não documentada no llama.cpp que permite a um cliente autenticado restaurar o estado de conversa salvo de outro usuário, com sucesso em 200 de 200 tentativas controladas. Os pesquisadores também mostram que texto puro do prompt sobrevive na memória após a inferência e que o cache compartilhado de prefixo cria um oráculo de temporização explorável remotamente.
Pesquisadores mostram que um modelo de localização humana originalmente treinado com dados de Channel State Information (CSI) -- que exige hardware e drivers especiais -- pode ser reaproveitado para inferir posição a partir de RSSI, a métrica de intensidade de sinal Wi-Fi disponível em praticamente qualquer dispositivo IoT sem permissões elevadas. O modelo atingiu cerca de 80% de confiança na detecção de movimento humano em um ambiente real testado.
Um novo benchmark chamado PriMobiBench mede o quanto agentes de GUI móvel baseados em modelos de visão e linguagem (VLMs) vazam informação privada ao interpretar screenshots de tela para automatizar tarefas em smartphones. Usando um dataset de 2.960 instâncias de privacidade embutidas em execuções reais de 16 apps, os autores mostram que VLMs conseguem extrair diretamente dados sensíveis com até 82,5% de sucesso e ainda inferir perfis de usuário a partir de evidência visual agregada com cerca de 70% de sucesso.
Pesquisadores demonstraram três ataques — Collaborative Workspace Lure, Semantic Obfuscation Attack e Channel Decoupling Attack — que extraem dados privados de agentes pessoais de IA sem depender de injeção de prompt clássica, contornando defesas baseadas em prompts de sistema, treinamento e checagem de consentimento. Em resposta, os mesmos autores propõem o FLOWSEAL, um mecanismo de controle de fluxo de informação aplicado fora do contexto do LLM, que reduz a taxa de vazamento contra o ataque mais eficaz de 52,2% para 0,5% sem prejudicar a utilidade do agente.
O CIG-MIA é um novo ataque de inferência de associação (membership inference) contra sistemas de geração aumentada por recuperação (RAG), capaz de determinar se um documento específico está presente na base de conhecimento privada de um sistema, mesmo sob acesso apenas textual de caixa-preta. Testado no dataset Natural Questions, o ataque atinge AUC de 0,99 no cenário com acesso a probabilidades internas (gray-box) e 0,93 no cenário totalmente de caixa-preta, superando ataques anteriores baseados em prompts diretos de associação ou similaridade de resposta.
O artigo mostra que modelos de atribuição de autoria conseguem reidentificar autores de textos anonimizados, inclusive transcrições de reuniões e ligações, a partir apenas do estilo de escrita, mesmo depois de removidos identificadores explícitos. Os autores propõem reescrever o texto com um LLM guiado por um perfil estilístico compacto para suprimir esses marcadores, reduzindo o sucesso da atribuição de autoria em 60-70% sem destruir a legibilidade, superando abordagens de privacidade diferencial que sacrificam demais a qualidade do texto.
O GraphProfiler demonstra que perfiladores baseados em LLM conseguem inferir atributos sensíveis como idade, renda e ocupação a partir da agregação de pistas espalhadas em posts aparentemente inofensivos, com taxa de sucesso de até 86,7%. Diferente de perfiladores anteriores, o sistema rastreia cada inferência até o post de origem, permitindo mostrar que remover os poucos posts realmente reveladores neutraliza o ataque de forma muito mais eficiente do que apagar posts aleatórios.
Esquemas leves de privacidade para inferencia em LLM transformam localmente embeddings em texto claro para embeddings ofuscados via substituicao um-para-um, resistindo a ataques classicos de frequencia de token e inversao de embedding, mas sem garantia criptografica formal. O ataque Proxy Manifold Alignment (PMA) trata o fluxo de vetores ofuscados como uma "lingua" desconhecida e usa Word2Vec para modelar padroes de coocorrencia tanto no fluxo ofuscado quanto num corpus publico, alinhando as duas estruturas geometricas resultantes para mapear vetores ofuscados de volta ao texto original, superando outros ataques do estado da arte na taxa de recuperacao de texto claro.
Pesquisadores propõem o PrivateHub, um modelo de difusão treinado com aprendizado contrastivo para gerar versões sintéticas de fluxos de dados multi-sensor que escondem atividades privadas do usuário sem comprometer a detecção de aplicações não-privadas. A abordagem ataca diretamente o problema da inferência cruzada entre sensores, um vetor de vazamento de privacidade que técnicas tradicionais como privacidade diferencial e filtragem por regras não conseguem mitigar. Em testes com três datasets reais, o método reduziu a acurácia de inferência de aplicações privadas em 40 a 50%, mantendo-se robusto mesmo quando o atacante retreina seu modelo diretamente sobre os dados sintéticos.
Pesquisadores mostram que, mesmo sem acessar dados brutos de sensores, um servidor de aprendizado federado pode identificar qual veículo enviou cada atualização de modelo apenas analisando os gradientes/pesos transmitidos, com acurácia próxima de 100%. O estudo usa dados de sensores inerciais (IMU) do benchmark HAR como proxy para telemetria veicular e testa uma defesa de recorte de gradiente combinado com ruído gaussiano (privacidade diferencial), que derruba a taxa de identificação para quase aleatória com perda de acurácia do modelo abaixo de 5%. Os autores também apontam o uso de ensembles de FL como defesa estrutural complementar, sem custo de ruído.
Pesquisadores mostraram que agentes de LLM personalizados que armazenam apenas um "modelo do usuário" compactado (em vez do texto original) não são tão privados quanto se supunha. O ataque UMPeek, por sondagem adaptativa guiada por hipóteses, consegue reconstruir informações privadas do usuário observando apenas o comportamento visível do agente, sem acesso a registros brutos ou ao estado interno. O método foi validado tanto em benchmarks quanto em sistemas reais em produção, superando ataques existentes e resistindo a defesas aplicadas no nível da resposta.
Pesquisadores formalizam e demonstram 'ataques de inferencia de contexto': tecnicas que revelam o conteudo de dados sensiveis carregados silenciosamente no contexto de um agente de IA (por exemplo, registros medicos ou financeiros buscados por chamadas de ferramentas), sem precisar induzir o modelo a divulgar o conteudo diretamente. Uma unica estrategia de ataque atinge ate 100% de sucesso em conjuntos pequenos de candidatos e mantem alta eficacia mesmo quando o atacante nao conhece o template do contexto ou so tem acesso via um modelo substituto.
Pesquisadores apresentam o primeiro framework de ataque de inferencia de pertencimento (membership inference) especificamente desenhado para modelos de texto-para-fala (TTS) ajustados finamente sobre vozes privadas. Testado contra tres modelos comerciais de ponta (CosyVoice2, F5-TTS e XTTS-v2), o ataque atinge AUC acima de 0,80 -- chegando perto de 1,0 em cenarios favoraveis -- tanto para identificar se um falante especifico esteve nos dados de treinamento quanto se um trecho de fala especifico foi usado.
O ataque ProjRes (publicado no S&P 2026) consegue distinguir se um dado específico participou do treinamento de um LLM em aprendizado federado apenas observando o resíduo de projeção entre a representação candidata e o subespaço formado pelos gradientes visíveis ao servidor — sem acessar as saídas do modelo. O FISGuard neutraliza esse ataque fixando um subespaço de representação de baixa dimensão construído a partir de dados públicos, derrubando a AUC do ProjRes para próximo de 0,5 (equivalente a chute aleatório) com pouca perda de desempenho.
O aiXamine é uma plataforma de avaliação black-box que testa simultaneamente segurança, privacidade e alinhamento de segurança em LLMs, rodando 46 testes automatizados de red-teaming por modelo. Em mais de 5.000 execuções contra 120+ modelos, os autores encontraram uma 'taxa de segurança' (mais alinhamento gera mais recusas indevidas), privacidade quase independente das demais dimensões, e um colapso catastrófico de robustez em modelos destilados sem correção on-policy.
Pesquisadores demonstram um ataque onde conteúdo aparentemente relacionado à tarefa engana modelos DeepSeek e Claude a incluírem atributos protegidos (dados pessoais, credenciais) como argumentos de chamadas de ferramenta 'legítimas', mesmo com políticas de privacidade no prompt. Em benchmark controlado com 120 chamadas, a taxa de vazamento variou de 20,8% a 75% conforme o modelo, mostrando que políticas de privacidade em texto de prompt não bloqueiam o problema de forma confiável.
CacheTracer é uma técnica de medição que explora a reutilização de cache de prefixo em serviços de LLM como canal lateral para detectar quando dois revendedores de API distintos, na prática, compartilham o mesmo provedor de infraestrutura por trás dos panos. Testado contra 39 endpoints reais com 1,1 milhão de requisições, o estudo encontrou compartilhamento de cache em 37,1% dos pares analisados e uma hierarquia de dependência de até sete camadas.
Pesquisadores identificaram três canais distintos pelos quais gradientes compartilhados durante o treinamento federado de LLMs baseados em transformers vazam o texto original de treinamento, e propuseram o AEGIS, uma defesa leve que neutraliza os três ao mesmo tempo sem mudar a arquitetura do modelo. O trabalho, aceito na NDSS 2027, reduziu a taxa de recuperação de tokens a quase zero em 11 modelos e seis conjuntos de dados, inclusive contra atacantes adaptativos que conhecem a defesa.
Um grupo de pesquisadores japoneses propôs combinar duas técnicas de proteção — zerar aleatoriamente parte dos elementos do gradiente e cifrar as imagens de treinamento com chaves únicas por cliente e por imagem — para dificultar ataques de reconstrução de imagem em aprendizado federado com Vision Transformers. O método reduziu a informação visual recuperada pelo ataque APRIL sem adicionar perda de desempenho além da já causada pela própria cifragem.
Pesquisadores demonstraram que a simples presença de dados sensíveis (como números de cartão ou de seguridade social) no contexto de um LLM introduz correlações ocultas em respostas completamente benignas do modelo, permitindo reconstruir esses dados mesmo quando o modelo se recusa corretamente a repassá-los se pedido diretamente. Em oito modelos proprietários testados, segredos de 2 dígitos foram reconstruídos com precisão quase perfeita e segredos de 4 dígitos com 82% de acerto exato, e um adversário treinado com RL conseguiu extrair números completos de seguridade social de um agente em estilo de produção.
Um novo método de inversão de embeddings, batizado DAEI, consegue reconstruir texto original a partir de vetores de embedding que foram deliberadamente protegidos com ruído gaussiano — a defesa de privacidade mais comum contra ataques de inversão. O truque técnico é treinar um denoiser não supervisionado que remove o ruído de proteção antes de aplicar a inversão generativa, contornando o que os autores chamam de "armadilha do ruído duplo". Os ganhos relatados (até 154% em BLEU sobre a linha de base) sugerem que perturbação gaussiana isolada não é suficiente para proteger embeddings liberados publicamente.
O artigo mostra que a técnica de Geometric Data Perturbation (GDP), usada para aprendizado colaborativo preservando privacidade sem múltiplas rodadas de comunicação, pode ser quebrada quando o analista central conluia com alguns participantes: a matriz de âncoras compartilhada, necessária para alinhar as representações transformadas de cada participante, permite reconstruir exatamente os dados privados de participantes não coniventes. Como defesa, os autores propõem perturbar apenas a matriz de âncoras (em vez dos dados privados), o que preserva mais utilidade para o mesmo nível de vazamento medido.
O paper mostra que um adversário pode reforçar a inferência de atributos privados de uma pessoa apenas escolhendo quais dos seus posts públicos e autênticos expor a um modelo de inferência, sem alterar nenhum conteúdo. Os autores validam o ataque com testes estatísticos rigorosos em perfis sintéticos e no dataset PAN15, e implementam uma auditoria on-device em um Pixel 10 com atestação criptográfica para detectar esse tipo de manipulação.
Uma revisão sistemática consolida cinco linhas de pesquisa que, de forma independente, inverteram o uso de perturbações adversariais: em vez de atacar modelos de IA, dados, criadores e plataformas as usam para proteger conteúdo visual contra reconhecimento indevido, treinamento não autorizado, edição maliciosa e automação de agentes. Os autores concluem que a maioria dessas proteções ainda é validada só contra adversários estáticos ou fracamente adaptativos, com pouca evidência fora de benchmarks controlados.
Serviços de LLM em nuvem processam rotineiramente prompts sensíveis, e defesas de ofuscação como ObfusLM, SentinelLMs, TextObfuscator e DPNR prometem mitigar esse risco transformando a representação do prompt antes do envio. O DeepInvert, um ataque de inversão de embeddings semi-supervisionado, mostra que essa proteção é muito mais frágil do que se acreditava, recuperando 73,5% dos tokens originais contra o ObfusLM, ante 26,2% do melhor ataque anterior.
GoldenRetriever é um esquema de recuperação para RAG que roda inteiramente sob criptografia homomórfica, evitando que o servidor veja a consulta, os documentos ou os índices selecionados. Em vez do caro ranking top-k sob criptografia, o sistema usa seleção por limiar de similaridade, reduzindo a complexidade de quadrática para linear. Os autores reportam latência bem menor que abordagens anteriores baseadas em ranking, mantendo qualidade de recuperação competitiva.
TextCloak usa aprendizado por reforço para transformar textos em 'exemplos não aprendíveis' que preservam significado e naturalidade para leitores humanos, mas degradam a qualidade de LLMs treinados sem autorização sobre esse conteúdo. Diferente de métodos anteriores voltados a classificação, a técnica funciona em geração aberta e generaliza a diferentes arquiteturas de modelo. É uma ferramenta defensiva pensada para autores e editores que querem impedir scraping não consentido de conteúdo para treinamento de IA.
Pesquisadores identificam a interface de ferramentas (tool calling) como uma superfície de ataque negligenciada em agentes de IA com memória de longo prazo: uma ferramenta maliciosa pode exfiltrar dados privados de um usuário sem violar o isolamento entre contas. O ataque proposto, SPORE, consegue extrair 80% dos registros de memória quando não há limite de gatilhos, e ainda assim 47% com apenas 20 gatilhos, permitindo inclusive vincular os dados extraídos à identidade de usuários específicos.
SlotGuard é uma proposta para impedir que agentes de LLM vazem caminhos de arquivo, e-mails e credenciais capturados de saídas de ferramentas, logs de shell e leituras de arquivo que acabam anexadas ao transcript enviado ao provedor do modelo. Em vez de redação por placeholder — que os autores mostram ser frágil, perdendo referências entre turnos e destruindo estrutura útil ao raciocínio —, o sistema reescreve vínculos estruturais em "slots" tipados e substitui segredos por valores sintéticos que preservam o formato original.
O ataque CPPIA mostra que um provedor malicioso de código — distribuído via plataformas de hospedagem ou agentes de codificação — pode embutir lógica que, após o treinamento de um modelo com dados privados da vítima, permite ao atacante inferir propriedades globais confidenciais do dataset apenas consultando a API pública do modelo treinado. A técnica atinge 100% de precisão de ataque sem degradar a acurácia do modelo e sem exigir modelos sombra.
Aceito nos Proceedings on Privacy Enhancing Technologies (PoPETs) 2026, o estudo propõe três técnicas — label flipping, injeção de gatilho de backdoor e fingerprinting de modelo — para que clientes de Federated Learning verifiquem, do próprio lado, se um orquestrador desonesto está manipulando a agregação para induzir overfitting direcionado contra eles. As técnicas detectam a manipulação em apenas 1 a 2 rodadas de treinamento, com F1-score de até 0,7 em ataques de cliente único.
Pesquisadores da Cereblab descobriram que o Grok Build, ferramenta de codificação assistida por IA da xAI/SpaceX, empacotava repositórios inteiros de usuários em git bundles e os enviava para armazenamento em nuvem do Google, com retenção de dados ativada por padrão para contas não-enterprise. Após a repercussão negativa, a empresa desligou a retenção padrão, apagou os dados retidos e liberou o código-fonte (cerca de 844 mil linhas de Rust) para auditoria pública, ainda que resquícios do código de upload continuem presentes no repositório, apenas desativados.
Pesquisadores apontam uma falha conceitual nos métodos atuais de proteção de privacidade em RAG: eles tratam o risco de vazamento como uma propriedade fixa de cada documento, ignorando que o risco real depende de qual pergunta o usuário faz. O framework proposto, PA-HDP, avalia o risco dinamicamente por consulta e aplica privacidade diferencial hierárquica apenas ao conteúdo que se torna sensível naquele contexto específico.
O trabalho propõe NFSA, um protocolo de agregação segura para federated learning que combina Shamir's Secret Sharing com PRF aditiva de duas partes para eliminar a necessidade de um servidor central repassar segredos entre os participantes, reduzindo overhead de comunicação e a superfície de risco associada a esse repasse. Os autores reportam ganhos de até 100x em eficiência de comunicação e redução de até 75% no tempo de computação do cliente em relação a esquemas anteriores.