Pesquisadores da TU Darmstadt e colaboradores propõem o LightSplit, uma técnica leve de split learning que aplica uma projeção aleatória ortogonal fixa na camada de corte entre cliente e servidor, reduzindo comunicação e, ao mesmo tempo, dificultando ataques de reconstrução que tentam recuperar dados originais a partir das ativações transmitidas. Contra o ataque de reconstrução mais forte testado, a técnica reduziu a similaridade estrutural (SSIM) da reconstrução em até 87,3% e cortou a taxa de reidentificação de sujeitos em mais da metade, com perda de acurácia limitada.
Fonte ↗O framework resolve um problema metodologico em pesquisa de privacidade: avaliacoes de ataques contra modelos de linguagem divididos (split learning) nao sao comparaveis entre si quando cada estudo usa acesso, pesos e dados diferentes. Em um experimento controlado com GPT-2, dar ao atacante acesso a gradientes de treino elevou a recuperacao exata de documentos inteiros de 13,71% para 37,77%, uma diferenca estatisticamente acima do limiar definido a priori pelos autores.
Fonte ↗Pesquisadores quantificam quanto um atacante posicionado no ponto de divisao de um esquema de split learning consegue reconstruir do texto original de treino ao interceptar ativacoes e gradientes, medindo tanto a taxa de recuperacao por token quanto por documento inteiro. Em GPT-2, apenas ativacoes permitem recuperar 94,20% dos tokens, mas somar os gradientes eleva a reconstrucao exata de documentos completos de 13,71% para 37,77%, e mesmo uma defesa dedicada ainda deixa de 83% a 91% dos tokens recuperaveis individualmente.
Fonte ↗