LLM-Attacker padroniza avaliacao de ataques de privacidade contra LLMs distribuidos e divididos entre cliente e servidor
O framework resolve um problema metodologico em pesquisa de privacidade: avaliacoes de ataques contra modelos de linguagem divididos (split learning) nao sao comparaveis entre si quando cada estudo usa acesso, pesos e dados diferentes. Em um experimento controlado com GPT-2, dar ao atacante acesso a gradientes de treino elevou a recuperacao exata de documentos inteiros de 13,71% para 37,77%, uma diferenca estatisticamente acima do limiar definido a priori pelos autores.
Arquiteturas de LLM 'divididas' (split learning) mantem o texto de entrada no lado do cliente e enviam apenas representacoes intermediarias para um servidor -- uma estrategia de privacidade adotada justamente para evitar expor o texto bruto do usuario. O problema que este artigo ataca nao e um novo ataque em si, mas a falta de rigor comparativo entre ataques de reconstrucao de texto a partir dessas representacoes: estudos diferentes usam atacantes com niveis de acesso distintos, pesos de modelo diferentes e datasets diferentes, tornando quase impossivel saber se uma defesa X e realmente melhor que uma defesa Y.
O LLM-Attacker resolve isso formalizando um protocolo: registra explicitamente as escolhas de acesso do atacante (quais mensagens ele ve, quais pesos conhece, qual dataset usa), permite que ataques compativeis reutilizem as mesmas mensagens gravadas para comparacao justa, salva as predicoes para pontuacao independente, e exige uma referencia nao defendida vinculada antes que qualquer defesa possa ser avaliada como eficaz -- evitando o problema comum de uma defesa parecer boa apenas porque foi comparada contra um ataque fraco.
O experimento controlado com GPT-2 ilustra bem por que esse rigor importa: ao adicionar acesso a gradientes retornados durante o treinamento (um nivel de acesso ao atacante maior do que apenas ver as representacoes finais), a recuperacao de tokens individuais subiu de 94,20% para 97,38%, mas o numero mais impactante e a recuperacao de documentos inteiros e exatos, que saltou de 13,71% para 37,77% -- um salto quase triplo, com o intervalo de confianca de 95% ficando acima do limiar de duas pontos percentuais definido antes do teste, o que indica um efeito real e nao ruido estatistico.
Na pratica, isso serve de alerta para qualquer arquitetura de inferencia ou treinamento distribuido de LLM que dependa de 'dividir' o modelo entre cliente e servidor como estrategia de privacidade: o nivel de acesso do atacante aos sinais de treinamento (gradientes, nao apenas ativacoes) muda drasticamente o risco de vazamento, e comparar defesas sem fixar esse nivel de acesso de forma explicita e metodologicamente enganoso. Equipes avaliando ou publicitando garantias de privacidade para LLMs distribuidos deveriam adotar esse tipo de protocolo de avaliacao antes de declarar uma defesa como suficiente.