PAGE404 quebra isolamento multi-tenant do GH200 e consegue estimar o tamanho de prompts de LLM por canal lateral termico/de migracao
Pesquisadores identificaram dois canais laterais na superchip Grace Hopper (GH200) da NVIDIA, que integra CPU e GPU em um dominio de memoria unificado com migracao automatica de paginas: um baseado nos contadores de acesso compartilhados e outro na forma como o driver UVM trata interrupcoes de migracao. Provas de conceito atingem canais encobertos de cerca de 8.500 e 8.100 bits por segundo mesmo atraves de particoes Multi-Instance GPU (MIG), que deveriam oferecer isolamento forte entre inquilinos, e o canal baseado em interrupcoes consegue identificar qual LLM esta rodando e estimar o comprimento do prompt sendo processado durante a inferencia.
O GH200 representa uma mudanca arquitetural real: ao eliminar o gargalo do PCIe com uma interconexao de alta largura de banda e coerente em cache entre uma CPU Arm de 72 nucleos e uma GPU Hopper, ele cria um dominio de memoria unificado dimensionado para cargas de IA generativa. Para otimizar isso, o hardware introduz migracao de paginas assistida por hardware: contadores de acesso monitoram quais paginas sao usadas com mais frequencia pela GPU e as promovem automaticamente da memoria do host para a DRAM da GPU, melhorando localidade sem intervencao do software.
E exatamente esse mecanismo de otimizacao que os pesquisadores transformam em canal lateral. O primeiro vetor explora a estrutura compartilhada dos contadores de acesso entre inquilinos co-localizados — como os contadores nao sao particionados por inquilino, observar seus padroes de incremento revela informacao sobre a atividade de memoria de outros processos rodando na mesma GPU. O segundo explora como o driver UVM (Unified Virtual Memory) responde a interrupcoes de migracao de pagina, criando um canal baseado em latencia que tambem escapa das fronteiras de isolamento. Os autores demonstram canais encobertos funcionais de aproximadamente 8.500 bits/s (sinalizacao por evicao) e 8.100 bits/s (sinalizacao por atraso de migracao) — velocidades suficientes para exfiltrar segredos pequenos (chaves, tokens) em segundos a minutos.
O resultado mais preocupante do ponto de vista de seguranca de IA e que ambos os canais funcionam mesmo atraves de particoes MIG (Multi-Instance GPU), o recurso que a NVIDIA comercializa especificamente como isolamento forte, garantido por hardware, entre cargas de trabalho de diferentes clientes compartilhando a mesma GPU fisica em provedores de nuvem. Alem disso, o canal baseado em interrupcoes nao serve apenas como canal encoberto deliberado: ele tambem funciona passivamente como side-channel de fingerprinting, permitindo a um inquilino nao privilegiado identificar qual modelo de linguagem especifico esta rodando na particao vizinha e estimar com boa precisao o comprimento do prompt sendo processado durante a inferencia — uma forma de vazamento de metadados sobre o uso de LLMs de terceiros sem nunca ter acesso direto aos dados.
Na pratica, isso levanta uma questao concreta para qualquer provedor de nuvem ou empresa que aluga fracoes de GH200 via MIG para servir modelos de multiplos clientes ou cargas de trabalho sensiveis na mesma GPU fisica: a garantia de isolamento vendida pelo MIG nao cobre os canais laterais relacionados a gerenciamento de memoria heterogenea introduzidos por essa nova arquitetura, e informacoes sobre qual modelo um vizinho esta executando e quanto texto esta processando podem ser inferidas sem qualquer violacao formal do particionamento. Ate que a NVIDIA ou os provedores de nuvem implementem mitigacoes (como particionamento dos contadores de acesso por inquilino ou jitter nas respostas a interrupcoes de migracao), cargas de trabalho de inferencia de LLM multi-tenant em hardware Grace Hopper devem ser tratadas como potencialmente observaveis por vizinhos hostis na mesma maquina fisica.