Pesquisa em IA offline na borda encontra falha grave: pacote de conhecimento envenenado passa por todas as verificações de assinatura
Avaliando mecanismos de confiança para RAG local rodando totalmente offline em um Raspberry Pi 5, pesquisadores descobrem que seus pacotes de conhecimento assinados e versionados — o canal de atualização proposto para dispositivos sem conectividade constante — podem ser envenenados sem quebrar nenhuma verificação de assinatura ou hash, desde que o atacante consiga assinar o pacote corretamente. Em 30 perguntas antes respondidas corretamente, as respostas corretas caíram a zero após a injeção, com 14 delas retornando exatamente a resposta maliciosa inserida.
O artigo propõe um framework para confiar em sistemas de IA generativa que operam localmente em dispositivos de borda (edge) sem conectividade constante com a nuvem — cenário comum em IoT industrial, dispositivos médicos remotos ou equipamentos em áreas sem rede estável. Os autores definem uma taxonomia de regimes de conectividade (de C0, sempre conectado, a C4, totalmente isolado) e avaliam, em um Raspberry Pi 5 rodando RAG (retrieval-augmented generation) local com modelos Qwen2.5 de diferentes tamanhos, como validar atualizações de conhecimento quando não há como consultar um servidor central em tempo real.
A solução de atualização proposta são pacotes de conhecimento assinados digitalmente e versionados, que podem ser transferidos fisicamente ou por uma conexão intermitente e verificados localmente sem precisar de consulta online. Um filtro de verificação baseado em escore de recuperação detecta lacunas de conhecimento com alta precisão (AUROC de 0,97) para perguntas totalmente fora do domínio, embora tenha desempenho bem mais fraco (0,68) para perguntas dentro do domínio mas sem resposta. Um validador determinístico de saída também converte respostas malformadas em recusas explícitas sem perder respostas corretas.
O achado mais sério, porém, é sobre o próprio mecanismo de confiança: assinatura e verificação de hash sozinhas aceitam seis de nove ataques de atualização testados, que só são rejeitados quando camadas adicionais de verificação são aplicadas. Mas mesmo com verificação em camadas, um pacote validamente assinado e envenenado passa por todas as checagens do sistema — porque a assinatura garante apenas que o pacote vem de quem tem a chave privada, não que o conteúdo dentro dele é legítimo. No teste prático, isso teve efeito devastador: das 30 perguntas que o sistema respondia corretamente antes da injeção, nenhuma continuou correta depois, e 14 passaram a retornar exatamente a resposta maliciosa inserida pelo atacante.
O resultado expõe um erro conceitual comum em design de segurança: tratar assinado corretamente como sinônimo de confiável, quando na verdade a assinatura só atesta a origem declarada do pacote, não a integridade do seu conteúdo em relação à verdade. Para qualquer sistema de IA que dependa de um canal de atualização de conhecimento — seja um pacote de RAG offline, um plugin ou uma base de regras — a lição é que a cadeia de confiança precisa incluir alguma forma de validação de conteúdo (revisão, assinatura por múltiplas partes, ou verificação cruzada), e não apenas verificação criptográfica de proveniência, sob risco de criar um canal de atualização que parece seguro mas na prática permite envenenamento completo e silencioso do sistema.