AdvGuard detecta tentativas de extrair o system prompt mesmo quando o ataque é disfarçado em várias consultas separadas
O AdvGuard ataca o vazamento de system prompt por consultas adaptativas e multi-turno, modelando relações entre perguntas sucessivas como um grafo de interação semântica e classificando padrões de extração coordenada com uma rede convolucional de grafos. Testado contra os ataques adaptativos PLeak e LeakAgent, o framework reduz o vazamento por correspondência exata para no máximo 1% nos modelos avaliados, mantendo recall de 100% em cenários multi-turno.
System prompts guardam instruções de negócio, regras de segurança e controles de acesso que empresas não querem expostos, mas um atacante de caixa-preta pode tentar reconstruí-los fazendo perguntas aparentemente inocentes e destilando o conteúdo pouco a pouco a partir das respostas. Defesas que avaliam cada pergunta isoladamente tendem a não notar esse padrão, porque nenhuma pergunta individual parece maliciosa.
O AdvGuard constrói um grafo de interação semântica delimitado entre consultas de uma mesma sessão ou de sessões relacionadas, filtra estatisticamente os componentes candidatos a fazer parte de um padrão de extração e converte esse grafo em um grafo de linha para alimentar uma rede convolucional de grafos (GCN) treinada a reconhecer os padrões multi-hop de similaridade entre consultas que distinguem uma campanha de extração coordenada de um uso legítimo do sistema. Um detector leve em nível de prompt individual complementa o mecanismo, oferecendo proteção mesmo antes que histórico suficiente de interação se acumule.
Em avaliações com cargas mistas, o AdvGuard melhora o recall em até 36% sobre a melhor baseline mantendo taxa de falsos positivos de no máximo 3,4%, e quando integrado diretamente nos loops de ataque adaptativos PLeak e LeakAgent limita o vazamento por correspondência exata a 0,00-0,01 e por substring a 0,01-0,09. Isso é relevante porque mostra que defesas estáticas, que analisam prompts isoladamente, deixam uma lacuna estrutural contra adversários que distribuem a extração ao longo do tempo — exatamente o tipo de ataque mais difícil de perceber em logs de produção sem uma camada dedicada de correlação entre sessões.