Pesquisa mostra que LLMs de busca na web são manipuláveis por vazios de dados preenchidos por desinformadores
O estudo descreve o ataque de vazio de dados: atacantes publicam narrativas falsas em nichos de busca onde há pouco conteúdo confiável disponível, apostando que LLMs com busca na web vão recuperar e citar justamente esse conteúdo ao responder perguntas sobre o tema. Em testes com ChatGPT, Gemini e Sonar Pro, o conteúdo do atacante apareceu nas respostas em 31% dos casos, usando uma única página controlada pelo atacante, com pouca proteção vinda do tom da pergunta ou da escolha do modelo.
LLMs com busca na web mudaram a forma como usuários consomem informação online: em vez de uma lista de links onde o usuário avalia a credibilidade de cada fonte, o usuário recebe uma resposta já sintetizada, sem necessariamente ver de onde cada afirmação vem. Isso remove justamente os sinais que, na busca clássica, ajudam o usuário a perceber que um resultado é marginal ou pouco confiável — como a posição no ranking ou a presença de fontes concorrentes mais estabelecidas.
O mecanismo do ataque explora vazios de dados: tópicos ou perguntas específicas para as quais existe pouco conteúdo relevante e confiável indexado. Quando um atacante preenche esse vazio com uma página otimizada (usando técnicas de otimização para mecanismos geradores, análogas a SEO mas voltadas para ser citada por LLMs), o sistema de busca do LLM, tendo poucas alternativas, acaba recuperando e incorporando esse conteúdo na resposta final — e pode fazer isso citando ou até listando a página como fonte, dando a ela uma credibilidade que o conteúdo não teria em uma busca tradicional com mais concorrência de fontes.
O dado experimental central é que isso funciona com apenas uma página controlada pelo atacante, bastando posicioná-la em um vazio de dados real, e o conteúdo do atacante aparece nas respostas do LLM em 31% dos casos nas condições testadas. Os autores variaram o tom da pergunta do usuário (cético, neutro, entusiasmado) e o modelo usado (ChatGPT, Gemini, Sonar Pro) e não encontraram evidência de efeito grande de nenhum desses controles — perguntas céticas reduzem um pouco o sucesso e aumentam levemente avisos ou flags na resposta, mas não eliminam o problema.
Isso importa na prática porque estabelece os vazios de dados como uma superfície de ataque de inferência viável e de baixo custo contra LLMs com busca — um único ator, sem grande investimento de infraestrutura, pode influenciar respostas de assistentes de IA amplamente usados simplesmente identificando lacunas de conteúdo e preenchendo-as estrategicamente. Isso tem implicações diretas para desinformação em escala, já que o mesmo padrão pode ser aplicado a qualquer tema de baixo volume de busca (saúde, finanças, eventos locais), onde a ausência de fontes concorrentes facilita o domínio da narrativa do atacante.