Novo benchmark mostra que agentes de busca profunda raramente se recuperam depois de engolir uma evidencia web envenenada
O benchmark HAE-GEO testa agentes de busca aumentada por LLM (usados para decisoes de consumo) contra envenenamento de evidencias web em tres niveis crescentes de persuasao -- afirmacao direta, camuflagem contextual e corroboracao aparente por multiplas fontes coordenadas -- usando um corpus controlado de mais de 72 mil paginas limpas e 770 paginas envenenadas por nivel, cobrindo 154 marcas. Ao avaliar dez agentes, os autores encontram que o reconhecimento de evidencias suspeitas piora exatamente no nivel mais sofisticado (corroboracao aparente), e que prompts defensivos aumentam a verificacao sem necessariamente levar o agente a corrigir a recomendacao final.
Agentes de busca aumentada (deep-search) que recomendam produtos ou tomam decisoes de consumo com base no que encontram na web sao um alvo natural para GEO poisoning -- otimizacao de conteudo especificamente desenhada para ser adotada por mecanismos de busca generativos, o equivalente de SEO para a era dos agentes de IA. Benchmarks anteriores, segundo os autores, medem apenas se o conteudo manipulado foi recuperado ou endossado pelo agente, mas nao acompanham se o agente chega a desconfiar da evidencia, revisa uma conclusao ja adotada, ou se recupera antes de emitir a recomendacao final.
O HAE-GEO fecha essa lacuna rastreando a trajetoria completa, da exposicao a recuperacao, sob tres niveis de ataque progressivamente mais persuasivos: L1 e uma afirmacao manipulada direta e facil de identificar; L2 camufla a mesma afirmacao em contexto aparentemente legitimo; e L3 monta uma corroboracao aparente, com multiplas fontes coordenadas reforcando a mesma alegacao falsa, simulando consenso organico. O corpus de teste tem mais de 72 mil paginas limpas e 770 paginas envenenadas por nivel, distribuidas em oito categorias de produto e 154 marcas, e a avaliacao combina medidas comportamentais deterministicas com seis dimensoes de rubrica semantica.
Ao testar dez agentes distintos por essa trajetoria completa, os autores observam tres padroes recorrentes: primeiro, o reconhecimento de evidencia suspeita cai justamente no nivel mais sofisticado (L3, corroboracao aparente) -- ou seja, os agentes sao mais vulneraveis exatamente ao tipo de ataque que mais se parece com evidencia legitima. Segundo, dar ao agente mais capacidade de busca ativa melhora a resistencia final sem de fato melhorar o reconhecimento da evidencia envenenada -- sugerindo que o agente as vezes "acerta por sorte" ao encontrar contra-evidencia, nao porque desconfiou da fonte manipulada. Terceiro, instrucoes defensivas no prompt (pedir para o agente verificar fontes) aumentam a quantidade de verificacao feita, mas raramente convertem essa verificacao em correcao real da recomendacao final.
A implicacao pratica e relevante para qualquer produto que use agentes de IA para pesquisa de mercado ou recomendacao de compra: a defesa mais obvia (adicionar instrucoes de verificacao no prompt) tem efeito limitado contra ataques de corroboracao coordenada, porque o problema nao e falta de esforco de verificacao, mas a dificuldade do agente em distinguir consenso organico de consenso fabricado. Isso sugere que defesas eficazes provavelmente exigem sinais fora da propria janela de contexto do agente -- como reputacao de dominio ou deteccao de padroes de coordenacao entre fontes -- em vez de depender so de o modelo "pensar melhor" sobre o que esta lendo.