Framework CREO gera ataques adversariais que evoluem continuamente contra agentes de busca baseados em LLM
Pesquisadores apresentam o CREO (Contrastive Rollout Evolutionary Optimization), um framework que gera ataques adversariais contra agentes de busca baseados em LLM que precisam consultar a web aberta para responder perguntas complexas. Diferente de ataques com conteúdo malicioso fixo, a técnica evolui continuamente a estratégia de ataque através de otimização em dois níveis entre atacante e agente-alvo. Testes em benchmarks de QA multi-hop com LLMs atuais mostram que essa abordagem dinâmica supera claramente baselines estáticos de injeção de conteúdo adversarial.
Agentes de busca baseados em LLM — sistemas que navegam a web, leem páginas e sintetizam respostas para perguntas complexas de múltiplos passos — dependem estruturalmente de consultar conteúdo externo não confiável para funcionar. Essa dependência cria uma superfície de ataque óbvia: qualquer página que o agente visite e processe como evidência pode conter conteúdo desenhado para manipular sua conclusão final, um problema já discutido sob o rótulo geral de injeção de conteúdo via busca web (web-based prompt injection).
O que o CREO propõe de novo é tratar a geração desse conteúdo malicioso como um processo evolutivo e adaptativo, e não como um template fixo escrito manualmente. O framework define uma otimização em dois níveis: de um lado, uma população de estratégias de ataque evolui continuamente usando sinais evolutivos contrastivos para favorecer variações mais eficazes contra o agente-alvo; de outro, um ambiente de sandbox controlado com métricas refinadas é usado para medir precisamente onde e como o agente de busca está sendo explorado internamente, permitindo que o atacante refine a estratégia rodada após rodada, de forma análoga a um algoritmo genético aplicado à geração de conteúdo adversarial.
Essa dinâmica evolutiva é o que diferencia o CREO de ataques estáticos: um filtro ou defesa treinado para reconhecer um padrão fixo de injeção perde eficácia rapidamente contra um adversário que está constantemente testando variações e descartando as que são bloqueadas, mantendo apenas as que funcionam. Nos experimentos reportados, essa abordagem superou baselines estáticos em múltiplos benchmarks de perguntas e respostas de múltiplos saltos (multi-hop QA) contra diferentes LLMs contemporâneos usados como mecanismo de busca.
Na prática, isso importa porque agentes de busca de LLM já estão sendo integrados a produtos de pesquisa, assistentes corporativos e pipelines de automação que confiam no conteúdo recuperado da web como se fosse informação factual verificada. Um adversário capaz de evoluir continuamente suas estratégias de manipulação torna insuficientes defesas baseadas apenas em listas de padrões conhecidos ou filtros estáticos de conteúdo suspeito, reforçando a conclusão dos próprios autores de que há uma necessidade urgente de frameworks de defesa mais robustos e adaptativos para esse tipo de agente.