CAITLYN combina biblioteca de regras com síntese autônoma de defesas contra novas injeções de prompt
CAITLYN é um middleware de defesa agnóstico ao agente que ataca o 'trilema' entre eficiência, precisão contextual e adaptabilidade das defesas atuais contra prompt injection, combinando uma camada imediata de detecção baseada em regras e inferência por LLM (System I) com uma camada que monitora sinais anômalos e sintetiza autonomamente novas defesas verificadas (System II). Em um novo benchmark de técnicas de injeção emergentes, o System I isolado permaneceu vulnerável, mas o System II reduziu substancialmente a taxa de sucesso de ataque em três ambientes de agente distintos.
Defesas contra injeção de prompt em agentes de LLM historicamente enfrentam um trilema: aumentar a eficiência em tempo de execução, a precisão em distinguir instrução legítima de maliciosa, e a capacidade de se adaptar a ataques novos são objetivos que competem entre si. Uma defesa baseada só em regras é rápida mas frágil a variantes; uma defesa baseada em LLM-como-juiz é mais precisa mas cara e ainda assim não generaliza automaticamente para técnicas de ataque inéditas.
CAITLYN (Continuous Agents for Injection Threats via Lifelong Yielding Nexus) tenta resolver isso com dois sistemas complementares. O System I foca em defesa imediata contra ataques já conhecidos, organizados em uma biblioteca de dois níveis: Tier-0 com scripts de detecção baseados em regras (barato e rápido) e Tier-1 com inferência via LLM otimizada para os casos que escapam das regras (mais caro, mais preciso). O System II opera em paralelo monitorando sinais de comportamento anômalo no tráfego do agente e, quando detecta algo fora do padrão coberto pela biblioteca, tenta sintetizar autonomamente uma nova defesa verificada para aquele padrão.
Em benchmarks padrão, CAITLYN igualou o desempenho de detecção de defesas de estado da arte com overhead de tokens menor que abordagens de LLM-como-juiz — um ganho de eficiência relevante para quem opera agentes em escala. O teste mais informativo, porém, foi contra o 'Emerging', um benchmark novo dos próprios autores com técnicas de injeção inéditas por design: nele, tanto as linhas de base estáticas quanto o System I isolado permaneceram vulneráveis, confirmando que bibliotecas de regras e classificadores fixos não generalizam para ataques verdadeiramente novos.
O diferencial ficou por conta do System II, que sintetizou de forma autônoma novas capacidades de defesa e reduziu substancialmente a taxa de sucesso do ataque nos três ambientes de agente testados. Isso aponta para uma direção de defesa que se atualiza continuamente frente a ameaças emergentes, em vez de depender só de atualização manual de regras — mas também levanta uma questão em aberto que o próprio resumo não resolve: a qualidade e a segurança das defesas geradas autonomamente pelo próprio sistema, algo que times adotando esse tipo de abordagem em produção precisam auditar com cuidado antes de confiar cegamente na síntese automática.