PhishGen avalia o quão longe LLMs conseguem ir gerando sites de phishing funcionais
O estudo PhishGen testa 14 LLMs comerciais, open-source e sem censura gerando páginas de phishing a partir de prompts, medindo não só a aparência mas a funcionalidade completa do golpe (captura de credenciais) e comparando com 64 kits de phishing reais. GPT-4.1 chega a 86,3-94,1% de sucesso funcional, superando os modelos sem censura (que raramente passam de 45,4%) e, em alguns casos, até os próprios kits de phishing usados no mundo real.
A barreira tradicional para montar uma página de phishing convincente é ter habilidade de desenvolvimento web ou acesso a kits pré-fabricados vendidos em fóruns criminosos. O PhishGen investiga até que ponto LLMs eliminam essa barreira, e faz isso de um jeito mais rigoroso que estudos anteriores: em vez de avaliar só se a página parece funcionar por inspeção visual, os autores efetivamente executam o fluxo de phishing gerado, testando se a página realmente completa a captura de credenciais ponta a ponta, e comparam a fidelidade visual usando um estudo com usuários humanos reais (crowdsourcing), não apenas métricas automáticas.
O desenho experimental cobre três modalidades de entrada, sete combinações delas, e doze estratégias de reescrita para contornar salvaguardas dos modelos, aplicadas a 14 LLMs diferentes. O achado tecnicamente mais importante é a taxa de sucesso funcional completo (a página efetivamente captura a credencial): apenas 38,7% dos casos completam esse pipeline, e o principal motivo de falha é um erro ao salvar o dado roubado — ou seja, mesmo quando o LLM produz HTML/CSS/JS plausível, boa parte das páginas falha silenciosamente na etapa crítica de persistir os dados capturados, um detalhe de engenharia que a avaliação apenas visual não capturaria.
O resultado mais contra-intuitivo do estudo é que os modelos sem censura, divulgados como mais permissivos para esse tipo de uso malicioso, têm desempenho pior do que modelos comerciais mainstream contornados via reescrita de prompt: GPT-4.1 bypassado chega a 86,3-94,1% de sucesso funcional, enquanto os modelos sem censura dificilmente superam 45,4%. Isso sugere que a capacidade geral de codificação do modelo pesa mais do que a ausência de filtros de segurança para este tipo de tarefa — remover guardrails não é o fator decisivo de risco; a qualidade de geração de código do modelo é.
Na prática, isso importa porque mostra que modelos comerciais de ponta, mesmo com treinamento de segurança, continuam sendo o vetor mais eficiente para gerar phishing funcional quando as salvaguardas são contornadas via reescrita de prompt — e que a defesa baseada em detectar modelos sem censura conhecidos como indicador de risco é uma simplificação perigosa. Os autores também identificam assinaturas estruturais específicas de cada gerador que escapam das defesas de similaridade usadas hoje, abrindo caminho para detectores híbridos mais robustos.