Um benchmark reprodutível testou seis frameworks agênticos, cinco modelos de fronteira e seis formas de embutir instruções maliciosas em imagens (texto OCR, sobreposições, metadados EXIF, QR codes, interfaces falsas e combinações), em 720 execuções. Ataques completos ocorreram em apenas 1% das execuções, mas foram tentados em 12,8%, e ao estender o teste para áudio, o único outro canal perceptivo aceito por modelos de fronteira, a taxa de conclusão do ataque saltou para 49% em média e chegou a 75% num dos modelos.
Fonte ↗O artigo demonstra que a forma como um benchmark mede a eficácia de um guardrail black-box pode inflar artificialmente sua contribuição real: quando o payload de ataque é codificado como pixels de imagem, um guardrail de texto simplesmente não bloqueia nada — é o próprio modelo alvo, por seu alinhamento, que produz todas as recusas atribuídas ao filtro. Duas variáveis não registradas por avaliações padrão — qual canal carrega o payload e que texto o harness expõe ao guardrail — bastam para deslocar o crédito de "quase zero" a "quase tudo" para o mesmo guardrail.
Fonte ↗Pesquisadores criaram o PromptShield-Home, um benchmark de cenários realistas de casa inteligente para testar se assistentes multimodais conseguem distinguir um comando genuíno de um usuário de conteúdo ambiente — fala de TV, texto na tela, uma conversa ouvida ao fundo — que apenas parece um comando. O estudo compara detectores tradicionais, um único agente multimodal e mediação multiagente, e descobre que as duas primeiras abordagens falham de formas opostas e complementares.
Fonte ↗Pesquisadores decompõem o espaço de estratégias de jailbreak multimodal em componentes atômicos estruturais, semânticos e sintáticos, cobrindo texto e imagem, e propõem o HACA (Hierarchical Atomic Combination Attack), um método que combina automaticamente essas estratégias por meio de um planejador cross-modal. O sistema atingiu taxa média de sucesso de 95,48% contra cinco MLLMs (modelos de linguagem multimodais) amplamente usados, superando abordagens artesanais anteriores.
Fonte ↗No boletim semanal ThreatsDay, entre diversas ameaças de naturezas variadas, destaca-se a técnica batizada de GhostCommit: um pull request contém uma imagem PNG aparentemente inofensiva cujo texto renderizado instrui um agente de IA de revisão de código a ler um arquivo .env, codificá-lo byte a byte e, depois do merge, exfiltrar segredos do repositório em uma sessão futura. O mesmo boletim também cobre um caso de jailbreaking de modelos de IA por ator estatal russo e vulnerabilidades introduzidas por código gerado por IA.
Fonte ↗