9 publicações marcadas com esta tag.
Pesquisadores propõem o MPIDetector, que usa o próprio raciocínio em contexto (in-context learning) de LLMs para identificar instruções maliciosas escondidas em texto ou imagens, em vez de depender de assinaturas ou perplexidade. O método atinge até 90,91% de acurácia em texto, 99,28% em imagens e 99,8% de detecção contra 500 injeções altamente ofuscadas em agentes web.
Fonte ↗Pesquisadores demonstram um ataque chamado 'backdoor infection', que parte de um modelo multimodal já backdoored em uma modalidade e constrói, sem retraining, um gatilho equivalente em outra modalidade, explorando o espaço latente compartilhado do modelo. Testado em LLaVA, InternVL, Qwen-VL e Gemma, o método se mostrou mais eficiente e mais difícil de detectar do que abordagens de otimização direta de gatilho.
Fonte ↗Com o crescimento de ecossistemas de 'skills' compartilháveis para agentes de IA (pacotes de instruções, ferramentas e exemplos, muitos incluindo imagens de referência), pesquisadores mostram que instruções maliciosas podem ser disfarçadas como anotações ou rótulos de interface dentro dessas imagens. O ataque, batizado Native-Context Visual Attack, induz ações não autorizadas em todas as nove configurações de modelo testadas, com taxa de sucesso de 43,1% — 16,4 pontos percentuais acima do equivalente em texto puro.
Fonte ↗Pesquisadores identificam uma assimetria em modelos multimodais: instruções adversárias embutidas em texto têm muito mais chance de serem obedecidas do que a mesma instrução entregue como imagem ou áudio. A partir disso, propõem 'Pictionary', uma defesa sem necessidade de re-treinamento que renderiza todo conteúdo não confiável como imagem tipográfica antes de expô-lo ao modelo, reduzindo consistentemente a taxa de sucesso de ataques em dez modelos e dois benchmarks — mas alertam que esse efeito se apaga quando o modelo é ajustado com exemplos de instruções renderizadas como imagem.
Fonte ↗Um benchmark reprodutível testou seis frameworks agênticos, cinco modelos de fronteira e seis formas de embutir instruções maliciosas em imagens (texto OCR, sobreposições, metadados EXIF, QR codes, interfaces falsas e combinações), em 720 execuções. Ataques completos ocorreram em apenas 1% das execuções, mas foram tentados em 12,8%, e ao estender o teste para áudio, o único outro canal perceptivo aceito por modelos de fronteira, a taxa de conclusão do ataque saltou para 49% em média e chegou a 75% num dos modelos.
Fonte ↗O artigo demonstra que a forma como um benchmark mede a eficácia de um guardrail black-box pode inflar artificialmente sua contribuição real: quando o payload de ataque é codificado como pixels de imagem, um guardrail de texto simplesmente não bloqueia nada — é o próprio modelo alvo, por seu alinhamento, que produz todas as recusas atribuídas ao filtro. Duas variáveis não registradas por avaliações padrão — qual canal carrega o payload e que texto o harness expõe ao guardrail — bastam para deslocar o crédito de "quase zero" a "quase tudo" para o mesmo guardrail.
Fonte ↗Pesquisadores criaram o PromptShield-Home, um benchmark de cenários realistas de casa inteligente para testar se assistentes multimodais conseguem distinguir um comando genuíno de um usuário de conteúdo ambiente — fala de TV, texto na tela, uma conversa ouvida ao fundo — que apenas parece um comando. O estudo compara detectores tradicionais, um único agente multimodal e mediação multiagente, e descobre que as duas primeiras abordagens falham de formas opostas e complementares.
Fonte ↗Pesquisadores decompõem o espaço de estratégias de jailbreak multimodal em componentes atômicos estruturais, semânticos e sintáticos, cobrindo texto e imagem, e propõem o HACA (Hierarchical Atomic Combination Attack), um método que combina automaticamente essas estratégias por meio de um planejador cross-modal. O sistema atingiu taxa média de sucesso de 95,48% contra cinco MLLMs (modelos de linguagem multimodais) amplamente usados, superando abordagens artesanais anteriores.
Fonte ↗No boletim semanal ThreatsDay, entre diversas ameaças de naturezas variadas, destaca-se a técnica batizada de GhostCommit: um pull request contém uma imagem PNG aparentemente inofensiva cujo texto renderizado instrui um agente de IA de revisão de código a ler um arquivo .env, codificá-lo byte a byte e, depois do merge, exfiltrar segredos do repositório em uma sessão futura. O mesmo boletim também cobre um caso de jailbreaking de modelos de IA por ator estatal russo e vulnerabilidades introduzidas por código gerado por IA.
Fonte ↗