MMPIBench mede injeção de prompt multimodal via imagem e áudio contra frameworks de agentes de IA

Frameworks de IA agêntica permitem que um modelo de linguagem planeje, mantenha memória e chame ferramentas que alcançam arquivos, e-mail e serviços reais. A maioria desses agentes também lê imagens, o que dá a um atacante uma via para inserir texto no contexto do agente sem passar pelo usuário, uma forma de injeção de prompt indireta pelo canal visual.

O MMPIBench formaliza isso como benchmark reprodutível, entregando um conjunto fixo de ataques através de seis portadores visuais, texto OCR, sobreposições, metadados EXIF, QR codes, interfaces falsas e combinações híbridas, e registrando até onde a instrução injetada avança dentro do agente: da percepção ao planejamento, até a chamada de ferramenta. Ao todo, cobriu 720 execuções distribuídas entre seis frameworks, cinco modelos de fronteira, seis portadores e quatro objetivos de atacante.

Os resultados mostram que ataques se completam em apenas cerca de 1% das execuções, mas são tentados (o modelo ao menos considera a instrução injetada) em 12,8% delas, e a diferença entre tentativa e conclusão se concentra quase inteiramente na etapa de planejamento, quando o modelo lê a instrução injetada e decide não agir sobre ela. O modelo usado pesa muito mais do que o framework para determinar se uma instrução injetada é executada: um dos modelos nunca chega a tentar um ataque e reconhece a injeção em 59,7% das execuções, enquanto outros dois tentam agir em 23,6% dos casos. Ao estender a avaliação para áudio, o único outro canal perceptivo bruto aceito por modelos de fronteira atuais, apenas dois dos cinco modelos sequer processam áudio e apenas três dos seis frameworks o entregam, mas onde o sinal chega, a taxa de conclusão do ataque sobe para 49% em média, e 75% num dos modelos.

O achado prático mais importante é que relatar apenas a taxa de conclusão de ataque subestima a exposição real: canais mais novos e menos escrutinados, como áudio, são dramaticamente menos defendidos assim que passam a ser suportados, mesmo que ainda sejam minoritários em adoção. Como boa parte da defesa atual está concentrada na etapa de planejamento, onde o modelo 'decide' não agir sobre uma instrução visual, a corrida para adicionar suporte multimodal a frameworks de agentes precisa vir acompanhada de avaliação de resistência a injeção específica para cada nova modalidade de entrada, em vez de assumir que o histórico de segurança do canal de texto ou visão se estende automaticamente para áudio ou outros canais futuros.