O artigo mostra que a certificação de agentes de IA por auditoria amostral — checar apenas uma fração aleatória das ações e reponderar estatisticamente o resultado — só é válida se a "moeda" que decide o que auditar for mantida em sigilo perfeito perante o próprio agente, uma propriedade que os autores formalizam como "não-interferência pré-compromisso" (PNI). Em testes com um agente LLM real, uma simples injeção de prompt mencionando um aviso de auditoria visível já bastou para quebrar a certificação, e mesmo sem isso o agente conseguia detectar auditorias "silenciosas" pela latência extra que elas adicionam, exposta nos timestamps das ferramentas.
O artigo propõe o SecODD, um framework de governança em tempo de execução para agentes de Defesa Cibernética Autônoma que adapta o conceito de Operational Design Domain usado na regulação de veículos autônomos. Ele define o escopo autorizado de ações defensivas automatizadas, modela quando a intervenção humana precisa permanecer possível, e especifica condições auditáveis de devida diligência por meio de um 'Mitigation Safe Harbor', apoiado em quatro requisitos técnicos: logging à prova de adulteração, orquestração com humano no loop, playbooks de rollback e controles de transição para estado seguro.
O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.
O trabalho formaliza a diferença entre verificar que uma execução específica vazou um segredo de um modelo de linguagem e certificar que nenhuma execução dentro de um domínio de prompts jamais vazaria — mostrando que a primeira tarefa é fácil, mas a segunda é NP-completa ou pior, dependendo do modelo de decodificação. Experimentos com segredos plantados mostram que uma auditoria por amostragem de 256 prompts, sobre um domínio de 4.096, deixa passar despercebido o vazamento em 41% dos pares testados.
Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.
Em serviços de LLM cobrados por token, provedores desonestos podem manipular a geração para inflar o número de tokens de saída preservando a utilidade da tarefa — o que os autores batizam de Provider-Side Token Inflation Attack (PTIA). Um método de auditoria por sonda única, sem precisar de modelo de referência confiável, detecta esse comportamento com 85,1% de acerto médio e menos de 2% de falsos positivos, e ao aplicá-lo a 15 serviços comerciais reais de API LLM, sinalizou 7 deles como consistentes com PTIA.
O artigo aborda a governança de modelos generativos auto-adaptativos — que atualizam os próprios pesos durante a operação em produção — mostrando que essa prática invalida a premissa de validação pontual usada na gestão tradicional de risco de modelo. Na primeira parte, os autores propõem uma arquitetura de telemetria com cadeia Merkle à prova de adulteração e logging orientado a eventos; na segunda, tratam o cenário em que o próprio provedor do modelo é adversário, formalizando o "Model Hiding Problem" e catalogando seis estratégias distintas para esconder atualizações de aprendizado que deveriam disparar revisão obrigatória, com uma contramedida formal para cada uma.