EM POUCAS LINHAS
- O LLMON explicita quais instruções se aplicam a quais dados, mas essa distinção é aprendida, não garantida.
- Os resultados divulgados pela IBM dizem respeito a injeções indiretas estáticas.
- Os autores do BotPsy relatam 31% de respostas inseguras sob injeção de prompt, contra 46% para seu modelo de base.
- Sem protocolo comparativo documentado nos trechos recebidos, não é possível declarar qual abordagem protege melhor um mesmo agente.
Um agente pode receber uma ordem legítima e, em seguida, encontrar outra ordem escondida em um documento ou na resposta de uma ferramenta. Para não confundir as duas, uma proposta é explicitar no contexto o que é instrução e o que é dado. Outra questão é como um modelo treinado para operar ferramentas se comporta quando encontra conteúdo hostil. As publicações sobre LLMON e BotPsy ajudam a examinar essas perguntas, mas não demonstram que um agente esteja imune a injeção de prompt.
Duas publicações, duas perguntas
Em 12 de novembro de 2026, a equipe IBM Granite anunciou duas prévias experimentais derivadas de modelos base Granite 4.1, uma de 3B e outra de 8B parâmetros, treinadas para consumir e gerar texto marcado em LLMON. A equipe declara o lançamento das prévias e de um repositório com ferramentas; também ressalva que os modelos são para exploração e avaliação, não para produção. O anúncio de lançamento não equivale à verificação de acesso ou de adequação de qualquer variante a uma implantação específica.
Já a publicação de 11 de novembro de 2026 da equipe qvac apresenta o BotPsy como modelo de 0,8 bilhão de parâmetros, baseado em Qwen3.5-0.8B, para chamadas de funções e fluxos com agentes. Os autores o descrevem como adequado a execução em dispositivo, mas alertam que ele ainda comete erros e não se destina a usos de alto risco. O trecho recebido menciona arquivos de modelos e, também, usa o futuro ao falar da disponibilização de pesos; isso não basta para confirmar aqui o acesso atual a formatos específicos. As datas citadas são das publicações, não datas de realização dos experimentos.
Como o LLMON tenta separar ordens de conteúdo
Segundo a IBM, o LLMON usa etiquetas, delimitadores reservados e identificadores para vincular instruções aos dados sobre os quais elas devem atuar. A ideia é que um documento recuperado apareça para o modelo como material a examinar, não como uma fonte adicional de ordens. A marcação explicita relações que, em um contexto menos estruturado, o modelo teria de inferir. Segundo a publicação, ela complementa a identificação dos papéis da conversa, em vez de substituí-la.
Imagine, como exemplo hipotético, um agente encarregado de resumir um contrato. No trecho recebido, há uma frase exigindo que o agente abandone o resumo e envie o documento a outro endereço. O comportamento desejado é reconhecer essa frase como conteúdo do contrato, não como autorização para mudar de tarefa. Para avaliar a proposta da IBM, importa observar tanto a resposta do modelo quanto a forma como a aplicação classificou e apresentou a entrada: uma marcação incorreta pode comprometer a distinção que se pretende preservar.
Nos benchmarks citados, a IBM relata maior robustez das prévias LLMON diante de injeções indiretas estáticas, inclusive no OPI; a equipe diz que ataques adaptativos desenvolvidos ao longo de muitos turnos ainda são objeto de trabalho. Portanto, os resultados relatados não cobrem automaticamente uma sequência em que um invasor ajusta mensagens após observar o agente. A própria IBM afirma que a distinção entre instrução e dado é um comportamento aprendido, não uma garantia imposta.
O que a taxa do BotPsy mede — e o que não mede
Nos testes de injeção de prompt divulgados pelos autores do BotPsy, a taxa de respostas inseguras foi de 31%, ante 46% para seu modelo de base. A diferença favorece o BotPsy nessa avaliação relatada, mas a taxa residual impede tratar o risco como eliminado. Tampouco se pode atribuir o resultado apenas ao fato de ele ser pequeno: os autores descrevem pós-treinamento que inclui ajuste supervisionado, destilação e etapas de aprendizado por reforço. A fonte é um relato da própria equipe, não uma reprodução independente dos testes.
Os números da IBM e do BotPsy não devem virar um placar único. A IBM define robustez no OPI como a parcela de ataques em que o modelo não segue a instrução injetada; o trecho recebido sobre o BotPsy informa uma taxa de respostas inseguras sob injeção, mas não identifica ali o conjunto de ataques nem detalha o protocolo dessa medição. Assim, a comparabilidade sob condições idênticas não está demonstrada no material examinado. Parte da publicação do BotPsy não foi fornecida; não cabe concluir, a partir desse recorte, que o texto integral não traga mais detalhes. Acertar uma chamada de ferramenta em outros testes também não é a mesma coisa que resistir a uma ordem maliciosa encontrada na resposta dessa ferramenta.
Como avaliar um fluxo destinado ao Brasil
Para uma equipe que desenvolve agentes, um roteiro é identificar onde entram dados que terceiros podem influenciar, como documentos, páginas e resultados de ferramentas. Em seguida, criar situações nas quais esses dados contradigam a tarefa autorizada e registrar separadamente mudanças na resposta e ações com efeito externo. Convém incluir as ferramentas, permissões e tipos de documento do fluxo real, além de tentativas adversariais em português brasileiro. Trata-se de uma recomendação de avaliação, não de testes executados para este artigo.
No trecho disponível da publicação do BotPsy, português aparece em uma avaliação multilíngue de seguimento de instruções, não como resultado identificado de resistência à injeção de prompt em português brasileiro. A avaliação de injeções descrita pela IBM concentra-se no recorte de ataques indiretos estáticos. Os trechos examinados, portanto, não bastam para estabelecer resistência em uma aplicação brasileira; tampouco permitem descartar evidências que possam estar na parte não fornecida do texto do BotPsy.
Por fim, mesmo uma resposta que rejeite uma instrução hostil não substitui limites para o que o agente pode fazer com arquivos, mensagens ou outras ferramentas. É útil avaliar separadamente a resistência do modelo a conteúdo malicioso e a contenção das ações permitidas ao sistema; esta análise do acervo sobre pesos adulterados e OpenShell aborda proteções de outra camada. A resposta prática é condicional: separar instruções de dados tem resultados promissores relatados pela IBM em um tipo de ataque; o BotPsy apresenta melhora relatada frente à sua base, mas conserva respostas inseguras. Antes de confiar em qualquer agente, faltam avaliações do fluxo, do idioma e das consequências de suas ações.
Fontes e referências
- LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8Bhuggingface.co · Consultado em 13/11/2026
- BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Modelhuggingface.co · Consultado em 13/11/2026