EM POUCAS LINHAS
- A Ai2 anunciou o benchmark depois da submissão inicial do artigo científico.
- No teste relatado com GPT-5.4, uma mudança de prompt alterou mais da metade dos vereditos sobre os mesmos pares.
- A acurácia nas comparações com ideias geradas por IA depende de rótulos presumidos.
- Discordância entre configurações revela instabilidade mesmo sem definir qual ideia é mais original.
Uma resposta automática sobre a originalidade de uma ideia pode parecer uma triagem útil para pesquisadores. Mas o veredito continua confiável se a pergunta for formulada de outra maneira? Em 27 de outubro de 2026, a Ai2 anunciou Old Ideas, Novel Problems e disse publicar um benchmark, dados, código e um pipeline para criar novos conjuntos de avaliação. Essa é a data do anúncio, não a da primeira versão do estudo: o registro do artigo no arXiv indica submissão em 1º de outubro de 2026 e uma terceira versão em 26 de outubro. As fontes descrevem os recursos anunciados, mas não estabelecem aqui suas condições de licença nem demonstram seu funcionamento em uma aplicação brasileira.
Como os autores definiram uma ideia mais original?
Para avaliar um juiz automático, é preciso ter alguma referência para comparar sua resposta. Conforme a Ai2, os pesquisadores extraíram de pareceres do ICLR 2026 passagens que discutiam expressamente a originalidade de contribuições, em vez de tomar a aceitação de artigos como prova de novidade. No cenário chamado Human-Only, reuniram ideias humanas com sinais favoráveis e desfavoráveis à originalidade, selecionadas entre artigos nos extremos de avaliação de suas áreas. A distinção importa: um artigo pode ter qualidades ou problemas que nada dizem sobre ser pioneiro. Ainda assim, pareceres são evidência de avaliação por revisores, não uma demonstração de que toda a literatura pertinente foi examinada.
O resumo dos autores no arXiv descreve a extração desses sinais em pareceres e o pareamento com ideias produzidas por um gerador simples de linguagem. Esse outro cenário, Human+Generated, aproxima o teste do uso de juízes para avaliar propostas de IA. Segundo a Ai2, foram pareadas 154 ideias humanas selecionadas com 154 ideias geradas por IA. Os cenários não respondem exatamente à mesma pergunta: reconhecer diferenças entre ideias humanas avaliadas por revisores não garante desempenho semelhante diante de textos de um gerador.
Quanto o prompt mudou o veredito?
A comparação mais reveladora manteve os pares Human+Generated, mas alterou a instrução dada ao GPT-5.4. Um prompt informava que revisores haviam considerado exatamente uma ideia de cada par original; o outro perguntava apenas qual ideia era original. Na avaliação relatada pela Ai2, a acurácia em relação aos rótulos do conjunto caiu de 93,5% para 40,9% com o prompt mais simples, e o modelo mudou seu veredito em mais da metade dos mesmos pares. Se o material comparado é o mesmo, essa divergência mostra sensibilidade à forma de apresentar a tarefa, independentemente de qual resposta esteja correta.
Isso não significa que toda alteração de prompt cause a mesma queda. A Ai2 relata efeito menor dessa troca no conjunto Human-Only e observa que uma instrução favorável a um juiz pode prejudicar outro. O resumo do artigo relata comparações entre seis juízes e afirma que recuperação de literatura e maior orçamento de raciocínio ajudaram pouco nas condições examinadas. Não se deve converter esse achado em regra de que consultar trabalhos anteriores é dispensável: o teste compara configurações específicas de juízes, enquanto investigar originalidade científica exige considerar trabalhos relevantes da área.
Instabilidade e acurácia medem coisas diferentes
Os percentuais precisam de uma ressalva. No Human+Generated, os autores presumiram que as ideias geradas eram menos originais do que suas correspondentes humanas; esses são rótulos fracos, não verificações individuais de cada proposta gerada. Portanto, a acurácia expressa concordância com a referência adotada, não uma taxa comprovada de descoberta da verdadeira originalidade. Além disso, o gerador recebeu apenas uma área de pesquisa e a instrução de propor uma ideia, sem busca bibliográfica, ferramentas, iteração ou feedback, conforme a descrição da Ai2. O teste não caracteriza todos os sistemas de geração de hipóteses.
A Ai2 relata que um especialista examinou 30 pares Human+Generated, com seleção fortemente concentrada em casos de erro do juiz mais forte, e preferiu a ideia humana em todos eles. Essa checagem oferece contexto, mas não verifica cada rótulo do conjunto. Já a discordância entre respostas dadas ao mesmo par sob configurações diferentes pode ser observada sem presumir qual ideia vence. É por isso que uma queda de acurácia e uma inversão de veredito não são evidências intercambiáveis.
O que uma equipe de pesquisa no Brasil pode fazer?
Como procedimento de avaliação, uma equipe pode guardar as ideias submetidas ao juiz, os prompts, o contexto bibliográfico fornecido e os vereditos; depois, comparar formulações razoáveis e investigar divergências antes de filtrar propostas. Esse é um uso sugerido a partir das limitações do estudo, não um método validado pelas fontes para instituições brasileiras. Uma decisão sobre prioridade científica ainda pede exame da literatura pertinente e julgamento de especialistas no tema.
As fontes recebidas não apresentam validação específica para ideias em português brasileiro nem permitem generalizar o resultado para todas as disciplinas. Para outra discussão sobre o cuidado necessário ao interpretar uma nota de avaliação, veja o guia do acervo sobre o BenchMIRT. A resposta à pergunta inicial, portanto, é condicional: no teste relatado, mudar o prompt frequentemente mudou o julgamento; isso justifica medir a estabilidade antes de tratar um juiz automático como árbitro da novidade.
Fontes e referências
- Can we trust LLMs to judge whether a research idea is novel?huggingface.co · Consultado em 27/10/2026
- [2610.02022] Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluationarxiv.org · Consultado em 27/10/2026