EM POUCAS LINHAS
- Verified reúne tarefas filtradas por anotadores humanos no recorte associado a projetos Python.
- Multilingual cobre outras linguagens, mas sua página diverge sobre o número de repositórios.
- Pontuações de variantes ou configurações diferentes não são uma comparação direta.
- A escolha deve ser complementada por questões dos próprios repositórios da equipe.
A pergunta não é qual variante produz a nota mais impressionante, mas qual oferece evidências mais próximas das tarefas que o agente receberá. O SWE-bench Verified é uma referência para examinar correções em um conjunto filtrado por pessoas, ligado ao recorte Python descrito pela apresentação do Multilingual. O SWE-bench Multilingual acrescenta tarefas em outras linguagens de programação. Nenhuma das páginas demonstra que uma pontuação pública prevê o resultado no repositório de uma equipe brasileira.
O que cada variante mede
O SWE-bench Verified reúne 500 instâncias do SWE-bench filtradas por anotadores humanos, que verificaram a clareza dos problemas, a correção dos patches de teste e a possibilidade de solucionar as tarefas com as informações fornecidas. Esse cuidado reduz uma fonte de dúvida ao interpretar falhas: um agente pode não resolver uma questão por incapacidade própria, mas também pode ser prejudicado por um enunciado ou teste defeituoso. A filtragem não garante que as tarefas representem todo o trabalho de engenharia de software.
Na introdução do Multilingual, os autores descrevem o conjunto Python usado como referência para motivar a nova variante: 500 questões de 17 projetos. Esse recorte não deve ser apresentado como definição de toda a família SWE-bench. Ele explica por que uma equipe que trabalha também em outras linguagens não deveria presumir que o desempenho observado nessa referência se transfira automaticamente.
O Multilingual apresenta 300 tarefas selecionadas nas linguagens C, C++, Go, Java, JavaScript, TypeScript, PHP, Ruby e Rust. A página anuncia 42 repositórios no resumo, mas o Apêndice A enumera 41 entradas de repositórios; não explica a diferença. Portanto, a quantidade de repositórios não deve ser tratada como confirmada apenas pelo anúncio. As tarefas são próprias dessa variante, não traduções das questões do Verified. Aqui, “multilingual” designa linguagens de programação: a página não apresenta avaliação de questões escritas em português brasileiro.
Como decidir pelo trabalho da equipe
Faça um inventário das linguagens, dos tipos de defeito e das mudanças que o agente deverá executar. Se o foco são questões em projetos Python, o Verified oferece uma referência com a filtragem humana descrita pelos responsáveis pelo benchmark. Se a demanda relevante inclui Java, PHP ou TypeScript, por exemplo, vale examinar também o Multilingual, que inclui essas linguagens. Compartilhar uma linguagem, porém, não significa compartilhar as dependências, convenções de teste ou restrições do seu projeto.
Em um exemplo hipotético, uma equipe no Brasil mantém um serviço Python e uma aplicação TypeScript. Ela pode consultar o Verified como referência para a primeira linguagem e o Multilingual para investigar tarefas na segunda. Isso não autoriza colocar as taxas de resolução lado a lado como se viessem da mesma prova. As descrições das variantes e do conjunto Multilingual documentam seus próprios recortes; não fornecem validação em repositórios brasileiros nem evidência de desempenho em ambientes da equipe.
O que anotar antes de ler um leaderboard
Uma pontuação depende de quais tarefas foram selecionadas e de como o sistema as executou. No leaderboard do Verified, a visualização completa reúne sistemas variados, enquanto a modalidade bash-only usa mini-SWE-agent em um ambiente mínimo para facilitar comparações entre modelos. Não se deve atribuir toda diferença entre linhas da tabela apenas ao modelo quando agente e condições de execução também podem variar.
A documentação do Verified adverte que resultados das versões 1.x e 2.x dessa modalidade não são necessariamente comparáveis: a primeira extrai ações das strings geradas, enquanto a segunda usa chamadas de ferramentas. Antes de aproveitar uma nota, registre variante, agente, versão e configuração. O artigo do acervo sobre a nota do Beam no Verified discute por que uma nota isolada não basta para ranquear modelos.
No protocolo do Multilingual, o agente recebe a descrição da questão e um retrato do repositório anterior à solução. Testes fail-to-pass verificam se a questão foi corrigida; testes pass-to-pass verificam se funcionalidades existentes cobertas pelos testes continuam funcionando. Isso é mais específico do que dizer que qualquer regressão foi descartada. Como as variantes usam tarefas diferentes, a diferença de pontuação entre elas não isola o efeito da linguagem de programação.
Onde o benchmark deixa perguntas abertas
Os autores do Multilingual dizem que a maioria das tarefas exige poucas linhas de mudança, que a análise apresentada avaliou apenas um modelo e que, apesar da curadoria manual, não há anotações humanas de dificuldade como no Verified. Uma boa taxa nesse conjunto, portanto, não responde sozinha como o agente lidará com alterações extensas ou requisitos próprios da equipe. Os autores também reconhecem a dificuldade de identificar quais fatores explicam diferenças nas taxas de resolução.
Use as páginas do Verified e do Multilingual para delimitar o alcance da evidência pública. Depois, formule questões representativas do código que será delegado ao agente, defina o que conta como correção aceitável e examine tanto o patch quanto possíveis efeitos indesejados. Esse passo é uma recomendação de avaliação, não o relato de um teste realizado aqui: sem resultados no próprio fluxo de trabalho, a decisão de adoção permanece aberta.
Fontes e referências
- SWE-bench Verifiedwww.swebench.com · Consultado em 31/10/2026
- SWE-bench Multilingualwww.swebench.com · Consultado em 31/10/2026