A OpenAI lançou a ferramenta SWE-Lancer, apontando ser um benchmark mais realista para avaliar a performance do código dos modelos de IA. A plataforma inclui mais de 1.400 tarefas de software de engenharia freelance da Upwork, que a dona do ChatGPT avaliou em 1 milhão de dólares em pagamentos.

A ferramenta abrange tanto as tarefas independentes de engenharia, pagando 50 dólares por correções de bugs a 32 mil dólares pela implementação de funcionalidades e tarefas de gestão. Estas tarefas independentes são classificadas com testes end-to-end de verificação tripla por engenheiros de software experientes. Já as decisões de gestão são avaliadas em relação às escolhas dos gestores de engenharia contratados originalmente.

A dona do ChatGPT diz que avaliou a performance e descobriu que os modelos de topo ainda não são capazes de resolver a maioria das tarefas. Para facilitar futuras investigações, a empresa diz que disponibilizou o sistema de imagem unificada Docker, em open-source e um sistema de avaliação pública, o SWE Lancer Diamond no GitHub.

No estudo publicado, a empresa diz que em apenas dois anos, os modelos de linguagem avançaram desde resolver problemas de computação científica básica até ganhar medalhas de ouro em competições internacionais de programação. Em comparação, quando a OpenAI revelou o benchmark SWE-Bench Verified em agosto de 2024, o GPT-4o registou uma pontuação de 33%. Atualmente, o modelo mais racional o3 obteve 72%.

Ficou assim patente que eram necessárias avaliações não saturadas que refletissem a complexidade da engenharia de software do mundo real. A empresa espera que à medida que a investigação e desenvolvimento da IA continue a acelerar, também os benchmark que avaliam rigorosamente devem fazer.