A atualização tem em conta um novo conjunto de testes concebidos para avaliar a velocidade do hardware usado em aplicações de inteligência artificial e o tempo de resposta aos utilizadores. O desempenho não é o único parâmetro importante que é avaliado no processo de implementação de soluções de IA e os sistemas também foram avaliados relativamente ao seu consumo de energia.

O consórcio realça que com a crescente adoção de modelos de linguagem de grande escala (LLMs, na sigla em inglês) torna-se cada vez mais crucial criar benchmarks “objetivos, justos e robustos”, que estejam disponíveis para toda a comunidade.

Segundo o MLCommons, a mais recente versão do benchmark MLPerf usa os modelos Llama 2, da Meta, e Stable Diffusion XL, da Stability AI, como base para as avaliações, que são divididas entre sistemas concebidos para Data Centers e sistemas desenvolvidos para outras aplicações.

No que respeita à primeira categoria, destaca-se um sistema que combina 8 GPUs Nvidia H200 com 2 CPUs Intel Xeon, seguindo-se outros sistemas baseados em GPUs H100 da Nvidia, avança o website IEEE Spectrum. Na categoria dedicada aos sistemas desenvolvidos para outras aplicações, um sistema com 2 GPUs Nvidia L40S e CPU Intel Xeon.