A Nvidia apresentou na CES 2025 a plataforma Cosmos para criação de modelos base do mundo, ou seja, uma rede neural que simula contextos de ambientes do mundo real, com resultados baseados em inputs de texto, imagem e vídeo. Estes modelos base são utilizados por sistemas de IA física, tais como robots e veículos autónomos, para acelerar o treino e teste.

A plataforma Nvidia Cosmos pretende ajudar os developers de sistemas de IA física a acelerar a produção, ajudando robots e automóveis a perceberem e compreenderem, assim como a realizarem ações complexas no mundo físico real. Estes sistemas são também conhecidos como IA física generativa, pela capacidade de gerar insights e ações para execução.

Veja o vídeo de apresentação do Cosmos:

O sistema consiste em modelos base do mundo, sistemas de tokens e capacidade de processamento de vídeo. Este contém um repositório que permite aos utilizadores correr e testar os seus modelos Cosmos, os scripts de inferência e gerar vídeos. O Cosmos é open source e foi treinado com 20 milhões de horas de vídeos.

O Cosmos oferece dois modos: difusão com tokens contínuos e autorregressivo (tokens discretos) cada um com entre 4 a 14 mil milhões de parâmetros. Estes permitem dois modos generativo, texto para vídeo e a combinação de texto e vídeo para gerar vídeo. A Nvidia pede agora aos developers de sistemas de IA que ajudem a empresa a afinar a plataforma. Numa mensagem na plataforma X, o investigador da Nvidia Jim Fan aponta que a IA física tem um problema de usar grandes dados e pede ajuda para sintetizar os dados. O Cosmos está disponível no Github.

Os investigadores e developers, independentemente do tamanho da sua empresa, podem utilizar os modelos Cosmos através de uma licença que permite a sua utilização comercial e fazer chegar rapidamente ao mercado as suas aplicações de IA física.

Empresas como a 1X, Agilitiy Robotics e a XPENG estão a usar a plataforma Cosmos nas suas soluções de robótica e no caso da condução autónoma, a Uber e a Waabi são parceiros para acelerar e melhorar o modelo de desenvolvimento.