Está reconhecido pelo Guinness, o supercomputador pessoal com capacidade de inteligência artificial mais pequeno do mundo. O título é do Tiiny AI Pocket Lab, desenvolvido por uma startup americana, que vai mostrar tudo em detalhe na próxima edição da CES.

Não perca nenhuma notícia importante da atualidade de tecnologia e acompanhe tudo em tek.sapo.pt

O livro de recordes do Guinness atribuiu-lhe o título de MiniPC mais pequeno do mundo, mas o interior comprova que o tamanho não mostra tudo. O equipamento é capaz de correr grandes modelos de linguagem com 120 mil milhões de parâmetros localmente, sem precisar de estar ligado a uma cloud nem de outro tipo de ajuda externa, servidores por exemplo.

A Tiiny AI sustenta aliás que a dependência da cloud é um entrave maior à expansão da inteligência artifical do que qualquer outro e aponta com este mini-PC um caminho alternativo, que para já é uma gota num oceano (embora esta startup não seja a única de olho no tema, a Nvidia também está), mas a prazo talvez se transforme numa alternativa em muitas áreas.

“A IA na nuvem trouxe um progresso notável, mas também criou dependência, vulnerabilidade e desafios de sustentabilidade”, sublinha Samar Bhoj, diretor de GTM da Tiiny AI. “Com o Tiiny AI Pocket Lab, acreditamos que a inteligência não deve pertencer aos centros de dados, mas às pessoas. Este é o primeiro passo para tornar a IA avançada verdadeiramente acessível, privada e pessoal”.

A empresa defende que o novo PC cobre a “zona dourada” da IA pessoal (entre 10 mil milhões e 100 mil milhões de parâmetros), que satisfaz mais de 80% das necessidades do mundo real. Assegura ainda que o PC suporta LLMs que escalem até 120 mil milhões de parâmetros e níveis de inteligência comparáveis ao do GPT-4o. Ou seja, com o nível de conhecimentos de um doutorado, capacidade de análise em várias etapas e compreensão contextual profunda.

Supercomputador pessoal de IA da Nvidia começa a ser vendido
Supercomputador pessoal de IA da Nvidia começa a ser vendido
Ver artigo

Junta a isto o facto de não precisar de uma ligação à internet e uma memória local que permite armazenar dados a longo prazo, documentos criptografados com segurança de “nível bancário”, e um nível de privacidade que os sistemas de IA na cloud não podem garantir. Serve as necessidades de programadores, investigadores, profissionais e estudantes, garante a Tiiny AI.

Para conseguir concentrar num PC tão pequeno aquilo que já era possível fazer com apoio de um data center, há mais segredos. Duas inovações introduzidas no modelo foram fundamentais para a miniaturização.

A empresa usou uma técnica de ativação neuronal que melhora significativamente a eficiência da inferência, mantendo a inteligência total do modelo (TurboSparse). Usou também um motor de inferência heterogéneo de código aberto (PowerInfer), que acelera cargas de trabalho pesadas de LLM, ao mesmo tempo que reduz o consumo energético necessário, distribuindo-a entre CPU e NPU.

O novo computador da Tiiny AI promete também dar nas vistas precisamente pela eficiência energética, tem um consumo de 65 W, o que lhe permite operar LLMs com uma pegada ambiental muito inferior à dos sistemas tradicionais baseados em GPUs.

O Tiiny AI Pocket Lab integra um processador ARMv9.2 12-core CPU e consegue processar 190 biliões de operações de IA por segundo (190 TOPS). Integra uma memória de 80 GB LPDDR5X e tem 1 TB (SSD) para armazenamento. Pesa 300 gramas e mede 14,2 × 8 × 2,53 centímetros.

Assine a newsletter do TEK Notícias e receba todos os dias as principais notícias de tecnologia na sua caixa de correio.