O departamento de pesquisa em inteligência artificial da Microsoft afirma que conseguiu desenvolver o maior modelo de linguagem em deep learning. Com 17 mil milhões de parâmetros, o Turing Natural Language Generation (T-NLG) ultrapassa modelos como o Megatron da Nvidia, o qual tem 8 mil milhões de parâmetros, ou o GTPT-2 da OpenAI, com 1,5 mil milhões.

De acordo com os investigadores da Microsoft, o T-NLG baseia-se em modelos de linguagem Transformer. Os modelos são capazes de organizar sequências de dados em tarefas como, por exemplo, tradução automática ou sintetização de textos. O T-NLG consegue gerar palavras para completar frases incompletas ou tarefas que têm por base textos, assim como dar respostas diretas a perguntas e resumir documentos.

Comparação do "conhecimento" de diferentes modelos de linguagem em deep learning. Créditos: Microsoft AI & Research

Para treinar o modelo de IA e fazer com que seja capaz de responder de uma forma que se assemelhe à dos humanos, a equipa da Microsoft utilizou ferramentas como a biblioteca DeepSpeed e o ZeRo optimizer.

No que toca a futuras utilizações, a Microsoft afirma que o T-NLG poderá abrir o leque de possibilidades para os clientes da empresa. “Além de fazer com que os utilizadores poupem tempo ao resumir documentos e emails, o T-NLG poderá melhorar as suas experiências no Microsoft Office”, indicam os investigadores.

Os especialistas revelam que, na suite de produtividade da Micrososft, o modelo de linguagem poderá responder aos pedidos de ajuda e às perguntas dos utilizadores. O departamento de pesquisa da gigante tecnológica indica que o T-NLG poderá também trazer novas possibilidades no que toca a chatbots ou assistentes digitais, uma vez que estes poderão ter uma linguagem mais fluída e, possivelmente, menos "robótica".

Para já, a ferramenta não se encontra disponível para uso público. A Microsoft indica que vai lançar uma demonstração experimental do T-NLG exclusivamente para uma comunidade de utilizadores do meio académico.