Google está a trabalhar em novo modelo de linguagem natural e adaptativa

Recentemente a OpenAI lançou uma versão beta do serviço de chatbot, o ChatGPT, capaz de interagir com os humanos em linguagem natural. O objetivo é tornar mais real a interação entre os humanos e a IA, assumindo-se como uma alternativa a sistemas de assistentes virtuais como a Alexa, Siri ou Google Assistant. O certo é que foram precisos poucos dias para atingir a marca de um milhão de utilizadores.

A investigação em linguagem natural é também um dos temas da Google, tendo revelado o sistema CALM (Confident Adaptive Language Modeling), em parceria com o MIT. Este modelo pretende reduzir para metade a necessidade de processamento e tentar adivinhar a palavra seguinte em menos tentativas.

Numa mensagem no seu blog, a Google reconhece os avanços na performance de modelos como o T5, o LaMDA, o GPT-3 e o PaLM, nas diversas tarefas de linguagem. No entanto considera que é necessário aumentar a escala do tamanho dos modelos, como sendo crucial para revelar capacidade emergentes. Ou seja, certos sistemas podem ser resolvidos com modelos pequenos, mas outros necessitam um aumento dessa escala.

A Google explica que os modelos atuais treinados ainda são lentos e com custos elevados para utilizações práticas. Este foi, aliás, um dos problemas apontados pela OpenAI no seu modelo, referindo que será necessário encontrar um modelo de monetização para suportar os custos da tecnologia. A Google diz que os sistemas necessitam de completar a previsão de uma palavra antes de começar a computar a seguinte. E com isso, prever cada palavra requer uma quantidade significativa de computação, devido aos milhares de milhões de parâmetros, afirma a gigante tecnológica.

O sistema CALM, cujo estudo foi publicado na página da Cornell University, pretende introduzir um novo método de aceleração de texto gerado pelos modelos de linguagem, aumentando a eficiência de conclusão. O modelo utiliza um sistema de intuição, assumindo que algumas das próximas palavras previstas são mais fáceis que outras.

“Quando escreve uma frase, algumas continuações são triviais, enquanto outras talvez precisem de maior esforço”. E com isso, aponta que os sistemas atuais alocam o mesmo esforço computacional a todas as previsões. Já o CALM distribui, de forma dinâmica, a computação necessária a previsões mais difíceis. E com isso procura gerar texto mais rápido, tentando preservar a qualidade da resposta.

Na prática, o CALM tenta saltar algum esforço de computação sempre que possível, em certas previsões. A IA tenta antecipar o resultado, sempre que encontra a palavra que provavelmente servirá para dar continuidade à frase. E esse modelo calcula o grau de confiança nessa palavra, passando rapidamente à seguinte. Por isso, o CALM obriga a ter uma confiança mais elevada nas palavras escolhidas no início de uma frase, para que esta não descarrile.

Os resultados de benchmark da tecnológica mostram que o CALM permitiu poupar metade do tempo de computação, mantendo o mesmo output de qualidade das frases.