As colunas inteligentes ou outros equipamentos Echo da Amazon, já começaram a utilizar o assistente Alexa para fazer traduções em tempo real entre duas pessoas que falem línguas diferentes. Para já, o sistema está a ser testado nos Estados Unidos e a traduzir a conversa entre o inglês para espanhol, alemão, francês, hindi, italiano e português do Brasil.

Conforme explica a Amazon no seu blog, o sistema de Live Translation do Alexa funciona como um interprete ativo e a traduzir ambos os lados de uma conversa entre duas pessoas que estão a falar em diferentes línguas. Um dos intervenientes pode pedir à Alexa que inicie uma sessão de tradução e automaticamente o sistema identifica as frases de cada língua, traduzindo-a para a outra.

O sistema inclui diferentes tecnologias, incluindo o reconhecimento automático de conversa (ASR), o Amazon Translate e a funcionalidade text-to-speech da Alexa. A isto, os investigadores adicionaram uma nova arquitetura e modelos de machine learning que foram desenhados e otimizados para traduções entre conversas de voz. Assim, durante a conversa, o assistente Alexa corre dois modelos ASR em paralelo, cada um com o seu modelo de identificação de linguagem. Na prática, quando é dado um input numa língua identificada, a mesma é processada pelo motor de tradução, oferecendo o output no outro idioma.

A Amazon explica que a implementação paralela é necessária para manter a latência da tradução para continuar uma conversa aceitavelmente fluída, enquanto espera pelo input de reconhecimento da língua, até à respetiva devolução do resultado traduzido. Os dados armazenados do sistema ASR facilitam o reconhecimento das frases através da acústica, especialmente quando os intervenientes da conversa não são nativos na língua que estão a usar na conversa.

Para melhorar a fluência da tradução, a Amazon está também a trabalhar na adaptação do seu motor neural para incorporar contextos relevantes, tais como o tom de voz, ou identificar conversas formais e informais. Por fim, está também a trabalhar para melhorar a qualidade geral das traduções ao nível coloquial e expressões idiomáticas em particular.