O VASA -1 foi anunciado esta semana e dá um passo importante na criação de avatares realistas, em vídeo, a partir de elementos estáticos. O modelo da Microsoft Research pode criar vídeos de dimensão 512x512 pixels a 45 fps, em tempo real.

Para começar basta partir de uma foto estática e de um clipe de áudio. O modelo trata de ajustar o posicionamento, a sincronização do movimento dos lábios com o som e os movimentos e expressões do rosto.  E é possível personalizar a direção do olhar, assim como o nível de emoção transmitido.

Veja as imagens

No post publicado no site da Microsoft Research os investigadores explicam o desenvolvimento e mostram vídeos de vários exemplos, com imagens geradas a partir do StyleGAN2 ou do DALL·E-3.

Veja o vídeo

Na publicação é feita a ressalva sobre os riscos e a utilização responsável da tecnologia, explicando que foi desenvolvida para aplicações positivas e não para ser usada de forma a enganar, como em informação falsa e deepfakes.

Pode aceder à informação do VASA-1 através deste link.