VASA-1 - Microsoft Research vs Fliki

VASA-1 est un cadre de recherche développé par Microsoft Research Asia qui génère des vidéos de visages parlants très réalistes à partir d'une seule image statique et d'une entrée audio. Il excelle à synchroniser précisément les mouvements des lèvres avec l'audio tout en produisant une large gamme d'expressions faciales et de mouvements de tête naturels, améliorant ainsi le réalisme et la vivacité des avatars virtuels. Le système utilise un modèle holistique de la dynamique faciale et du mouvement de la tête dans un espace latent décomposé appris à partir de données vidéo, permettant un contrôle séparé de l'apparence, de la pose et de l'expression. VASA-1 supporte la génération en temps réel de vidéos à une résolution de 512x512 et jusqu'à 40 images par seconde avec une latence minimale, ce qui facilite des applications interactives telles que les assistants virtuels, l'éducation et les outils d'accessibilité. Il peut traiter des entrées diverses, y compris des photos artistiques, le chant, et la parole dans une langue autre que l'anglais, montrant une forte capacité de généralisation au-delà de ses données d'entraînement. Bien qu'il s'agisse actuellement d'un prototype de recherche sans API commerciale ni lancement de produit, VASA-1 établit une nouvelle norme pour l'animation d'avatars en temps réel, réalistes, avec des paramètres contrôlables tels que le regard, l’émotion et la distance de la tête. Microsoft insiste sur l’utilisation responsable de l'IA et s’oppose à toute mauvaise utilisation pour l’usurpation d’identité, soulignant ses efforts continus pour améliorer l’authenticité des vidéos et la détection des contenus générés.

Fliki transforme du texte en vidéos prêtes à être publiées avec des voix off IA, des visuels stock ou générés, de la musique et des sous-titres. Vous collez un script, un article de blog ou une invite d'une ligne, et l'éditeur rédige la narration, choisit les médias et exporte un clip fini avec des personnages cohérents en quelques minutes.

Comparé aux outils séparés de voix et vidéo, Fliki regroupe la conversion de texte en vidéo, la synthèse vocale, la planification de séries et un double numérique qui clone votre visage et votre voix pour des clips de type présentateur. La plateforme propose plus de 2 000 voix dans plus de 80 langues, ainsi que des flux de travail pour passer de l'idée à la vidéo, de PPT à la vidéo, et la traduction.

Fliki annonce 100 millions de vidéos créées et 12 millions d'utilisateurs. Le plan gratuit inclut 3 crédits mensuels et des exports en 720p avec un filigrane, tandis que les plans Standard et Premium ajoutent une sortie en 1080p, des durées plus longues jusqu'à 40 minutes, le clonage vocal et l'accès à l'API au niveau supérieur.