VASA-1 - Microsoft Research vs Supercreator AI

VASA-1 est un cadre de recherche développé par Microsoft Research Asia qui génère des vidéos de visages parlants très réalistes à partir d'une seule image statique et d'une entrée audio. Il excelle à synchroniser précisément les mouvements des lèvres avec l'audio tout en produisant une large gamme d'expressions faciales et de mouvements de tête naturels, améliorant ainsi le réalisme et la vivacité des avatars virtuels. Le système utilise un modèle holistique de la dynamique faciale et du mouvement de la tête dans un espace latent décomposé appris à partir de données vidéo, permettant un contrôle séparé de l'apparence, de la pose et de l'expression. VASA-1 supporte la génération en temps réel de vidéos à une résolution de 512x512 et jusqu'à 40 images par seconde avec une latence minimale, ce qui facilite des applications interactives telles que les assistants virtuels, l'éducation et les outils d'accessibilité. Il peut traiter des entrées diverses, y compris des photos artistiques, le chant, et la parole dans une langue autre que l'anglais, montrant une forte capacité de généralisation au-delà de ses données d'entraînement. Bien qu'il s'agisse actuellement d'un prototype de recherche sans API commerciale ni lancement de produit, VASA-1 établit une nouvelle norme pour l'animation d'avatars en temps réel, réalistes, avec des paramètres contrôlables tels que le regard, l’émotion et la distance de la tête. Microsoft insiste sur l’utilisation responsable de l'IA et s’oppose à toute mauvaise utilisation pour l’usurpation d’identité, soulignant ses efforts continus pour améliorer l’authenticité des vidéos et la détection des contenus générés.

Supercreator AI vous permet de planifier une courte vidéo scène par scène, de l'enregistrer avec un téléprompteur défilant, puis de couper et sous-titrer les séquences dans le même espace de travail du navigateur. Le storyboarding, l'enregistrement, le montage sur la timeline et les mini applications pour médias IA, avatars parlants et séquences multi-plans sont tous accessibles depuis un seul écran d'accueil. Vous vous connectez pour sauvegarder vos créations, mais chaque outil est listé avant de commencer.

Alors que de nombreux éditeurs vidéo supposent que vous avez déjà des séquences, Supercreator AI met en avant l’écriture du script et l’enregistrement. Le storyboard cartographie les scènes avant la capture, l’enregistreur fait défiler votre script pendant le tournage, et des modèles à un clic ainsi que des sous-titres IA sont placés à côté d’outils autonomes comme un transcripteur de Reels et un éditeur de clips. Ce flux de travail regroupe écriture, capture et finition dans un seul onglet au lieu de trois applications distinctes.

Il convient aux créateurs qui publient sur TikTok, Reels et Shorts et souhaitent écrire, capturer et peaufiner les sous-titres sans changer d’outil. Fondateurs, éducateurs et marketeurs devant la caméra bénéficient du support téléprompteur, d’aides visuelles et de préréglages d’identité réutilisables entre projets.