VASA-1 - Microsoft Research vs Synthesia

VASA-1 est un cadre de recherche développé par Microsoft Research Asia qui génère des vidéos de visages parlants très réalistes à partir d'une seule image statique et d'une entrée audio. Il excelle à synchroniser précisément les mouvements des lèvres avec l'audio tout en produisant une large gamme d'expressions faciales et de mouvements de tête naturels, améliorant ainsi le réalisme et la vivacité des avatars virtuels. Le système utilise un modèle holistique de la dynamique faciale et du mouvement de la tête dans un espace latent décomposé appris à partir de données vidéo, permettant un contrôle séparé de l'apparence, de la pose et de l'expression. VASA-1 supporte la génération en temps réel de vidéos à une résolution de 512x512 et jusqu'à 40 images par seconde avec une latence minimale, ce qui facilite des applications interactives telles que les assistants virtuels, l'éducation et les outils d'accessibilité. Il peut traiter des entrées diverses, y compris des photos artistiques, le chant, et la parole dans une langue autre que l'anglais, montrant une forte capacité de généralisation au-delà de ses données d'entraînement. Bien qu'il s'agisse actuellement d'un prototype de recherche sans API commerciale ni lancement de produit, VASA-1 établit une nouvelle norme pour l'animation d'avatars en temps réel, réalistes, avec des paramètres contrôlables tels que le regard, l’émotion et la distance de la tête. Microsoft insiste sur l’utilisation responsable de l'IA et s’oppose à toute mauvaise utilisation pour l’usurpation d’identité, soulignant ses efforts continus pour améliorer l’authenticité des vidéos et la détection des contenus générés.

Synthesia transforme des scripts en vidéos présentées par des avatars grâce à plus de 240 avatars prédéfinis, des voix clonées et un doublage synchronisé sur les lèvres dans plus de 160 langues. Vous écrivez le texte, choisissez un avatar et exportez en MP4 ou SCORM sans caméras, studios ni comédiens voix. Le plan Basic inclut 10 minutes de vidéo générée par mois avec 9 avatars prédéfinis.

Là où la plupart des outils de vidéo avec avatars s'arrêtent à l'exportation, Synthesia permet de créer, localiser, collaborer et publier dans un seul espace de travail. Les vidéos intégrées se mettent à jour automatiquement lorsque vous modifiez la source, les packages SCORM sont livrés avec des versions traduites, et les équipes Enterprise bénéficient de Brand Kits ainsi que de SAML/SSO. Les sessions de jeu de rôle ajoutent une nouvelle dimension : entraînez-vous aux conversations de vente ou de support avec des avatars interactifs qui évaluent vos réponses.

Les équipes L&D l'utilisent pour la conformité et l'intégration à grande échelle. Les groupes d'aide à la vente diffusent des mises à jour de pitch en quelques minutes au lieu de planifier des tournages. Les équipes marketing et communication interne localisent une vidéo principale en des dizaines de langues grâce à une traduction en un clic. Plus de 50 000 entreprises l'utilisent, y compris une grande part du Fortune 100.