VASA-1 - Microsoft Research vs Munch Studio (formerly Munch)

VASA-1 est un cadre de recherche développé par Microsoft Research Asia qui génère des vidéos de visages parlants très réalistes à partir d'une seule image statique et d'une entrée audio. Il excelle à synchroniser précisément les mouvements des lèvres avec l'audio tout en produisant une large gamme d'expressions faciales et de mouvements de tête naturels, améliorant ainsi le réalisme et la vivacité des avatars virtuels. Le système utilise un modèle holistique de la dynamique faciale et du mouvement de la tête dans un espace latent décomposé appris à partir de données vidéo, permettant un contrôle séparé de l'apparence, de la pose et de l'expression. VASA-1 supporte la génération en temps réel de vidéos à une résolution de 512x512 et jusqu'à 40 images par seconde avec une latence minimale, ce qui facilite des applications interactives telles que les assistants virtuels, l'éducation et les outils d'accessibilité. Il peut traiter des entrées diverses, y compris des photos artistiques, le chant, et la parole dans une langue autre que l'anglais, montrant une forte capacité de généralisation au-delà de ses données d'entraînement. Bien qu'il s'agisse actuellement d'un prototype de recherche sans API commerciale ni lancement de produit, VASA-1 établit une nouvelle norme pour l'animation d'avatars en temps réel, réalistes, avec des paramètres contrôlables tels que le regard, l’émotion et la distance de la tête. Microsoft insiste sur l’utilisation responsable de l'IA et s’oppose à toute mauvaise utilisation pour l’usurpation d’identité, soulignant ses efforts continus pour améliorer l’authenticité des vidéos et la détection des contenus générés.

Munch Studio transforme votre site web, vos vidéos, photos, et même vos enregistrements Zoom en un flux continu de publications sociales cohérentes avec votre marque que vous pouvez approuver et publier en quelques minutes. Vous entrez l’URL de votre entreprise, le système apprend votre ton, et il rédige des affiches, carrousels, scripts vidéo, ainsi qu’un calendrier de publication que vous pouvez valider en quelques minutes. Il mise toujours beaucoup sur la réutilisation de vidéos, avec des plafonds mensuels en minutes et un nombre de vidéos générées selon chaque forfait payant.

Alors que la plupart des planificateurs sociaux attendent que vous écriviez chaque légende et conceviez chaque élément, Munch Studio part de ce que vous avez déjà. Il construit une stratégie de contenu personnalisée, génère un nombre illimité d’affiches et de carrousels sur chaque plan, et publie directement sur Instagram, Facebook, LinkedIn, YouTube et TikTok. Les agences peuvent gérer des espaces de travail séparés par client sans mélanger les voix de marque.

Le produit convient aux propriétaires de petites entreprises qui souhaitent une présence sociale visible sans embaucher une équipe, aux créateurs solo réutilisant des vidéos longues, et aux agences marketing gérant plusieurs marques. Munch Studio affirme que plus de 20 000 entreprises l’utilisent et propose un flux de travail que vous pouvez gérer en environ 10 minutes par semaine une fois l’intégration terminée.