VASA-1 - Microsoft Research vs Rizzle

VASA-1 est un cadre de recherche développé par Microsoft Research Asia qui génère des vidéos de visages parlants très réalistes à partir d'une seule image statique et d'une entrée audio. Il excelle à synchroniser précisément les mouvements des lèvres avec l'audio tout en produisant une large gamme d'expressions faciales et de mouvements de tête naturels, améliorant ainsi le réalisme et la vivacité des avatars virtuels. Le système utilise un modèle holistique de la dynamique faciale et du mouvement de la tête dans un espace latent décomposé appris à partir de données vidéo, permettant un contrôle séparé de l'apparence, de la pose et de l'expression. VASA-1 supporte la génération en temps réel de vidéos à une résolution de 512x512 et jusqu'à 40 images par seconde avec une latence minimale, ce qui facilite des applications interactives telles que les assistants virtuels, l'éducation et les outils d'accessibilité. Il peut traiter des entrées diverses, y compris des photos artistiques, le chant, et la parole dans une langue autre que l'anglais, montrant une forte capacité de généralisation au-delà de ses données d'entraînement. Bien qu'il s'agisse actuellement d'un prototype de recherche sans API commerciale ni lancement de produit, VASA-1 établit une nouvelle norme pour l'animation d'avatars en temps réel, réalistes, avec des paramètres contrôlables tels que le regard, l’émotion et la distance de la tête. Microsoft insiste sur l’utilisation responsable de l'IA et s’oppose à toute mauvaise utilisation pour l’usurpation d’identité, soulignant ses efforts continus pour améliorer l’authenticité des vidéos et la détection des contenus générés.

Rizzle transforme des articles, des blogs et des textes éditoriaux en vidéos prêtes à être publiées, conçues pour les éditeurs numériques et les entreprises médiatiques. Le processus commence par une IA qui élabore des storyboards à partir de votre contenu écrit, associant texte à des visuels sous licence, musique, transitions et voix off. Des experts vidéo humains examinent ensuite le rythme, les visuels et le ton avant toute mise en ligne.

Contrairement aux outils génériques de conversion de texte en vidéo qui s'arrêtent à l'exportation, Rizzle syndique également les vidéos et les histoires écrites terminées à travers des réseaux partenaires tels que Yahoo, MSN, SmartNews et NewsBreak. Rizzle est une agence tierce désignée pour la distribution de contenu Yahoo, permettant ainsi aux éditeurs d'ajouter des inventaires vidéo et une portée multiplateforme via le même flux qui crée les clips. Les plateformes de syndication traditionnelles distribuent le texte que vous possédez déjà ; Rizzle crée d'abord de nouveaux contenus vidéo monétisables, puis transmet les deux formats via une infrastructure unique.

Les organisations de presse, les éditeurs numériques et les équipes de contenu d'entreprise utilisent Rizzle pour donner une seconde vie aux histoires écrites existantes sous forme de vidéo, atteindre des audiences axées sur la vidéo et ouvrir des flux de monétisation grâce aux partenariats de syndication. Le modèle de service géré prend en charge la création de storyboards, le montage, la révision et la distribution afin que les équipes puissent augmenter leur production vidéo sans constituer un département de production interne.