Vidu vs VASA-1 - Microsoft Research

Vidu transforme les invites textuelles, les images fixes et les photos de référence en clips vidéo finis jusqu'à 1080p. Les créateurs indépendants et les équipes de production l'utilisent pour éviter une chaîne de post-production traditionnelle et passer de l'idée à l'exportation directement dans le navigateur. Les modes principaux sont texte-en-vidéo, image-en-vidéo et référence-en-vidéo.

Le mode référence-en-vidéo est ce qui distingue Vidu. Téléchargez jusqu'à sept images pour maintenir la cohérence des personnages, objets et scènes tout au long d'un clip, ou enregistrez des éléments dans Mes Références pour les réutiliser dans des projets ultérieurs. Le modèle Vidu Q3 ajoute un audio natif dans la même passe de génération, de sorte que dialogues, voix off, effets sonores et musique s'intègrent à l'image au lieu d'être ajoutés lors d'une étape de montage séparée.

Les créateurs travaillant dans l'anime, la publicité, le contenu social et le film court utilisent Vidu pour tout, des clips viraux basés sur des modèles aux plans narratifs de 16 secondes avec contrôle caméra au niveau de l'image. Les studios et les marketeurs utilisent également image-en-vidéo pour animer des prises de produits ou changer les arrière-plans publicitaires tout en conservant les sujets conformes au modèle.

Les nouveaux comptes reçoivent des crédits de démarrage, avec davantage disponibles via les connexions quotidiennes, les abonnements et les événements de la plateforme.

VASA-1 est un cadre de recherche développé par Microsoft Research Asia qui génère des vidéos de visages parlants très réalistes à partir d'une seule image statique et d'une entrée audio. Il excelle à synchroniser précisément les mouvements des lèvres avec l'audio tout en produisant une large gamme d'expressions faciales et de mouvements de tête naturels, améliorant ainsi le réalisme et la vivacité des avatars virtuels. Le système utilise un modèle holistique de la dynamique faciale et du mouvement de la tête dans un espace latent décomposé appris à partir de données vidéo, permettant un contrôle séparé de l'apparence, de la pose et de l'expression. VASA-1 supporte la génération en temps réel de vidéos à une résolution de 512x512 et jusqu'à 40 images par seconde avec une latence minimale, ce qui facilite des applications interactives telles que les assistants virtuels, l'éducation et les outils d'accessibilité. Il peut traiter des entrées diverses, y compris des photos artistiques, le chant, et la parole dans une langue autre que l'anglais, montrant une forte capacité de généralisation au-delà de ses données d'entraînement. Bien qu'il s'agisse actuellement d'un prototype de recherche sans API commerciale ni lancement de produit, VASA-1 établit une nouvelle norme pour l'animation d'avatars en temps réel, réalistes, avec des paramètres contrôlables tels que le regard, l’émotion et la distance de la tête. Microsoft insiste sur l’utilisation responsable de l'IA et s’oppose à toute mauvaise utilisation pour l’usurpation d’identité, soulignant ses efforts continus pour améliorer l’authenticité des vidéos et la détection des contenus générés.