DeepMotion vs Text-To-4D

DeepMotion crée des animations de personnages 3D à partir de descriptions textuelles ou de vidéos de référence via un navigateur, sans nécessiter de combinaison de capture de mouvement. Ses deux produits, SayMotion et Animate 3D, transforment des descriptions de mouvements écrites ou des clips MP4, MOV et AVI téléchargés en données de squelette exportables pour les pipelines de jeux et de films. Les fichiers de sortie sont au format FBX, BVH, GLB ou MP4 et peuvent être réaffectés à des personnages personnalisés.

La capture de mouvement traditionnelle nécessite du matériel spécialisé et un espace de studio. DeepMotion exécute un suivi corporel complet sans marqueurs dans le cloud, permettant ainsi aux studios indépendants et aux animateurs solo de produire des chorégraphies de combat ou des mouvements de danse à partir d’une vidéo prise au téléphone. SayMotion ajoute une peinture générative pour étendre ou fusionner les mouvements au-delà des bibliothèques standards, ce que les sites d’animations stock ne peuvent égaler sans montage manuel.

Les développeurs de jeux, artistes XR, étudiants en cinéma et enseignants l’utilisent pour prototyper les mouvements des personnages avant de s’engager dans une phase complète de rigging. Le programme de crédits d’animation gratuit permet aux utilisateurs de récupérer des crédits en étiquetant des descriptions de mouvements ou en corrigeant des poses dans l’éditeur Rotoscope.

Text-To-4D est un projet de recherche de Meta AI (MAV3D) qui génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles. La méthode utilise un Neural Radiance Field dynamique en 4D optimisé pour la cohérence d'apparence, de densité et de mouvement en interrogeant un modèle de diffusion texte-vidéo.

Contrairement aux générateurs 3D statiques qui produisent un seul maillage, Text-To-4D crée des scènes que l'on peut visualiser sous n'importe quel angle de caméra et intégrer dans d'autres environnements 3D. L'approche ne nécessite pas de données d'entraînement 3D ou 4D ; le modèle texte-vidéo sous-jacent est entraîné uniquement sur des paires texte-image et des vidéos non étiquetées.

La page du projet propose des exemples de démonstration pour des invites texte-vers-4D comme « un corgi jouant avec une balle » et des conversions image-vers-4D à partir de photos fixes. Il s'agit d'une vitrine de recherche, non d'un produit commercial avec une API publique ou une inscription. Les chercheurs et artistes 3D intéressés par la génération de scènes dynamiques basées sur NeRF peuvent consulter l'article et les exemples sur le site.