DeepMotion vs Text-To-4D

DeepMotion propose une capture de mouvement alimentée par l'IA et un suivi corporel qui permettent aux utilisateurs de créer rapidement des animations 3D à partir de vidéos via n'importe quel navigateur web. Sa plateforme Animate 3D convertit les vidéos ordinaires en animations de corps entier sans besoin de marqueurs ou de matériel spécial. Cela rend la capture de mouvement accessible aux créateurs indépendants, éducateurs et développeurs de jeux souhaitant donner vie à des personnages numériques avec des mouvements réalistes. La plateforme supporte des personnages personnalisés et s'intègre aux formats 3D populaires, facilitant l'exportation pour les jeux, la réalité virtuelle et les projets d'animation.

DeepMotion inclut également MotionGPT, un outil qui génère des animations à partir de prompts textuels, élargissant ainsi les possibilités créatives pour les utilisateurs souhaitant créer du mouvement sans filmer. L'entreprise construit une grande plateforme d'animation 3D générée par l'IA, axée sur la démocratisation de la création de mouvement de personnages numériques. Les utilisateurs peuvent gagner des crédits d'animation gratuits en étiquetant et en corrigeant des animations, ce qui contribue à améliorer les modèles d'IA.

Le service supporte le suivi facial et des mains, avec des coûts supplémentaires en crédits pour ces fonctionnalités. Il offre également un Rotoscope Pose Editor pour des corrections d'animation image par image, permettant aux utilisateurs d'améliorer la qualité du mouvement et de récupérer des crédits. L'API de DeepMotion facilite l'intégration dans d'autres flux de travail, accelerant les cycles de développement pour les partenaires.

Les plans tarifaires incluent une formule freemium avec des crédits mensuels gratuits pour un usage personnel et des abonnements payants offrant des limites de crédits plus élevées, un traitement prioritaire et une création d'animation illimitée. La plateforme supporte plusieurs formats vidéo d'entrée et permet d'exporter les animations en FBX, BVH, MP4 et GLB. DeepMotion met l'accent sur la facilité d'utilisation, ne nécessitant pas d'équipement spécial, et fournit une documentation complète ainsi qu'un soutien communautaire via Discord.

Globalement, DeepMotion se distingue en rendant la capture de mouvement IA et la génération d'animation accessibles, abordables et flexibles pour une large gamme d'utilisateurs, des amateurs aux professionnels. Sa combinaison de capture vidéo, de texte en animation, et de programmes de crédits offre un écosystème unique pour créer des mouvements humains numériques.

Text-To-4D, également connu sous le nom de MAV3D (Make-A-Video3D), génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles simples. Il utilise un champ de radiance neuronal dynamique 4D (NeRF) optimisé pour une cohérence dans l'apparence de la scène, la densité et le mouvement en tirant parti d'un modèle de diffusion Text-to-Video. Cela permet de créer des vidéos dynamiques pouvant être visualisées sous n'importe quel angle de caméra et intégrées dans divers environnements 3D.

Contrairement aux méthodes traditionnelles de génération 3D, MAV3D ne requiert aucune donnée d'entraînement 3D ou 4D. Il s'appuie plutôt sur un modèle Text-to-Video entraîné uniquement sur des paires texte-image et des vidéos non étiquetées, le rendant accessible aux utilisateurs ne disposant pas de jeux de données spécialisés. Cette approche ouvre de nouvelles possibilités pour les créateurs, développeurs et chercheurs souhaitant générer du contenu 3D immersif à partir de simples invites textuelles.

L'outil est destiné à un large public, incluant les développeurs de jeux, les animateurs et les créateurs de contenu en réalité virtuelle qui veulent produire rapidement des scènes 3D dynamiques sans modélisation ou animation manuelle. Il offre une valeur unique en combinant la génération basée sur le texte avec la sortie de scènes 3D dynamiques, utilisables dans des applications interactives ou pour la narration visuelle.

Techniquement, la méthode intègre un NeRF 4D avec un modèle de diffusion Text-to-Video pour garantir la cohérence du mouvement et de l'apparence dans le temps et l'espace. Cela aboutit à des scènes dynamiques fluides et réalistes, explorables sous plusieurs points de vue. Le système améliore les précédents benchmarks en produisant des vidéos 3D de meilleure qualité et plus cohérentes à partir d’un texte.

Dans l’ensemble, Text-To-4D se démarque comme la première méthode connue pour générer des scènes 3D entièrement dynamiques à partir de texte, comblant le gap entre la génération vidéo basée sur le texte et la synthèse de scènes 3D. Il offre une solution flexible et innovante pour créer du contenu immersif sans nécessiter de données 3D complexes ou d'animation manuelle.