DeepMotion vs Text-To-4D

DeepMotion est une société d'IA de pointe spécialisée dans la création d'humains numériques. Ils proposent deux solutions innovantes : Animate 3D, qui permet aux utilisateurs de capturer le mouvement de n'importe quelle vidéo à l'aide de l'IA, et MotionGPT, un outil puissant qui transforme le texte en animations dynamiques. Grâce à la technologie DeepMotion, les professionnels et les créateurs peuvent facilement créer des animations réalistes et attrayantes pour les jeux, la réalité virtuelle et bien plus encore. Leurs produits ont reçu des critiques élogieuses pour leur rapidité, leur accessibilité et leur qualité, ce qui en fait des outils essentiels pour toute personne ayant besoin de capture de mouvement ou d'animation.

Meta présente Mav3d (Make-A-Video3d), une méthode pour générer des scènes dynamiques tridimensionnelles à partir de descriptions de texte. Notre approche utilise un champ de radiance neuronale dynamique 4D (NERF), qui est optimisé pour l'apparence, la densité et la cohérence du mouvement de la scène en interrogeant un modèle de diffusion de texte à vidéo (T2V).

La sortie vidéo dynamique générée à partir du texte fourni peut être visualisée à partir de n'importe quel emplacement et angle de la caméra, et peut être composée dans n'importe quel environnement 3D. Mav3d ne nécessite aucune donnée 3D ou 4D et le modèle T2V est formé uniquement sur les paires d'image texte et les vidéos non marquées.