Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs Text-To-4D

Découvrez le modèle innovant Neuralangelo AI de NVIDIA Research. Cette technologie révolutionnaire utilise des réseaux neuronaux pour la reconstruction 3D, transformant des clips vidéo 2D en structures 3D détaillées avec une précision exceptionnelle. Idéal pour une utilisation dans la réalité virtuelle, les jumeaux numériques et le développement de la robotique, Neuralangelo crée des répliques réalistes d'objets allant des sculptures aux bâtiments. Il excelle dans la reproduction de matériaux et de textures complexes, permettant aux créateurs d'importer ces modèles haute fidélité dans diverses applications de conception. Développé par des experts de premier plan en IA, cet outil simplifie le processus de rapprochement des mondes réel et numérique, apportant ainsi une efficacité et un réalisme accrus à divers projets créatifs et industriels.

Meta présente Mav3d (Make-A-Video3d), une méthode pour générer des scènes dynamiques tridimensionnelles à partir de descriptions de texte. Notre approche utilise un champ de radiance neuronale dynamique 4D (NERF), qui est optimisé pour l'apparence, la densité et la cohérence du mouvement de la scène en interrogeant un modèle de diffusion de texte à vidéo (T2V).

La sortie vidéo dynamique générée à partir du texte fourni peut être visualisée à partir de n'importe quel emplacement et angle de la caméra, et peut être composée dans n'importe quel environnement 3D. Mav3d ne nécessite aucune donnée 3D ou 4D et le modèle T2V est formé uniquement sur les paires d'image texte et les vidéos non marquées.