Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs Text-To-4D

Neuralangelo est un modèle d'intelligence artificielle développé par NVIDIA Research qui transforme des clips vidéo 2D en structures 3D détaillées en utilisant des réseaux neuronaux. Il crée des répliques virtuelles réalistes d'objets tels que des bâtiments, des sculptures et des scènes complexes en capturant des détails et textures intricats depuis plusieurs points de vue. Cette technologie est conçue pour les professionnels de la création et les développeurs travaillant dans la réalité virtuelle, les jumeaux numériques, la robotique et le développement de jeux, leur permettant d'importer des modèles 3D de haute fidélité dans leurs flux de travail de conception.

Contrairement aux méthodes antérieures, Neuralangelo excelle dans la reproduction de matériaux complexes comme les shingles de toiture, les vitres et les surfaces en marbre lisse avec une grande précision. Il utilise des primitives graphiques neuronales instantanées, la technologie à l'origine de NVIDIA Instant NeRF, pour capturer les détails fins et les motifs de textures répétitifs qui étaient auparavant difficiles à représenter. Le modèle traite des images sélectionnées de vidéos pour estimer les positions de la caméra, puis construit et affinez une représentation 3D, à l'image d'un sculpteur façonnant un sujet depuis plusieurs angles.

Neuralangelo prend en charge la reconstruction d'objets petits comme de scènes à grande échelle, y compris l'intérieur et l'extérieur de bâtiments, comme le montrent des modèles détaillés tels que la statue de David de Michel-Ange et le parc du campus de NVIDIA à la Baie. Cela en fait un outil polyvalent pour les industries nécessitant des répliques numériques réalistes d'environnements et d'objets du monde réel.

Le modèle simplifie la création d'actifs virtuels utilisables à partir de séquences filmées, même avec un smartphone, accélérant ainsi les flux de travail des artistes, designers et ingénieurs. En comblant le fossé entre le monde physique et numérique, Neuralangelo améliore le réalisme et l'efficacité des projets dans les domaines du divertissement, du design industriel et de la robotique.

NVIDIA a rendu Neuralangelo disponible sur GitHub, encourageant les développeurs et chercheurs à explorer et à construire sur cette technologie. Il représente une avancée significative dans la reconstruction 3D, combinant un rendu neuronal avancé avec une utilité pratique pour une large gamme d'applications.

Text-To-4D, également connu sous le nom de MAV3D (Make-A-Video3D), génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles simples. Il utilise un champ de radiance neuronal dynamique 4D (NeRF) optimisé pour une cohérence dans l'apparence de la scène, la densité et le mouvement en tirant parti d'un modèle de diffusion Text-to-Video. Cela permet de créer des vidéos dynamiques pouvant être visualisées sous n'importe quel angle de caméra et intégrées dans divers environnements 3D.

Contrairement aux méthodes traditionnelles de génération 3D, MAV3D ne requiert aucune donnée d'entraînement 3D ou 4D. Il s'appuie plutôt sur un modèle Text-to-Video entraîné uniquement sur des paires texte-image et des vidéos non étiquetées, le rendant accessible aux utilisateurs ne disposant pas de jeux de données spécialisés. Cette approche ouvre de nouvelles possibilités pour les créateurs, développeurs et chercheurs souhaitant générer du contenu 3D immersif à partir de simples invites textuelles.

L'outil est destiné à un large public, incluant les développeurs de jeux, les animateurs et les créateurs de contenu en réalité virtuelle qui veulent produire rapidement des scènes 3D dynamiques sans modélisation ou animation manuelle. Il offre une valeur unique en combinant la génération basée sur le texte avec la sortie de scènes 3D dynamiques, utilisables dans des applications interactives ou pour la narration visuelle.

Techniquement, la méthode intègre un NeRF 4D avec un modèle de diffusion Text-to-Video pour garantir la cohérence du mouvement et de l'apparence dans le temps et l'espace. Cela aboutit à des scènes dynamiques fluides et réalistes, explorables sous plusieurs points de vue. Le système améliore les précédents benchmarks en produisant des vidéos 3D de meilleure qualité et plus cohérentes à partir d’un texte.

Dans l’ensemble, Text-To-4D se démarque comme la première méthode connue pour générer des scènes 3D entièrement dynamiques à partir de texte, comblant le gap entre la génération vidéo basée sur le texte et la synthèse de scènes 3D. Il offre une solution flexible et innovante pour créer du contenu immersif sans nécessiter de données 3D complexes ou d'animation manuelle.