Neuralangelo Research Reconstructs 3D Scenes | NVIDIA

Neuralangelo est un modèle d'intelligence artificielle développé par NVIDIA Research qui transforme des clips vidéo 2D en structures 3D détaillées en utilisant des réseaux neuronaux. Il crée des répliques virtuelles réalistes d'objets tels que des bâtiments, des sculptures et des scènes complexes en capturant des détails et textures intricats depuis plusieurs points de vue. Cette technologie est conçue pour les professionnels de la création et les développeurs travaillant dans la réalité virtuelle, les jumeaux numériques, la robotique et le développement de jeux, leur permettant d'importer des modèles 3D de haute fidélité dans leurs flux de travail de conception.

Contrairement aux méthodes antérieures, Neuralangelo excelle dans la reproduction de matériaux complexes comme les shingles de toiture, les vitres et les surfaces en marbre lisse avec une grande précision. Il utilise des primitives graphiques neuronales instantanées, la technologie à l'origine de NVIDIA Instant NeRF, pour capturer les détails fins et les motifs de textures répétitifs qui étaient auparavant difficiles à représenter. Le modèle traite des images sélectionnées de vidéos pour estimer les positions de la caméra, puis construit et affinez une représentation 3D, à l'image d'un sculpteur façonnant un sujet depuis plusieurs angles.

Neuralangelo prend en charge la reconstruction d'objets petits comme de scènes à grande échelle, y compris l'intérieur et l'extérieur de bâtiments, comme le montrent des modèles détaillés tels que la statue de David de Michel-Ange et le parc du campus de NVIDIA à la Baie. Cela en fait un outil polyvalent pour les industries nécessitant des répliques numériques réalistes d'environnements et d'objets du monde réel.

Le modèle simplifie la création d'actifs virtuels utilisables à partir de séquences filmées, même avec un smartphone, accélérant ainsi les flux de travail des artistes, designers et ingénieurs. En comblant le fossé entre le monde physique et numérique, Neuralangelo améliore le réalisme et l'efficacité des projets dans les domaines du divertissement, du design industriel et de la robotique.

NVIDIA a rendu Neuralangelo disponible sur GitHub, encourageant les développeurs et chercheurs à explorer et à construire sur cette technologie. Il représente une avancée significative dans la reconstruction 3D, combinant un rendu neuronal avancé avec une utilité pratique pour une large gamme d'applications.