Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs Text-To-4D

Neuralangelo est un modèle de NVIDIA Research qui reconstruit des objets et scènes 3D détaillés à partir de vidéos 2D ordinaires. Il suffit d'alimenter des séquences filmées sous plusieurs angles et le système crée des maillages texturés de bâtiments, sculptures, véhicules et intérieurs adaptés aux jeux, jumeaux numériques et simulations robotiques.

Les méthodes de reconstruction neuronale précédentes floutaient les textures fines comme les tuiles de toit, le verre et le marbre. Neuralangelo étend les primitives graphiques neuronales instantanées de NVIDIA Instant NeRF pour capturer ces surfaces avec une fidélité accrue, permettant ainsi à des séquences filmées au smartphone de produire des actifs que les équipes créatives peuvent importer dans des outils de conception sans avoir besoin d'un scan laser ou d'une modélisation manuelle.

Chercheurs, artistes de jeux vidéo et ingénieurs en robotique utilisent Neuralangelo pour numériser des objets du monde réel, des statues à l'échelle de Michel-Ange aux bâtiments de campus. Le projet est open source sur GitHub sous nvlabs/neuralangelo sans frais de licence commerciale pour le code de recherche lui-même.

Text-To-4D est un projet de recherche de Meta AI (MAV3D) qui génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles. La méthode utilise un Neural Radiance Field dynamique en 4D optimisé pour la cohérence d'apparence, de densité et de mouvement en interrogeant un modèle de diffusion texte-vidéo.

Contrairement aux générateurs 3D statiques qui produisent un seul maillage, Text-To-4D crée des scènes que l'on peut visualiser sous n'importe quel angle de caméra et intégrer dans d'autres environnements 3D. L'approche ne nécessite pas de données d'entraînement 3D ou 4D ; le modèle texte-vidéo sous-jacent est entraîné uniquement sur des paires texte-image et des vidéos non étiquetées.

La page du projet propose des exemples de démonstration pour des invites texte-vers-4D comme « un corgi jouant avec une balle » et des conversions image-vers-4D à partir de photos fixes. Il s'agit d'une vitrine de recherche, non d'un produit commercial avec une API publique ou une inscription. Les chercheurs et artistes 3D intéressés par la génération de scènes dynamiques basées sur NeRF peuvent consulter l'article et les exemples sur le site.