Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs DeepMotion

Neuralangelo est un modèle de NVIDIA Research qui reconstruit des objets et scènes 3D détaillés à partir de vidéos 2D ordinaires. Il suffit d'alimenter des séquences filmées sous plusieurs angles et le système crée des maillages texturés de bâtiments, sculptures, véhicules et intérieurs adaptés aux jeux, jumeaux numériques et simulations robotiques.

Les méthodes de reconstruction neuronale précédentes floutaient les textures fines comme les tuiles de toit, le verre et le marbre. Neuralangelo étend les primitives graphiques neuronales instantanées de NVIDIA Instant NeRF pour capturer ces surfaces avec une fidélité accrue, permettant ainsi à des séquences filmées au smartphone de produire des actifs que les équipes créatives peuvent importer dans des outils de conception sans avoir besoin d'un scan laser ou d'une modélisation manuelle.

Chercheurs, artistes de jeux vidéo et ingénieurs en robotique utilisent Neuralangelo pour numériser des objets du monde réel, des statues à l'échelle de Michel-Ange aux bâtiments de campus. Le projet est open source sur GitHub sous nvlabs/neuralangelo sans frais de licence commerciale pour le code de recherche lui-même.

DeepMotion crée des animations de personnages 3D à partir de descriptions textuelles ou de vidéos de référence via un navigateur, sans nécessiter de combinaison de capture de mouvement. Ses deux produits, SayMotion et Animate 3D, transforment des descriptions de mouvements écrites ou des clips MP4, MOV et AVI téléchargés en données de squelette exportables pour les pipelines de jeux et de films. Les fichiers de sortie sont au format FBX, BVH, GLB ou MP4 et peuvent être réaffectés à des personnages personnalisés.

La capture de mouvement traditionnelle nécessite du matériel spécialisé et un espace de studio. DeepMotion exécute un suivi corporel complet sans marqueurs dans le cloud, permettant ainsi aux studios indépendants et aux animateurs solo de produire des chorégraphies de combat ou des mouvements de danse à partir d’une vidéo prise au téléphone. SayMotion ajoute une peinture générative pour étendre ou fusionner les mouvements au-delà des bibliothèques standards, ce que les sites d’animations stock ne peuvent égaler sans montage manuel.

Les développeurs de jeux, artistes XR, étudiants en cinéma et enseignants l’utilisent pour prototyper les mouvements des personnages avant de s’engager dans une phase complète de rigging. Le programme de crédits d’animation gratuit permet aux utilisateurs de récupérer des crédits en étiquetant des descriptions de mouvements ou en corrigeant des poses dans l’éditeur Rotoscope.