Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs Text-To-4D

Neuralangelo es un modelo de NVIDIA Research que reconstruye objetos y escenas 3D detallados a partir de video 2D ordinario. Se alimentan clips filmados desde múltiples ángulos y el sistema construye mallas texturizadas de edificios, esculturas, vehículos e interiores adecuados para juegos, gemelos digitales y simulaciones robóticas.

Los métodos anteriores de reconstrucción neural difuminaban texturas finas como tejas de techo, vidrio y mármol. Neuralangelo extiende las primitivas gráficas neuronales instantáneas de NVIDIA Instant NeRF para capturar esas superficies con mayor fidelidad, por lo que las grabaciones de smartphones pueden producir activos que los equipos creativos pueden importar en herramientas de diseño sin necesidad de un escaneo láser o un modelado manual.

Investigadores, artistas de juegos e ingenieros robóticos usan Neuralangelo para digitalizar objetos del mundo real, desde estatuas a escala Michelangelo hasta edificios de campus. El proyecto es de código abierto en GitHub bajo nvlabs/neuralangelo sin tarifas de licencia comercial para el código de investigación en sí.

Text-To-4D es un proyecto de investigación de Meta AI (MAV3D) que genera escenas dinámicas tridimensionales a partir de descripciones de texto. El método utiliza un Campo Neural de Radiancia dinámico 4D optimizado para la apariencia, densidad y consistencia del movimiento mediante la consulta a un modelo de difusión de texto a video.

A diferencia de los generadores 3D estáticos que producen una sola malla, Text-To-4D crea escenas que se pueden ver desde cualquier ángulo de cámara y componer en otros entornos 3D. El enfoque no requiere datos de entrenamiento 3D o 4D; el modelo subyacente de texto a video se entrena solo con pares de texto-imagen y videos sin etiquetar.

La página del proyecto aloja muestras de demostración para indicaciones de texto a 4D como "un corgi jugando con una pelota" y conversiones de imagen a 4D a partir de fotos fijas. Es una muestra de investigación, no un producto comercial con API pública o registro. Investigadores y artistas 3D interesados en la generación de escenas dinámicas basadas en NeRF pueden explorar el artículo y las muestras en el sitio.