Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs DeepMotion

Neuralangelo es un modelo de NVIDIA Research que reconstruye objetos y escenas 3D detallados a partir de video 2D ordinario. Se alimentan clips filmados desde múltiples ángulos y el sistema construye mallas texturizadas de edificios, esculturas, vehículos e interiores adecuados para juegos, gemelos digitales y simulaciones robóticas.

Los métodos anteriores de reconstrucción neural difuminaban texturas finas como tejas de techo, vidrio y mármol. Neuralangelo extiende las primitivas gráficas neuronales instantáneas de NVIDIA Instant NeRF para capturar esas superficies con mayor fidelidad, por lo que las grabaciones de smartphones pueden producir activos que los equipos creativos pueden importar en herramientas de diseño sin necesidad de un escaneo láser o un modelado manual.

Investigadores, artistas de juegos e ingenieros robóticos usan Neuralangelo para digitalizar objetos del mundo real, desde estatuas a escala Michelangelo hasta edificios de campus. El proyecto es de código abierto en GitHub bajo nvlabs/neuralangelo sin tarifas de licencia comercial para el código de investigación en sí.

DeepMotion crea animaciones de personajes 3D a partir de indicaciones de texto o videos de referencia a través de un navegador, sin necesidad de un traje de captura de movimiento. Sus dos productos, SayMotion y Animate 3D, convierten descripciones escritas de movimientos o clips subidos en MP4, MOV y AVI en datos de esqueleto exportables para pipelines de juegos y cine. La salida se entrega en archivos FBX, BVH, GLB o MP4 que puedes reasignar a personajes personalizados.

La captura de movimiento tradicional requiere hardware especializado y espacio de estudio. DeepMotion ejecuta seguimiento corporal completo sin marcadores en la nube, por lo que estudios independientes y animadores en solitario pueden producir coreografías de lucha o movimientos de baile a partir de un video de teléfono. SayMotion añade pintura generativa para extender o mezclar movimientos más allá de las bibliotecas estándar, algo que los sitios de animación de stock no pueden igualar sin edición manual.

Desarrolladores de juegos, artistas XR, estudiantes de cine y educadores lo usan para prototipar el movimiento de personajes antes de comprometerse con un rigging completo. El Programa de Créditos de Animación Gratis permite a los usuarios recuperar créditos etiquetando descripciones de movimiento o corrigiendo poses en el editor Rotoscope.