Neuralangelo Research Reconstructs 3D Scenes | NVIDIA 对比 DeepMotion

Neuralangelo 是 NVIDIA 研究团队开发的一个模型，能够从普通的二维视频中重建详细的三维物体和场景。通过输入从多个角度拍摄的片段，系统构建出适用于游戏、数字孪生和机器人仿真的建筑、雕塑、车辆和室内的纹理网格。

早期的神经重建方法会模糊屋顶瓦片、玻璃和大理石等细节纹理。Neuralangelo 扩展了 NVIDIA Instant NeRF 的即时神经图形基元，以更高的保真度捕捉这些表面，因此智能手机拍摄的素材也能生成创意团队可以导入设计工具的资产，无需激光扫描或手动建模过程。

研究人员、游戏艺术家和机器人工程师使用 Neuralangelo 来数字化从米开朗基罗级别的雕像到校园建筑的真实世界物体。该项目在 GitHub 上以 nvlabs/neuralangelo 开源，研究代码本身无商业许可费用。

DeepMotion通过浏览器根据文本提示或参考视频构建3D角色动画，无需动作捕捉服。其两款产品SayMotion和Animate 3D可将书面动作描述或上传的MP4、MOV和AVI剪辑转换为可导出的骨骼数据，适用于游戏和影视制作流程。输出格式包括FBX、BVH、GLB或MP4文件，可重新绑定到自定义角色。

传统动作捕捉需要专业硬件和工作室空间。DeepMotion在云端运行无标记全身追踪，使独立工作室和个人动画师能够通过手机视频制作战斗编排或舞蹈动作。SayMotion增加了生成式修补功能，能够扩展或融合动作，超越库存库的限制，而库存动画网站无法在不进行手动编辑的情况下实现。

游戏开发者、XR艺术家、电影学生和教育工作者使用该工具在进行完整绑定之前对角色动作进行原型设计。免费动画积分计划允许用户通过标注动作描述或在Rotoscope编辑器中纠正姿势来赚取积分。