Neuralangelo Research Reconstructs 3D Scenes | NVIDIA
Neuralangelo 是 NVIDIA 研究团队开发的一个模型,能够从普通的二维视频中重建详细的三维物体和场景。通过输入从多个角度拍摄的片段,系统构建出适用于游戏、数字孪生和机器人仿真的建筑、雕塑、车辆和室内的纹理网格。
早期的神经重建方法会模糊屋顶瓦片、玻璃和大理石等细节纹理。Neuralangelo 扩展了 NVIDIA Instant NeRF 的即时神经图形基元,以更高的保真度捕捉这些表面,因此智能手机拍摄的素材也能生成创意团队可以导入设计工具的资产,无需激光扫描或手动建模过程。
研究人员、游戏艺术家和机器人工程师使用 Neuralangelo 来数字化从米开朗基罗级别的雕像到校园建筑的真实世界物体。该项目在 GitHub 上以 nvlabs/neuralangelo 开源,研究代码本身无商业许可费用。
从多个角度拍摄的2D视频中重建3D对象和大型场景
比之前的神经方法更好地捕捉瓦片、玻璃和大理石等细腻纹理
基于NVIDIA Instant NeRF技术的即时神经图形原语构建
导出用于游戏引擎、VR、数字孪生和机器人流程的详细网格
开源代码发布在github.com/nvlabs/neuralangelo
在手机录像中展示雕像、车辆和完整建筑内部
在CVPR 2023上展示,伴随近30个NVIDIA研究项目
从手机视频中获得高保真纹理的瓦片、玻璃和大理石
在GitHub上由NVIDIA研究开源发布
输出可用于游戏、VR和机器人流程的可用网格
既能处理小物体,也能处理大型建筑场景
研究代码库需要GPU设置和技术专长才能运行
需要多角度视频输入,而非单一照片
没有托管的SaaS;你需要在本地或自己的基础设施上运行Neuralangelo
什么是Neuralangelo?
Neuralangelo是NVIDIA Research的一个AI模型,可以从二维视频片段重建三维结构。它生成真实世界物体和场景的有纹理虚拟复制品,适用于创意和机器人工作流程。
Neuralangelo是免费使用的吗?
是的。Neuralangelo作为开源研究代码发布在GitHub上的nvlabs/neuralangelo。NVIDIA发布该模型供开发者和研究人员下载和运行。
Neuralangelo需要什么输入?
Neuralangelo需要从多个视角拍摄的物体或场景的二维视频。该模型选择帧,估计相机位置,并优化详细的三维表示。
我可以用Neuralangelo的输出构建什么?
Neuralangelo的网格可以导入设计应用,用于视频游戏、虚拟现实体验、工业数字孪生和机器人仿真环境。
Neuralangelo与Instant NeRF有什么不同?
Neuralangelo基于NVIDIA Instant NeRF的即时神经图形基元,但更注重更清晰的表面纹理和从普通视频进行大规模场景重建。
Neuralangelo的代码托管在哪里?
Neuralangelo的源代码托管在GitHub,地址是github.com/nvlabs/neuralangelo。NVIDIA在其官方博客文章的编辑说明中宣布了公开发布。
谁开发了Neuralangelo?
Neuralangelo由NVIDIA Research开发,包括高级总监Ming-Yu Liu及其合作者,并在CVPR 2023会议上发布。

