Neuralangelo Research Reconstructs 3D Scenes | NVIDIA 对比 Immersity (formerly LeiaPix Converter)

Neuralangelo 是由 NVIDIA 研究团队开发的一个人工智能模型，利用神经网络将二维视频片段转换为详细的三维结构。它可以创建逼真的虚拟物体复制品，如建筑、雕塑和复杂场景，捕捉多视角下的细节与纹理。这项技术面向虚拟现实、数字孪生、机器人和游戏开发等创意专业人士及开发者，帮助他们将高保真度的三维模型导入到设计流程中。

与早期方法不同，Neuralangelo 在复制复杂材质方面表现出色，如屋顶瓦片、玻璃幕墙和光滑的大理石表面，具有高度的准确性。它采用即时神经图形原语技术——即 NVIDIA Instant NeRF 的核心技术，捕捉先前难以实现的细节和重复纹理模式。该模型通过处理视频中的精选帧，估算相机位置，然后构建和优化三维模型，类似雕塑家从多个角度塑造对象的过程。

Neuralangelo 支持小型物体和大型场景的重建，包括建筑内部和外部场景，具体现了像米开朗基罗的大卫雕像和 NVIDIA 旧金山湾区园区的详细模型。这使其成为需要逼真数字复制品的行业中的多功能工具。

该模型简化了即使使用智能手机捕获素材也能创建可用虚拟资产的流程，加快了艺术家、设计师和工程师的工作进度。通过缩小物理世界与数字世界的差距，Neuralangelo 提升了娱乐、工业设计和机器人项目的逼真度和效率。

NVIDIA 已在 GitHub 上提供了 Neuralangelo，鼓励开发者和研究人员探索和基于此技术开发创新。它代表了三维重建技术的重要进步，将先进的神经渲染与广泛实际应用相结合，具有广泛的潜在用途。

Immersity（前身为 LeiaPix Converter）可将平面照片和视频转换为可在普通屏幕或 XR 头显上查看的深度动画。您只需上传 2D 文件，其神经网络深度引擎（Neural Depth Engine）就会构建深度图，然后您便可以导出并排 3D、深度图、Apple Vision Pro 空间视频或动画沉浸式动态剪辑等格式。

通用的 3D 照片应用通常只停留在单一的视差晃动效果。Immersity 通过神经网络深度渲染 4.0（Neural Depth Rendering 4.0）将前景和背景分离为不同的图层，当您平移或缩放视点时，该技术会自动填补被遮挡的细节。它不仅能处理静态图片，还能转换视频，付费方案支持高达 4K 的导出选项。

创作者、营销人员和 XR 爱好者使用它来制作社交剪辑、旅行素材和立体内容，而无需手动构建深度图。免费层允许无限次转换带有水印且最高 720p 分辨率的内容；付费图片方案起价为每月 $4.99，包含 500 点数和无水印的 4K 输出。