DreamFusion 对比 Make3D

DreamFusion 通过预训练的二维文本到图像扩散模型，将文本描述转化为详细的三维模型。它通过一种新颖的得分蒸馏采样（Score Distillation Sampling）损失，优化神经辐射场（NeRF），避免了对大量三维数据集的需求。这种方法使DreamFusion能够生成可以从任何角度观看、在不同光照下重光以及融入各种三维环境的场景。

该工具面向希望快速生成三维资产的创作者和开发者，无需深入掌握三维建模或访问大量三维数据。它提供了一种生成具有准确深度和表面法线、可重光的对象的方法，从而增强虚拟场景的真实感。

DreamFusion的价值在于它能够利用现有的二维扩散模型（如Imagen）引导三维合成，避免了训练新三维模型的复杂性。它还支持通过Marching Cubes将NeRF导出为网格，使得在常用三维软件中使用生成的模型变得更加方便。

在技术层面，DreamFusion使用得分蒸馏采样优化三维参数，使渲染图像符合扩散模型的预期。额外的正则项改善了几何质量，生成的模型具有连贯的形状和细致的表面特性。

这种方法展示了二维扩散先验如何超越图像，进入三维内容创作，为无需专业的三维训练数据或架构的文本驱动三维生成开辟了新的可能性。

用户可以浏览一个多样化的生成对象和场景画廊，展示从简单双语提示中产生的丰富输出。DreamFusion作为一个以研究为驱动的平台，持续发展，连接文本、二维扩散和三维建模。

将2D图像转换为3D图像或嵌入。