最后更新 08-13-2026
Reviews:
Join thousands of AI enthusiasts in the World of AI!
DreamFusion
DreamFusion 使用预训练的二维文本到图像扩散模型，而非三维训练数据，从文本描述生成三维物体。它优化神经辐射场（NeRF），使随机角度的二维渲染与 Imagen 对提示的预期相符。结果是一个可重新点亮的三维资产，可以从任意角度查看、导出为网格或放置在场景中。
与需要大型标注三维数据集的流程不同，DreamFusion 使用评分蒸馏采样将二维扩散先验转化为三维优化器。这绕过了大规模三维去噪的基础设施缺失。仅凭 SDS 即可获得合理的外观；DreamFusion 通过正则化器在 Lambertian 着色下实现更干净的法线、深度和表面几何。
研究人员、探索生成式工作流的三维艺术家以及研究文本到三维的机器学习工程师，将 DreamFusion 作为 Google Research 和加州大学伯克利分校的参考实现。项目页面提供了数百个生成资产的可搜索画廊，并引用了 2022 年的 arXiv 论文。
通过Imagen从文本描述生成可重光的3D NeRF模型
Score Distillation Sampling优化无需3D训练数据的3D场景
将训练好的NeRF导出为使用marching cubes算法的网格
支持任意视角、重光和场景合成
画廊托管数百个可搜索的文本生成3D资产
在SDS基础上添加几何正则化器以改善法线和深度
无需任何3D训练数据即可从文本生成3D资产。
NeRF输出可重光且可从任意角度查看。
网格导出支持标准3D流程和建模工具。
开源研究项目，附有引用的arXiv论文和公共画廊。
仅为研究演示；没有托管的SaaS API用于生产生成。
需要ML专业知识才能在演示画廊之外复现结果。
依赖Imagen作为二维扩散先验，此处未自行托管。
什么是DreamFusion？
DreamFusion是谷歌研究团队开发的一种文本到3D的方法，它利用名为Imagen的预训练2D扩散模型，从文字描述中优化神经辐射场。它能生成可重新光照的3D物体，无需3D训练数据集。
DreamFusion是免费的吗？
是的。DreamFusion是一个托管在GitHub Pages上的免费研究项目。论文、画廊和方法论公开可用，无需注册或付费。
DreamFusion如何创建3D模型？
DreamFusion使用评分蒸馏采样来优化随机初始化的NeRF。通过对随机角度的2D渲染图与Imagen的文本到图像先验进行评分，直到场景与文字描述匹配。
DreamFusion可以导出网格吗？
可以。DreamFusion的NeRF模型可以通过行进立方体算法导出为网格文件，用于3D渲染器或建模软件。
DreamFusion是谁开发的？
DreamFusion由谷歌研究和加州大学伯克利分校的研究人员共同开发，包括Ben Poole、Ajay Jain、Jonathan T. Barron和Ben Mildenhall。该工作于2022年发表在arXiv上。
DreamFusion需要3D训练数据吗？
不需要。DreamFusion不依赖3D训练数据，也无需修改底层的图像扩散模型，而是依赖预训练的2D扩散先验。